Validate Your Authority: Benchmarking LLMs on Multi-Label Precedent Treatment Classification

Resumen Técnico: Validación de la Autoridad en la Clasificación del Tratamiento del Precedente Legal

Enunciado del Problema
En las jurisdicciones de derecho consuetudinario, la doctrina del stare decisis exige que los profesionales del derecho determinen si una decisión judicial sigue siendo "derecho vigente" o si su autoridad ha sido debilitada o anulada por casos posteriores. Los casos pueden recibir un "tratamiento negativo" de diversas maneras matizadas, como ser anulados, criticados, diferenciados o cuestionados. La mala clasificación de estos tratamientos conlleva un riesgo significativo, pudiendo derivar en sentencias desfavorables y repercusiones profesionales. Si bien los servicios comerciales de citación (por ejemplo, Shepard's, KeyCite) emplean editores humanos para analizar estos tratamientos, errores humanos documentados han impulsado el interés en soluciones automatizadas. Sin embargo, investigaciones previas indican que clasificar el tratamiento de citas es intrínsecamente difícil para los modelos de aprendizaje automático, particularmente debido a las sutilezas semánticas del razonamiento jurídico y a la escasez de datos de alta calidad anotados por expertos. Este artículo aborda la pregunta central: ¿Con qué precisión pueden los Modelos de Lenguaje Grandes (LLM) contemporáneos replicar el sofisticado razonamiento jurídico necesario para clasificar las diversas formas en que un precedente judicial es tratado en un caso posterior?

Metodología
Los autores realizaron una evaluación sistemática de LLM modernos sobre un nuevo conjunto de datos anotado por expertos, derivado de Hellyer (2018), que originalmente evaluaba servicios comerciales de citación.

• Curación del Conjunto de Datos: Los autores digitalizaron y estructuraron un corpus de 329 relaciones de citación, filtrando casos ambiguos para crear un conjunto de alta confianza. Recuperaron opiniones de texto completo para 239 casos citantes a través de la API de CourtListener para proporcionar a los modelos el contexto del documento completo, en lugar de fragmentos aislados.
• Construcción de la Verdad Terrenal: La verdad terrenal se estableció utilizando una lógica basada en prioridades. Se priorizaron las correcciones explícitas realizadas por el anotador original. Para las entradas sin correcciones explícitas, se adoptaron las etiquetas consideradas "aceptables". Crucialmente, el conjunto de datos es multietiqueta, reconociendo que múltiples tratamientos distintos (por ejemplo, "Criticado por" y "Cuestionado por") pueden ser simultáneamente válidos para una única relación.
• Esquemas de Clasificación: El estudio utiliza un esquema de dos niveles:
  1. Granularidad Fina: 16 categorías distintas (por ejemplo, Anulado, Diferenciado por, Revocado por).
  2. Nivel Alto: 5 grupos conceptualmente distintos (por ejemplo, INVALIDADO, CRITICADO O CUESTIONADO, LIMITADO O DIFERENCIADO) diseñados para mitigar la superposición semántica extrema de las etiquetas de granularidad fina.
• Configuración Experimental: El estudio evaluó cuatro modelos: Gemini 2.5 Pro y Gemini 2.5 Flash de Google, GPT-5-mini de OpenAI y el código abierto Qwen3 (30B). Los experimentos se realizaron utilizando estrategias de prompting de cero ejemplos y pocos ejemplos. Se proporcionó a los modelos la cita del caso semilla y el texto completo del caso citante, específicamente los párrafos que analizan el caso citado.
• Métricas de Evaluación: Más allá de la Precisión Basada en Instancias estándar, los autores introdujeron el Error de Severidad Promedio y el Error de Severidad Mediano. Estas métricas mapean las etiquetas a una escala de severidad (1 para Neutral hasta 5 para Invalidado) para cuantificar el impacto práctico de las clasificaciones erróneas, distinguiendo entre errores menores (confundir dos etiquetas negativas) y errores críticos (confundir un tratamiento negativo con uno neutral).

Resultados Clave
Los experimentos revelaron una división en el rendimiento entre los modelos dependiendo de la complejidad del esquema:

• Esquema de Nivel Alto: Gemini 2.5 Flash logró la mayor precisión (79.1% en cero ejemplos). Rindió excepcionalmente bien en la etiqueta más frecuente, LIMITADO O DIFERENCIADO (Precisión: 0.947), pero tuvo dificultades con clases subrepresentadas como CITACIÓN NEUTRAL (F1: 0.400).
• Esquema de Granularidad Fina: GPT-5-mini fue el mejor rendimiento (67.7% en cero ejemplos), aunque el rendimiento disminuyó significativamente para etiquetas raras. Siete de las quince etiquetas de granularidad fina resultaron en cero predicciones exitosas (F1: 0.000), incluidos tratamientos legalmente significativos como Revocado por y Cuestionado por.
• Análisis de Severidad: En términos de Error de Severidad Promedio, Gemini 2.5 Flash volvió a liderar, logrando las puntuaciones de error más bajas (0.3933 para nivel alto, 0.3755 para granularidad fina). El Error de Severidad Mediano para los mejores modelos fue de 0.0, lo que indica que para más de la mitad de las predicciones, los modelos produjeron la etiqueta perfectamente correcta.
• Hallazgos Cualitativos: El análisis de errores reveló que los modelos a menudo luchan con el "objetivo de la acción judicial" (atribuir incorrectamente si un tribunal está corrigiendo el argumento de una parte frente al precedente en sí) y enfrentan una ambigüedad inherente donde etiquetas distintas (por ejemplo, Criticado vs. No seguido) se superponen semánticamente y dependen del contexto.

Contribuciones Clave

1. Nuevo Conjunto de Datos: El artículo introduce un conjunto de datos anotado por expertos y disponible públicamente de 239 citas legales del mundo real con contexto de texto completo y verdad terrenal multietiqueta, abordando la escasez de datos de alta calidad para esta tarea específica.
2. Marco de Evaluación Robusto: Los autores proponen la métrica de Error de Severidad Promedio, argumentando que la precisión estándar es insuficiente para tareas legales donde el costo de la clasificación errónea varía drásticamente según la gravedad del error.
3. Evaluación Sistemática: Este trabajo establece una línea de base crucial para el rendimiento de los LLM modernos en la clasificación del tratamiento de precedentes negativos, demostrando que, si bien los modelos propietarios muestran un potencial significativo, siguen limitados por el desequilibrio de clases y la complejidad intrínseca de la semántica legal.

Significado y Afirmaciones
El artículo afirma ser el primer estudio académico que evalúa sistemáticamente los LLM modernos en la clasificación multietiqueta de granularidad fina de tratamientos de citación negativos. Los autores afirman que su trabajo proporciona una línea de base necesaria para una tarea de Procesamiento del Lenguaje Natural (NLP) "crítica pero matizada" donde la clasificación errónea conlleva un alto riesgo. Concluyen que, si bien los modelos propietarios líderes tienen el potencial de automatizar este aspecto de la investigación legal, el rendimiento actual está limitado por la escasez de datos y la complejidad semántica del razonamiento jurídico. El estudio enfatiza que las métricas de precisión estándar son inadecuadas para este dominio y que la evaluación propuesta basada en la severidad ofrece una evaluación más realista de la idoneidad del modelo para aplicaciones legales de alto riesgo. Los autores permanecen modestos sobre el carácter definitivo de los resultados, señalando que la subjetividad inherente de la interpretación legal sugiere un techo en la precisión alcanzable y que los resultados deben verse como una exploración de las capacidades actuales en lugar de un juicio final sobre el razonamiento legal.