From Judgments to Issues: Structured Extraction of Legal Reasoning with Citation-Hallucination Control

Resumen Técnico: De las Sentencias a los Problemas Jurídicos: Extracción Estructurada del Razonamiento Legal con Control de Alucinaciones de Citas

Planteamiento del Problema
Los sistemas judiciales modernos, particularmente en Italia, generan decisiones judiciales a una escala que excede la capacidad de los profesionales del derecho para leerlas individualmente. La base de datos de los tribunales fiscales italianos contiene por sí sola casi un millón de sentencias, que crece en cientos de miles anualmente. Si bien este volumen posee un valor significativo para usos secundarios —como la búsqueda de precedentes, el análisis de redes de citación y el entrenamiento de sistemas de PLN (Procesamiento de Lenguaje Natural) legal—, la naturaleza no estructurada de los PDF originales dificulta estas aplicaciones. Los métodos de extracción existentes suelen tratar la sentencia completa como una unidad única, introduciendo ruido proveniente de la retórica procesal y fallando al no aislar cuestiones jurídicas específicas. Además, los Modelos de Lenguaje de Gran Escala (LLM) son propensos a "alucinar" citas legales, fabricando referencias plausibles pero inexistentes a la legislación y la jurisprudencia, lo que socava la fiabilidad de los flujos de trabajo automatizados de razonamiento legal.

Metodología
Los autores proponen un flujo de trabajo automatizado diseñado para descomponer las sentencias de los tribunales fiscales italianos en problemas jurídicos individuales y extraer una representación XML estructurada para cada uno. La metodología se basa en tres componentes principales:

1. Descomposición Basada en Problemas y Diseño de Esquema:
   En lugar de procesar las sentencias como bloques monolíticos, el flujo de trabajo trata el problema jurídico (questione giuridica) como la unidad de análisis. Esto se alinea con las teorías de la justificación judicial (p. ej., MacCormick, 1994), donde la adjudicación se ve como la resolución de cuestiones legales específicas. La estructura extraída se fundamenta en el marco IRAC (Issue, Rule, Application, Conclusion — Problema, Norma, Aplicación, Conclusión) y el silogismo legal. Cada problema se codifica en XML con campos específicos:

   • <text>: Una formulación de tipo "Si [condición] + cláusula" de la cuestión jurídica.
   • <issue_outcome>: La decisión, clasificada por beneficiario (contribuyente, autoridad fiscal, otro).
   • <factual_premises>: Hechos y eventos relevantes.
   • <legal_references>: Una lista de citas (legislación, jurisprudencia, principios, práctica administrativa) con sus tipos.
   • <citation_reason>: Explicaciones de por qué se citan referencias específicas.
   • <judge_reasoning>: La aplicación de la ley a los hechos.
   • <summary>: Un resumen abstractivo del problema.

2. Flujo de Trabajo de Extracción y Selección de Modelo:
   El flujo de trabajo procesa un corpus de aproximadamente 330,000 sentencias de primera y segunda instancia de los tribunales fiscales italianos. Para equilibrar la capacidad con el coste de procesar cientos de miles de documentos, los autores seleccionaron DeepSeek V3, un modelo de propósito general que ofrece una relación coste-rendimiento favorable (aprox. $0.0035 por sentencia). La extracción emplea una estrategia de prompting de dos pasos para sentencias largas:

   • Paso 1: Identificar los problemas y extraer el <text>, el <summary> y el <issue_outcome>.
   • Paso 2: Para cada problema identificado, extraer el razonamiento detallado, los hechos y las citas.
     Un paso de corrección post-extracción utiliza few-shot prompting para asegurar que el campo <text> se adhiera estrictamente al formato "Si [condición] + cláusula".

3. Control de Alucinaciones mediante Linkoln:
   Para abordar la falta de fiabilidad de las citas de los LLM, el flujo de trabajo integra una capa de verificación utilizando la biblioteca Linkoln (Bacci et al., 2019). Este paso:

   • Analiza las referencias legales tanto en el texto original de la sentencia como en la salida del LLM.
   • Las normaliza a identificadores estándar (URN-NIR, ECLI, CELEX).
   • Compara ambos conjuntos. Cualquier referencia presente en la salida del LLM pero no encontrada en el texto fuente es marcada como una alucinación y eliminada.
   • Para los principios jurídicos (que carecen de identificadores estándar), se utiliza una lista blanca de 182 principios canónicos derivados por expertos para validar las coincidencias.

Contribuciones Clave
El artículo realiza tres contribuciones principales:

1. Esquema Estructurado: Un novedoso esquema XML a nivel de problema, fundamentado en IRAC y el silogismo legal, diseñado para ser legible por máquinas, útil para la consulta humana y extraíble de forma fiable por modelos de rango medio.
2. Flujo de Trabajo Rentable con Control de Alucinaciones: Un flujo de trabajo escalable que utiliza DeepSeek V3 combinado con un filtro de alucinaciones automático basado en un analizador (parser) que normaliza y valida las citas contra el texto fuente.
3. Evaluación Validada por Expertos: Un protocolo de validación riguroso sobre 50 sentencias anotadas por dos expertos en derecho fiscal de nivel de doctorado, reportando el acuerdo entre anotadores (IAA), el acuerdo entre LLM y expertos, y el rendimiento del filtro de alucinaciones.

Resultados
La evaluación sobre la submuestra de 50 sentencias arroja los siguientes hallazgos:

• Extracción de Problemas: El LLM demuestra una alta precisión (93–94%) pero una recuperación (recall) moderada (70–82%) en comparación con los expertos humanos. El modo de error dominante es la sub-extracción (omisión de problemas) en lugar de la alucinación. Solo 4 de los 78 problemas extraídos fueron marcados como ausentes por los expertos.
• Extracción de Citas: El LLM logra una puntuación F1 de aproximadamente el 74% frente a las anotaciones de los expertos. Aunque el modelo extrae un número similar de referencias que los expertos, a veces incluye referencias que no se consideran relevantes para el problema específico.
• Rendimiento del Filtro de Alucinaciones: El filtro es altamente efectivo. Antes del filtrado, la tasa de alucinación era del 11.7%. Después del filtrado, cayó al 0.9%. El filtro eliminó 29 de las 31 referencias alucinadas, mientras que eliminó incorrectamente solo 7 citas válidas (tasa de falsos positivos del 3.0%). El filtro fue menos efectivo en los "principios de derecho", que tenían una tasa de alucinación del 69% antes del filtrado.
• Puntuaciones Cualitativas: Los campos de texto libre (razonamiento, resumen, resultado) recibieron puntuaciones medias altas (4.6–4.9/5) de los expertos. El acuerdo entre anotadores en estas dimensiones cualitativas fue muy alto (Gwet's AC2 > 0.93).
• Estocasticidad: Los autores señalan que, incluso con semillas fijas, el LLM exhibe no determinismo. El acuerdo entre ejecuciones (F1 ~78% para problemas, ~73% para citas) es inferior al acuerdo entre anotadores, pero comparable al acuerdo entre LLM y humano, lo que sugiere que la estocasticidad del modelo explica una parte significativa de la brecha de rendimiento.

Significancia y Reivindicaciones
Los autores afirman que este trabajo proporciona el primer flujo de trabajo de extracción estructurada a nivel de problema, validado por expertos y con control de alucinaciones, específicamente para las sentencias de los tribunales fiscales italianos. Posicionan el flujo de trabajo como un punto de partida concreto para aplicaciones posteriores, incluyendo:

• Recuperación a nivel de problema: Aislar cuestiones legales individuales para mejorar la precisión de la búsqueda.
• Análisis de redes de citación: Construir grafos donde los bordes reflejen las referencias realmente utilizadas para decidir las disputas, en lugar de menciones incidentales.
• Construcción de Datasets: Crear conjuntos de datos estructurados a gran escala del razonamiento legal para el entrenamiento y la evaluación de sistemas de PLN legal.

El artículo mantiene un tono modesto, reconociendo limitaciones como la pequeña muestra de validación (50 sentencias), la dependencia de un único modelo y jurisdicción, y la subjetividad inherente a la segmentación de las sentencias en problemas. Los autores enfatizan que el formato propuesto sirve como una plantilla metodológica para la extracción estructurada que es independiente de jurisdicciones o modelos específicos, demostando que los LLM actuales pueden instanciar de forma fiable estructuras complejas de razonamiento legal cuando se combinan con las capas de verificación apropiadas.