Resumen Técnico: LP-Eval: Rúbrica y Conjunto de Datos para Medir la Calidad de la Generación de Proposiciones Jurídicas

Enunciado del Problema

La generación de proposiciones jurídicas —la tarea de extraer enunciados normativos (reglas, principios, condiciones y consecuencias) de textos legales— es un elemento fundamental del razonamiento jurídico y de la doctrina académica. A pesar de su centralidad en la práctica jurídica y en la organización del conocimiento legal, esta tarea sigue siendo poco examinada en el Procesamiento del Lenguaje Natural Jurídico (Legal NLP). La investigación existente se ha centrado principalmente en la recuperación de precedentes, la predicción de sentencias o el resumen de casos, a menudo tratando las normas jurídicas de manera implícita en lugar de explícita.

Una barrera significativa para el progreso en este dominio es la falta de metodologías de evaluación robustas. La generación de proposiciones jurídicas es una tarea abierta donde pueden existir múltiples salidas válidas, y diferencias menores en la redacción pueden alterar el significado legal. En consecuencia, las métricas estándar de n-gramas como BLEU y ROUGE son inadecuadas, ya que miden la superposición superficial en lugar de la fidelidad legal. Además, aunque los Modelos de Lenguaje Grandes (LLM) muestran potencial como evaluadores ("LLM como juez"), son vulnerables a alucinaciones y a menudo carecen del matiz necesario para distinguir entre abstracciones jurídicas de alta y baja calidad sin una guía estructurada.

Metodología

La Rúbrica LP-Eval

Para abordar la brecha en la evaluación, los autores introducen LP-Eval, una rúbrica de evaluación de tres pasos co-diseñada con expertos legales. La rúbrica descompone la calidad de una proposición jurídica generada (LP) en dos categorías principales:

1. Validez Formal (Componentes Requeridos): Una LP se considera válida solo si contiene tres elementos estructurales específicos:

   • Postura: La posición normativa (por ejemplo, "impone un deber", "prohíbe").
   • Objeto: La entidad o derecho que se regula.
   • Especificación: Las condiciones, el alcance o las consecuencias de la regla.
   • Nota: Si falta algún componente, la proposición se etiqueta como INVÁLIDA.

2. Dimensiones de Calidad (Puntuación): Las proposiciones válidas se puntúan en una escala Likert de 1 a 3 a través de cinco dimensiones:

   • Independencia de la Fuente: El grado en que la proposición está abstraída de los hechos específicos del caso.
   • Independencia de los Hechos: Similar a la independencia de la fuente, centrada en la eliminación de especificidades fácticas.
   • Concisión: Brevedad y ausencia de redundancia.
   • Generalidad: La aplicabilidad de la regla más allá del caso inmediato.
   • Fidelidad: Fidelidad al texto fuente autoritativo.

Construcción del Conjunto de Datos

Los autores publicaron un conjunto de datos que comprende 100 proposiciones jurídicas generadas por LLM derivadas de 50 párrafos muestreados de 10 decisiones del Tribunal de Justicia de la Unión Europea (TJUE).

• Estrategia de Muestreo: Para probar la memorización de los datos de entrenamiento, el conjunto de datos incluye una mezcla de casos bien establecidos (muy citados, antiguos) y casos recientes.
• Generación: Se utilizaron tres modelos para generar proposiciones: GPT-OSS (120B parámetros), OLMo-3-7B-Instruct y Saul-7B-Instruct (especializado en derecho).
• Anotación: Dos expertos legales (un investigador con doctorado y un estudiante de último año de derecho) anotaron las salidas de GPT-OSS y OLMo utilizando la rúbrica LP-Eval. El acuerdo entre anotadores fue alto (AC1 de Gwet = 0.96), validando la claridad de la rúbrica.

Diseño Experimental

El estudio investiga dos tareas:

1. LLM como Generador: Evaluar la calidad de las proposiciones generadas por LLM en comparación con las anotaciones de expertos.
2. LLM como Evaluador: Evaluar si los LLM pueden replicar los juicios de expertos. Esto se probó en dos modos:
   • Guiado por Rúbrica: El LLM sigue el protocolo paso a paso de LP-Eval (verificando componentes y luego puntuando dimensiones).
   • Puntuación Directa: El LLM proporciona únicamente una puntuación general sin pasos intermedios.

Resultados Clave

1. Calidad de la Generación

• Validez Formal: Los LLM demostraron una fuerte capacidad para generar proposiciones estructuralmente válidas. 95 de las 100 LP generadas fueron calificadas como VÁLIDAS. El principal modo de fallo fue la omisión del componente "Objeto" (un enunciado normativo), lo cual también resultó ser el componente más difícil para que los anotadores humanos llegaran a un acuerdo.
• Puntuaciones de Calidad: Los expertos asignaron puntuaciones promedio altas para Fidelidad (2.95/3) e Independencia de los Hechos (2.96/3), lo que indica que los modelos abstrajeron con éxito de los hechos específicos manteniéndose fieles al texto. Independencia de la Fuente (2.31/3) y Concisión (2.48/3) recibieron puntuaciones ligeramente más bajas, lo que sugiere redundancia ocasional o referencia explícita a la fuente.
• Efecto de la Prominencia del Caso: Se encontró una diferencia estadísticamente significativa entre las proposiciones derivadas de casos bien establecidos frente a las de casos recientes. Las proposiciones de casos bien establecidos fueron calificadas significativamente más altas en Concisión ($p=0.02$), Independencia de la Fuente ($p<10^{-5}$) y Calidad General ($p<0.001$). Esto sugiere que los LLM funcionan mejor con casos que tienen un discurso jurídico más establecido, quizás más memorizado.

2. Rendimiento de la Evaluación

• Alineación con la Rúbrica: Al utilizar la rúbrica LP-Eval, GPT-OSS logró un alto acuerdo con los expertos humanos (AC1 = 0.91–0.93), comparable al acuerdo entre expertos (0.94).
• Importancia de la Estructura: Eliminar los pasos de la rúbrica y solicitar una puntuación general directa redujo el acuerdo a 0.85, demostrando que la guía estructurada es crítica para los evaluadores LLM.
• Límites de Sensibilidad: Aunque los LLM guiados por rúbrica se alinearon bien con los expertos en las puntuaciones generales, no lograron detectar las diferencias de calidad estadísticamente significativas entre casos bien establecidos y recientes que identificaron los expertos humanos. Esto indica que, aunque los LLM pueden imitar la puntuación de expertos, carecen de la sensibilidad para capturar distinciones cualitativas más finas relacionadas con la prominencia del caso.

Significado y Contribuciones

El artículo hace tres contribuciones principales al campo del Legal NLP:

1. Rúbrica LP-Eval: Introduce el primer marco de evaluación estructurado y diseñado por expertos específicamente para la generación de proposiciones jurídicas, yendo más allá de las métricas superficiales para evaluar la validez formal y las dimensiones de calidad sustantiva.
2. Conjunto de Datos LP-Eval: Publica un conjunto de datos curado de 100 proposiciones jurídicas anotadas por expertos provenientes de decisiones del TJUE, proporcionando un punto de referencia para futuras investigaciones en razonamiento y generación jurídica.
3. Perspectivas Empíricas: El estudio proporciona la primera evidencia sistemática de que:
   • Los LLM pueden generar proposiciones jurídicas de alta calidad y formalmente válidas.
   • La calidad de la generación está correlacionada con la prominencia y la antigüedad del caso fuente, probablemente debido a efectos de los datos de entrenamiento.
   • La evaluación de LLM guiada por rúbrica es una alternativa viable a la puntuación humana para la alineación general, pero actualmente carece de la sensibilidad para detectar variaciones sutiles en la abstracción legal que perciben los expertos humanos.

Los autores concluyen que, aunque los LLM ofrecen promesas para automatizar la generación y evaluación de proposiciones jurídicas, los modelos actuales siguen siendo insuficientemente sensibles a las distinciones sutiles y de alto riesgo inherentes al razonamiento jurídico, lo que hace necesaria una dependencia continua de la experiencia humana para la evaluación detallada.