Resumen Técnico: LegalCiteBench

Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLM) se integran cada vez más en los flujos de trabajo legales, pero su fiabilidad para generar autoridades de casos específicas sin recuperación externa (entorno de libro cerrado) sigue sin cuantificarse. En los sistemas de derecho consuetudinario, los argumentos legales dependen de citas precisas a precedentes judiciales; las autoridades incorrectas o fabricadas pueden derivar en sanciones profesionales y socavar la confianza en las herramientas de IA. Aunque las evaluaciones legales existentes se centran en el razonamiento estatutario, la comprensión de contratos o la respuesta general a preguntas legales, no evalúan sistemáticamente un modo de fallo crítico: la generación de citas que parecen plausibles pero son incorrectas cuando se pide a los modelos que proporcionen autoridades de casos sin fundamentación externa. El problema central es si los LLM actuales pueden recuperar citas judiciales exactas, abstenerse cuando hay incertidumbre, o si, por el contrario, fabrican autoridades convincentes pero erróneas.

Metodología

Construcción del Conjunto de Datos: LegalCiteBench

Los autores presentan LegalCiteBench, una evaluación que comprende aproximadamente 24.000 instancias de evaluación derivadas de 1.000 opiniones judiciales reales de EE. UU. obtenidas del Case Law Access Project (Escuela de Derecho de Harvard). El proceso de construcción incluye:

1. Material de Origen: Muestreo de 1.000 casos raíz recientes en diversas jurisdicciones de EE. UU.
2. Resumen Intermedio: Uso de tres LLM comerciales (GPT-4o-mini, Gemini-2.5-Flash, Claude-3.5-Haiku) para generar notas de construcción estructuradas que resumen los antecedentes del caso, la historia procesal y las cuestiones legales. Estas notas se utilizan únicamente para la construcción de prompts, no como verdad fundamental.
3. Anclaje a la Verdad Fundamental: Las etiquetas de verdad fundamental se derivan estrictamente de fuentes no generadas: listas de citas extraídas de las opiniones de origen y metadatos de los casos raíz.
4. Validación Humana: Una auditoría dirigida de 100 casos raíz muestreados por tres revisores para verificar la fidelidad de la construcción, la calidad de la anonimización y la corrección de la verdad fundamental.

Taxonomía de Tareas

La evaluación examina cinco tareas centradas en citas divididas en dos niveles:

• Tareas a Nivel de Cita:
  • Cat1 (Recuperación de Citas): Dada una pregunta de investigación estilo abogado derivada de un caso real, el modelo debe recuperar las autoridades específicas citadas en la opinión de origen.
  • Cat2 (Completado de Citas): Dado un conjunto parcial de citas, el modelo debe identificar las autoridades restantes de la opinión de origen.
  • Cat3 (Detección de Errores en Citas): Dado un párrafo de análisis legal, el modelo debe detectar y corregir errores en las citas (por ejemplo, volumen, página o recopilador incorrectos).
• Tareas a Nivel de Caso:
  • Cat4-1 (Coincidencia de Casos): Dado un escenario legal anonimizado, el modelo debe identificar el caso fuente subyacente.
  • Cat4-2 (Verificación y Corrección de Casos): Dado un escenario con una cita explícita, el modelo debe verificar su corrección y proporcionar el caso correcto si la cita es errónea.

Protocolo de Evaluación

• Modelos Evaluados: 21 LLM, incluidos modelos propietarios (por ejemplo, GPT-4o-mini, Claude-3.5-Haiku, Gemini-2.5-Flash) y modelos de código abierto (por ejemplo, Llama 3, Qwen, DeepSeek, SaulLM).
• Mecanismo de Juicio: Un protocolo de "LLM como juez" que utiliza GPT-4o-mini (con rúbricas específicas) para evaluar las salidas. Las puntuaciones se normalizan a una escala de 0–100.
• Métricas:
  • F1 de Citas: Para tareas de recuperación, utilizando coincidencia de subcadenas insensible a mayúsculas y minúsculas para comparar las citas predichas con la verdad fundamental.
  • Tasa de Respuestas Engañosas (MAR): Una métrica de seguridad para tareas con alta carga de recuperación (Cat1, Cat2, Cat4-1). Mide la proporción de respuestas con baja puntuación en las que el modelo proporciona una cita concreta o una respuesta de caso en lugar de abstenerse. Una MAR alta indica una tendencia a alucinar autoridades específicas en lugar de expresar incertidumbre.
  • Tasa de Abstención: La frecuencia con la que los modelos declaran explícitamente que no pueden verificar ni identificar la autoridad solicitada.

Resultados Clave

1. La Recuperación Exacta de Citas es Universalmente Desafiante

En el entorno de libro cerrado, la recuperación exacta de autoridades ancladas en opiniones es extremadamente difícil para todos los modelos evaluados.

• Puntuaciones Bajas: Incluso el modelo más potente, claude-sonnet-4.5, obtuvo solo 6.80 en Cat1 y 6.35 en Cat2. Ningún modelo superó 7/100 en recuperación o completado de citas.
• Asimetría: Existe una brecha pronunciada en el rendimiento entre la generación y la verificación. Los modelos obtienen puntuaciones significativamente más altas en tareas de verificación (Cat3: hasta 75.59; Cat4-2: hasta 96.07) en comparación con las tareas de generación. Esto sugiere que los modelos a menudo pueden juzgar la plausibilidad de una cita proporcionada, pero no pueden recuperar de memoria la autoridad correcta de manera fiable.

2. Altas Tasas de Respuestas Engañosas (MAR)

Los modelos frecuentemente proporcionan respuestas concretas pero poco fiables en lugar de abstenerse.

• Dominio de la MAR: Para 20 de los 21 modelos, la MAR en tareas con alta carga de recuperación superó el 94%. Incluso el modelo de mejor rendimiento (gpt-5-mini) tuvo una MAR del 89.24%.
• Implicación: Cuando los modelos fallan, tienden a fabricar autoridades específicas en lugar de admitir incertidumbre, lo que plantea un riesgo de seguridad significativo en los flujos de trabajo legales.

3. Impacto Limitado de la Escala y el Preentrenamiento de Dominio

• Escalado: Aumentar el tamaño del modelo solo produce ganancias marginales. Por ejemplo, Llama-3.1-70B (3.82 en Cat1) tuvo un rendimiento ligeramente mejor que Llama-3.1-8B (1.47 en Cat1), a pesar de ser casi 9 veces más grande.
• Especialización de Dominio: SaulLM-54B, un modelo de dominio legal, obtuvo la puntuación más alta en la detección de errores en citas (Cat3: 75.59), pero permaneció débil en recuperación (Cat1: 3.77; Cat2: 4.06) con una MAR alta (97.69%). Esto indica que el preentrenamiento en dominio legal mejora las habilidades de verificación, pero no resuelve la brecha de fundamentación para la recuperación de citas en libro cerrado.

4. Mitigación Solo mediante Prompts

Un experimento diagnóstico probó si las instrucciones explícitas de abstención podían reducir la MAR.

• Resultados: Las instrucciones explícitas redujeron la MAR para algunos modelos (por ejemplo, Llama-3.1-8B-Instruct redujo la MAR del 100% al 62.7%), principalmente al aumentar la tasa de abstención.
• Limitación: La reducción de la MAR no se correlacionó con una mejora en la corrección de las citas (las puntuaciones F1 permanecieron cerca de cero). La instrucción hace que los modelos sean menos propensos a fabricar, pero no les dota del conocimiento necesario para generar autoridades correctas.

Significado y Afirmaciones

El artículo posiciona a LegalCiteBench como un marco de diagnóstico en lugar de una certificación de competencia legal. Sus contribuciones principales son:

1. Evaluación de la Generación de Autoridades: Establece un método estandarizado y auditable para evaluar la recuperación de citas en libro cerrado, un modo de fallo crítico en la IA legal que las evaluaciones existentes pasan por alto.
2. Revelación de Brechas de Calibración: Los resultados demuestran una brecha sustancial en la calibración de los modelos; los LLM actuales son propensos a fabricar con confianza autoridades legales cuando falta la fundamentación externa.
3. Evaluación Orientada a la Seguridad: Al introducir la Tasa de Respuestas Engañosas (MAR), el trabajo destaca que una alta precisión en tareas de verificación no garantiza la seguridad en tareas de recuperación.
4. Limitaciones de los Enfoques Actuales: El estudio concluye que ni el escalado ni el preentrenamiento específico de dominio resuelven actualmente el problema de la recuperación exacta de citas en entornos de libro cerrado. Argumenta que la IA legal fiable requiere sistemas aumentados por recuperación, módulos de verificación o estrategias de post-entrenamiento que se centren específicamente en la abstención calibrada, en lugar de depender únicamente de la memoria paramétrica.

Los autores enfatizan que estos hallazgos no deben interpretarse como un fracaso de los sistemas legales aumentados por recuperación, sino como una prueba de estrés que revela los riesgos de la generación sin fundamentación. Abogan por la verificación independiente de cualquier cita producida sin fundamentación externa antes de su uso en el análisis legal profesional.