Resumen Técnico: Anclaje de Citas para la Detección y Reducción de Alucinaciones de Citas en LLM

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) exhiben un problema sistemático de fiabilidad en el dominio legal: la alucinación de citas. Esto implica la generación de referencias plausibles pero fabricadas de estatutos, la cita de disposiciones derogadas, la confusión de jurisdicciones o la construcción de cadenas de razonamiento jurídico inválidas. Aunque los LLM funcionan bien en evaluaciones de razonamiento jurídico (por ejemplo, exámenes de la abogacía), los marcos de evaluación existentes (LEXTREME, LexGLUE, LegalBench) se centran en tareas de clasificación y carecen de métricas para medir o detectar la precisión de las citas en los resultados generativos. La verificación manual por parte de expertos legales es el estándar actual, pero no escala para el monitoreo continuo o para lenguajes con pocos recursos.

2. Metodología

2.1 El Grafo de Citas de Verdad Absoluta (Ground-Truth)

La base del enfoque propuesto es un grafo de citas bipartito masivo $G = (V, E)$ extraído del Registro Unificado de Decisiones Judiciales (EDRSR) de Ucrania.

• Escala: 100.8 millones de nodos de decisión ($V_d$), 21,736 nodos de estatutos únicos ($V_n$) y 502.2 millones de aristas de cita ($E$).
• Estructura: Las aristas conectan una decisión judicial con el artículo de estatuto específico que cita.
• Alcance Temporal: El grafo abarca desde 2005 hasta 2026, cubriendo tres épocas legales distintas (tiempo de paz, guerra híbrida y la invasión a gran escala/ley marcial), lo que permite verificaciones de validez temporal.

2.2 Métrica de Anclaje de Citas (Citation Grounding - CG)

Los autores proponen el Anclaje de Citas (CG), una métrica que verifica las citas generadas por el LLM contra el grafo de verdad absoluta $G$. Esta se descompone en tres componentes para permitir un diagnóstico diferencial de los tipos de alucinación:

1. Precisión de la Cita (CP): Verifica la existencia. ¿Existe el nodo del estatuto citado en $V_n(G)$?
2. Relevancia de la Cita (CR): Verifica la idoneidad contextual. ¿Se utiliza el artículo citado en decisiones semánticamente similares a la consulta? (Calculado mediante embeddings de XLM-RoBERTa).
3. Temporalidad de la Cita (CT): Verifica la validez temporal. ¿Estaba el estatuto en vigor en la fecha del evento legal relevante?

La Calidad de la Cita compuesta ($CQ$) se calcula como el producto de la CP por el promedio de CR y CT. Un estatuto inexistente (CP=0) resulta en una calidad cero, lo que refleja el estándar legal de que una sola cita fabricada invalida un documento.

2.3 CG-DPO (Optimización de Preferencia Directa para el Anclaje de Citas)

Para reducir las alucinaciones sin anotación humana, el artículo introduce CG-DPO, un método para construir pares de entrenamiento de Optimización de Preferencia Directa (DPO) de forma algorítmica.

• Mecanismo: Partiendo de decisiones judiciales verificadas en $G$, el sistema crea versiones "corruptas" del texto modificando las citas.
• Estrategias de Corrupción:
  1. Intercambio de Artículo: Reemplaza un artículo por otro diferente del mismo código (apunta a CP).
  2. Intercambio de Ley: Reemplaza el código manteniendo el número de artículo (apunta a CR).
  3. Inyección de Alucinación: Reemplaza un artículo real por uno inexistente (apunta a CP).
  4. Anacronismo: Reemplaza un estatuto por uno promulgado después de la fecha de la decisión (apunta a CT).
• Entrenamiento: El texto original con las citas correctas sirve como la respuesta preferida ($y_w$), y el texto corrupto sirve como la respuesta rechazada ($y_l$). Esto elimina la necesidad de anotadores humanos.

3. Configuración Experimental y Resultados

3.1 Evaluación Empírica

Los autores evaluaron cinco sistemas en 100 consultas legales ucranianas en siete dominios (Civil, Penal, Administrativo, Laboral, Familiar, Constitucional, Militar):

• Sistemas: Cuatro LLM comerciales vía AWS Bedrock (Claude Haiku 4.5, Mistral Pixtral Large, Amazon Nova Pro, Amazon Nova Lite) y un sistema de producción aumentado con RAG (LEX Chat, basado en Claude Sonnet 4).
• Hallazgos:
  • Tasas de Alucinación: Los puntajes de CG oscilaron entre 0.791 y 0.873, indicando que entre el 13% y el 21% de las citas fueron alucinadas.
  • Superioridad de RAG: El sistema aumentado con RAG logró el CG más alto (0.873) con la menor densidad de citas (2.9 citas/respuesta), lo que sugiere que la recuperación restringe a los modelos a citas basadas en evidencia.
  • Correlación Densidad-Exactitud: Entre los modelos base, la correlación entre la densidad de citas y la exactitud fue débil ($\rho = -0.12$), contradiciendo la hipótesis de un compromiso universal.
  • Varianza de Dominio: El derecho constitucional logró un anclaje perfecto (CG = 1.0) en todos los modelos. El derecho familiar y laboral mostraron la mayor varianza (CG 0.46–0.90).

3.2 Resultados del Entrenamiento CG-DPO

Un modelo Qwen2.5-7B-Instruct fue ajustado mediante LoRA utilizando un conjunto de datos de 2,244 decisiones judiciales con pares de preferencia construidos algorítmicamente.

• Desempeño: El modelo alcanzó una exactitud media de validación del 98.5% al distinguir entre citas correctas y corruptas a través de tres semillas aleatorias.
• Estabilidad: El margen de recompensa fue de +14.9 con una desviación estándar de < 0.3 puntos porcentuales.
• Convergencia: El entrenamiento convergió rápidamente, alcanzando una exactitud casi perfecta dentro de la primera época.

4. Contribuciones Clave

1. Métrica de Anclaje de Citas: Una métrica novedosa y descomponible (CP, CR, CT) para medir y diagnosticar alucinaciones de citas legales a escala, utilizando un grafo de citas de 502 millones de aristas.
2. Evaluación a Gran Escala: Un estudio empírico de cinco LLM sobre la ley ucraniana, revelando que los sistemas RAG superan a los modelos base en la exactitud de las citas y que las tasas de alucinación varían significativamente según el dominio legal.
3. CG-DPO: Un método para generar pares de preferencia DPO algorítmicamente a partir de un grafo de citas, eliminando la dependencia de la costosa anotación humana de leyes para el alineamiento de citas.

5. Significado y Afirmaciones

El artículo afirma que un grafo de citas a gran escala sirve para un doble propósito: actuar como un oráculo de evaluación para detectar alucinaciones y como una señal de entrenamiento para alinear modelos sin intervención humana.

• Ciclo Cerrado: El enfoque cierra el ciclo desde la detección hasta la mitigación sin anotación manual en ninguna etapa.
• Escalabilidad: CG-DPO demuestra que las señales derivadas de grafos son suficientes para el alineamiento de citas, ofreciendo una solución escalable para la IA legal en entornos con pocos recursos.
• Validez de la Métrica: Los autores validan el CG como una métrica conservadora; aunque puede producir falsos positivos (marcando estatutos reales pero poco citados debido a brechas de cobertura del grafo), no produce falsos negativos respecto a disposiciones fabricadas.
• Recursos Abiertos: El grafo de citas, el marco de evaluación y el conjunto de datos CG-DPO se liberan como recursos abiertos para facilitar investigaciones adicionales.

Los autores señalan limitaciones, incluyendo la dependencia del grafo respecto a las decisiones judiciales existentes (brechas de cobertura para nuevas leyes), la implementación actual de la temporalidad (verificación de existencia en lugar de la validez de la versión específica) y el enfoque en sistemas de derecho civil, sugiriendo trabajos futuros para la adaptación al common law y la evaluación de la generación de extremo a extremo.