Legal-DC: Benchmarking Retrieval-Augmented Generation for Legal Documents

1. Problema Identificado

El artículo aborda las limitaciones críticas de los sistemas de Generación Aumentada por Recuperación (RAG) en el contexto de la consulta de documentos legales en chino. Se identifican dos brechas principales:

• Falta de benchmarks especializados: Las evaluaciones existentes se centran casi exclusivamente en la generación de respuestas, descuidando la evaluación conjunta de los componentes de recuperación (retriever) y generación. Además, carecen de anotaciones de nivel de cláusula que vinculen explícitamente las preguntas con sus fuentes de referencia dentro de los documentos legales.
• Inadecuación de los sistemas actuales: Los sistemas RAG convencionales a menudo fallan al manejar la naturaleza estructurada de las provisiones legales. No respetan la integridad de las cláusulas y son sensibles a documentos recuperados con ruido, lo que puede llevar a referencias legales incorrectas o alucinaciones en las respuestas generadas.

2. Metodología y Propuesta

Para abordar estos desafíos, los autores proponen un enfoque integral que incluye la creación de un nuevo dataset y un marco de trabajo optimizado.

A. Dataset Legal-DC

Se construyó un benchmark específico para el contexto de actividades comerciales en China:

• Composición: 480 documentos legales (leyes, reglamentos administrativos y normas departamentales) que cubren áreas como supervisión de mercado, gestión de contratos y seguridad alimentaria.
• Datos: 2,475 pares de preguntas y respuestas (QA) refinados.
• Proceso de Anotación: Se realizó un proceso riguroso de dos rondas con anotadores expertos (estudiantes de derecho e informáticos legales). Cada par QA incluye:
  • Clasificación de tipo de pregunta (explicación de conceptos, inducción de resumen, razonamiento lógico).
  • Referencias de nivel de cláusula: Localización precisa de las secciones del documento que sustentan la respuesta.
• Calidad: Se aplicaron filtros estrictos para eliminar preguntas triviales o respuestas inexactas, logrando una consistencia alta (Coeficiente Kappa de Cohen ≥ 0.83).

B. Marco de Trabajo LegRAG

Se propone LegRAG, un framework diseñado para garantizar la integridad de las cláusulas legales y mejorar la precisión. Sus componentes clave son:

1. Indexación Adaptativa Legal (Doble Ruta):
   • Segmentación por Cláusulas (Chunk-based): Divide el texto por párrafos semánticos para mantener el contexto.
   • Segmentación por Artículos (Article-based): Trata cada artículo legal como una unidad independiente para preservar la integridad de la disposición normativa.
   • Ambas rutas se indexan simultáneamente (vectors y palabras clave) para una recuperación multi-granular.
2. Recuperación Dual y Re-ranking:
   • Primera etapa: Recuperación híbrida (vectorial + palabras clave) para obtener los 20 mejores fragmentos.
   • Segunda etapa: Re-ranking (usando modelos como Qwen3-Rerank) para seleccionar los 5 fragmentos más relevantes.
3. Mecanismo de Auto-Reflexión (Self-Reflection):
   • Un módulo de verificación en bucle cerrado que analiza la respuesta inicial generada.
   • Verifica: (a) Si la respuesta se basa exclusivamente en los documentos recuperados, (b) Si las conclusiones legales son consistentes con las provisiones, y (c) Si hay omisiones de información clave.
   • Si falla, el sistema realiza una recuperación suplementaria o regenera la respuesta.

C. Protocolo de Evaluación Automatizada

Dado que las métricas tradicionales (BLEU, ROUGE) no capturan bien la consistencia semántica ni la precisión factual en derecho, se introduce:

• Document Selection Accuracy (DSA): Mide la capacidad del modelo para seleccionar el documento correcto del conjunto recuperado.
• Evaluación con LLM: Se utiliza un modelo LLM (Qwen3-max) como evaluador automático con un prompt diseñado para priorizar la "evidencia basada en pruebas" y la "precisión legal". Las dimensiones evaluadas son: Relevancia (30%), Precisión (40%), Completitud (20%) y Fluidez (10%).

3. Resultados Clave

Los experimentos compararon LegRAG con sistemas de estado del arte (LightRAG, QAnything, Weknora) utilizando el dataset Legal-DC.

• Rendimiento de Recuperación: LegRAG superó a los baselines más fuertes.
  • Recall@20: 78.02% (vs. 75.86% de LightRAG).
  • MRR@5: 50.23% (vs. 47.56% de LightRAG).
• Rendimiento de Generación: La combinación LegRAG + Qwen3-max obtuvo las puntuaciones más altas en todas las métricas (Precisión, F1, ROUGE, LLM-eval).
  • La estrategia de doble ruta (Chunk + Article) superó significativamente a las estrategias de una sola ruta.
  • El módulo de auto-reflexión mejoró drásticamente los resultados, aumentando la puntuación F1 de 0.6576 a 0.6928 (con Qwen3-max).
• Análisis por Tipo de Pregunta:
  • Las preguntas de Conceptos fueron las más fáciles de resolver.
  • Las preguntas de Razonamiento Lógico (que requieren inferencias implícitas entre cláusulas) fueron las más difíciles, revelando una brecha actual en la capacidad de inferencia multi-paso de los modelos.

4. Contribuciones Principales

1. Legal-DC: El primer benchmark integral para RAG legal en chino que permite la evaluación conjunta de recuperadores y generadores, con anotaciones de granularidad fina (cláusula).
2. Framework LegRAG: Una arquitectura práctica que integra indexación legal adaptativa y un mecanismo de auto-reflexión para mitigar alucinaciones y errores de referencia.
3. Herramientas de Evaluación: Métodos automatizados robustos (DSA y evaluación basada en LLM) diseñados específicamente para los altos requisitos de fiabilidad de los escenarios legales.
4. Insights Empíricos: Demostración de que la combinación de granularidades (artículo y fragmento) y la verificación iterativa son esenciales para el RAG legal, y que los modelos actuales son sensibles al ruido en los documentos recuperados.

5. Significado e Impacto

Este trabajo es fundamental para el avance de la IA en el sector legal chino. Proporciona:

• Un estándar de referencia (benchmark) que permite comparar objetivamente diferentes componentes de RAG en un dominio de alta responsabilidad.
• Una solución práctica (LegRAG) que mejora la fiabilidad de las consultas legales, reduciendo el riesgo de errores jurídicos causados por alucinaciones o referencias incorrectas.
• Herramientas de código abierto (disponibles en GitHub) que facilitan la investigación y el desarrollo de sistemas legales más robustos, sentando las bases para futuras mejoras en el razonamiento lógico legal y la evaluación híbrida (humano-IA).

En resumen, el artículo demuestra que para que el RAG sea viable en el derecho, no basta con recuperar texto; es necesario preservar la estructura legal de las normas y verificar rigurosamente la coherencia lógica de las respuestas generadas.