Enhancing Legal LLMs through Metadata-Enriched RAG Pipelines and Direct Preference Optimization

Resumen Técnico: Mejora de Modelos de Lenguaje Legal (LLMs)

1. El Problema

Los Modelos de Lenguaje Grandes (LLMs) enfrentan desafíos críticos en el dominio legal, especialmente al procesar documentos extensos y complejos. Los principales problemas identificados son:

• Alucinaciones: Los modelos generan cláusulas, precedentes o citas estatutarias incorrectas, lo cual es inaceptable en un campo donde la precisión es vital.
• Limitaciones del RAG Estándar: La Generación Aumentada por Recuperación (RAG) convencional falla en entornos legales debido a dos modos de fallo principales:
  1. Errores de Recuperación: Causados por la redundancia léxica y la alta similitud estructural en los corpus legales, lo que lleva a recuperar fragmentos de documentos incorrectos (Desajuste de Recuperación a Nivel de Documento o DRM).
  2. Errores de Decodificación: Los modelos generan respuestas incluso cuando el contexto recuperado es insuficiente, o por el contrario, se vuelven excesivamente conservadores y se niegan a responder cuando la información es adecuada.
• Privacidad de Datos: La necesidad de desplegar modelos pequeños y locales para garantizar la privacidad de los datos legales limita el uso de modelos masivos en la nube.

2. Metodología Propuesta

Los autores proponen un enfoque dual que mejora tanto la etapa de recuperación (RAG) como la etapa de generación (alineación del modelo).

A. Pipeline RAG Enriquecido con Metadatos (Metadata-Enriched Hybrid RAG)

• Fragmentación Recursiva: Se utiliza una estrategia de Recursive Character Splitting (implementada con LangChain) que respeta los límites naturales del documento (secciones, párrafos) antes de dividir por caracteres, manteniendo la coherencia semántica.
• Inyección de Metadatos: Se transforman los fragmentos de texto estándar en unidades de recuperación conscientes del contexto inyectando metadatos específicos del dominio.
  • Metadatos clave: Resumen local (generado sobre una ventana de 4 fragmentos adyacentes), nombre del documento y jurisdicción.
  • Balance: Los metadatos ocupan aproximadamente un 20-25% del espacio de tokens, enriqueciendo el contexto sin sacrificar el contenido textual original.
• Resumen de Ventana Local: Se generan resúmenes concisos (150-200 tokens) de ventanas superpuestas de fragmentos para capturar contexto más allá de los límites de un solo fragmento.
• Recuperación Híbrida: Se emplea una combinación de recuperación densa (embeddings semánticos con el modelo thenlper/gte-large) y dispersa (BM25 para coincidencia léxica exacta de citas y nombres de casos), con un peso de 0.8 para densa y 0.2 para dispersa.

B. Optimización Directa de Preferencias (DPO)
Para abordar el comportamiento de "negativa excesiva" (over-refusal) o la generación de respuestas sin contexto suficiente:

• Construcción del Dataset: Se creó un dataset de preferencias basado en el conjunto de datos Australian Legal QA.
  • Conjunto 1 (Contexto Correcto): El modelo debe responder con la verdad (Ground Truth) si el contexto es suficiente. Si responde negativamente, se considera una respuesta rechazada.
  • Conjunto 2 (Contexto Incorrecto): Se proporciona un contexto de un documento no relacionado. El modelo debe negarse a responder. Si genera una respuesta, se considera una alucinación y se rechaza.
• Objetivo de Alineación: Entrenar al modelo (LLaMA 3.2 1B) para que aprenda a:
  1. Generar respuestas cuando el contexto es suficiente.
  2. Negarse explícitamente ("Given context is not sufficient to answer") cuando el contexto es insuficiente o incorrecto.

3. Contribuciones Clave

1. Estrategia de Recuperación Mejorada: Demostración de que la inyección de metadatos (resúmenes locales y detalles del documento) en los fragmentos reduce significativamente el DRM y mejora la recuperación de evidencia textual específica en corpus legales complejos.
2. Alineación Selectiva mediante DPO: Resolución del problema de la "negativa excesiva" en modelos pequeños mediante DPO, logrando un comportamiento de rechazo selectivo que no se puede lograr solo con instrucciones en el prompt (zero-shot).
3. Evaluación Integral: Un marco de evaluación que combina métricas de recuperación (DRM, Recall de Span) y métricas de generación (BERTScore, análisis de alucinaciones) en un pipeline de extremo a extremo.
4. Dataset y Preprocesamiento: Reconstrucción de anotaciones de nivel de fragmento (span annotations) para el conjunto de datos Australian Legal QA, permitiendo una evaluación justa y consistente.

4. Resultados Experimentales

Los experimentos se realizaron en tres conjuntos de datos: PrivacyQA, MAUD (análisis de contratos) y Australian Legal QA.

• Rendimiento de RAG (Recuperación):

  • En el conjunto MAUD, la mejora fue dramática: el Span Recall aumentó de ~25% a ~105% (mejora relativa del 320%) y el DRM disminuyó del 87% al 13%.
  • En Australian Legal QA, se observó una mejora consistente del 35-40% en el Span Recall y una reducción del 18-28% en el DRM.
  • La recuperación híbrida (Densa + BM25) demostró ser crucial para citas legales exactas.

• Rendimiento de DPO (Generación y Negativa):

  • Reducción de Negativas Excesivas: En el conjunto de contexto correcto, la tasa de negativa del modelo zero-shot era del 53.2%. Tras el DPO, cayó al 1.5%.
  • Aumento de Negativas Correctas: En el conjunto de contexto incorrecto, la tasa de negativa aumentó del 87.3% al 99.3%, evitando alucinaciones.
  • Calidad de la Respuesta: El puntaje BERTScore (F1) en respuestas correctas mejoró de 0.8526 a 0.9074, una mejora estadísticamente significativa.

• Evaluación de Extremo a Extremo:

  • La combinación de fragmentación enriquecida con metadatos y alineación DPO logró un puntaje F1 medio de 0.8657, superando significativamente a la línea base (0.8479).

5. Significado e Impacto

Este trabajo es significativo porque aborda la fiabilidad de los LLMs legales desde dos frentes complementarios:

1. Fiabilidad de los Datos: Mejora la calidad de la información de entrada (recuperación), asegurando que el modelo reciba el contexto legal correcto y completo, mitigando errores derivados de la ambigüedad léxica de los documentos legales.
2. Fiabilidad del Comportamiento: Alinea el comportamiento del modelo para que sea útil (responde cuando puede) y seguro (se niega cuando no puede), reduciendo tanto las alucinaciones como la reticencia injustificada.

La propuesta demuestra que es posible construir sistemas legales robustos, precisos y seguros utilizando modelos pequeños desplegados localmente, lo cual es esencial para cumplir con los estrictos requisitos de privacidad y confidencialidad de la industria legal.