L-MARS: Legal Multi-Agent Workflow with Orchestrated Reasoning and Agentic Search

Resumen Técnico: L-MARS (Flujo de Trabajo Multi-Agente Legal con Razonamiento Orquestado y Búsqueda Agéntica)

1. El Problema

Los Modelos de Lenguaje Grandes (LLM) aplicados a tareas legales a menudo sufren de alucinaciones, donde generan hechos jurídicos incorrectos con confianza. Esto es crítico en el ámbito legal, donde citas erróneas o leyes desactualizadas pueden tener consecuencias reales.

• Limitaciones de los enfoques actuales:
  • Fine-tuning: Requiere reentrenamiento constante ante cambios en las leyes, lo cual es poco práctico.
  • RAG (Generación Aumentada por Recuperación) tradicional: Aunque evita el reentrenamiento, su efectividad depende de la calidad de la recuperación. En benchmarks de razonamiento legal (como el Bar Exam QA), la recuperación estándar apenas mejora la precisión.
  • Razonamiento sin recuperación: En dominios de conocimiento rápido (leyes nuevas), el razonamiento "Chain-of-Thought" (CoT) sin acceso a información actual puede empeorar el rendimiento, llevando a la "confabulación segura": el modelo construye justificaciones lógicas basadas en premisas obsoletas.

2. Metodología: L-MARS

L-MARS es un marco de trabajo de recuperación multi-agente diseñado para la respuesta a preguntas legales fundamentadas. Se implementa utilizando LangGraph con un flujo de trabajo dirigido y validación de salida estructurada.

• Arquitectura de Agentes:

  • Agente de Consulta (Query Agent): Descompone la pregunta del usuario en intenciones de búsqueda estructuradas.
  • Agente de Búsqueda (Search Agent): Ejecuta llamadas a herramientas de recuperación. Utiliza tres fuentes principales:
    1. Búsqueda Web en Línea (Serper API): Con dos modos: Básico (títulos/snippets para exploración rápida) y Mejorado (extracción de contenido completo de las mejores URLs, limpiando HTML/PDFs y anclando la extracción al snippet para ahorrar tokens).
    2. Índice Local RAG: Recuperación sobre documentos proporcionados por el usuario usando BM25.
    3. Integración CourtListener: Acceso a jurisprudencia oficial (opiniones judiciales, argumentos) mediante la API de CourtListener.
  • Agente Juez (Judge Agent): Realiza verificaciones de suficiencia de la evidencia. Evalúa soporte fáctico, coincidencia de jurisdicción, especificidad temporal y análisis de contradicciones. Decide si la información es suficiente o si se necesita refinar la búsqueda.
  • Agente de Resumen (Summary Agent): Sintetiza la respuesta final con citas y fundamentos.

• Modos de Operación:

  • Modo Simple: Un flujo de un solo paso (descomposición $\to$ recuperación $\to$ síntesis). Utilizado en la evaluación principal para aislar el impacto de la recuperación.
  • Modo Multi-Vuelta: Un bucle iterativo donde el Agente Juez guía la refinación de consultas hasta alcanzar un umbral de suficiencia de evidencia.

3. Contribuciones Clave

1. LegalSearchQA: Un nuevo benchmark de 50 preguntas de opción múltiple en cinco dominios legales (Fiscalidad, Corporativo, Laboral, Inmigración, Tecnología y Derecho Penal).
   • Característica única: Las respuestas dependen de desarrollos legales recientes (2024-2026) que no existen en los datos de entrenamiento de los modelos, obligando a la recuperación web.
   • Las preguntas se centran en hechos verificables (umbrales, fechas, requisitos) en lugar de interpretación subjetiva.
2. Marco L-MARS: Una arquitectura multi-agente que orquesta la búsqueda, filtrado y síntesis para respuestas legales fundamentadas.
3. Hallazgo Empírico: Demostración de que la recuperación agéntica mejora drásticamente el rendimiento en tareas dependientes de hechos actuales, mientras que el razonamiento puro (CoT) puede degradar el rendimiento si el conocimiento paramétrico está desactualizado.

4. Resultados

Los experimentos compararon tres condiciones usando GPT-4o-mini como modelo base: Zero-Shot, Chain-of-Thought (CoT) y L-MARS (Modo Simple).

• En LegalSearchQA (Requiere conocimiento actual):

  • Zero-Shot: 58.0% de precisión.
  • CoT: 30.0% de precisión (peor que el azar del 25%). El modelo generó justificaciones lógicas basadas en leyes obsoletas.
  • L-MARS: 96.0% de precisión.
  • Mejora: Un aumento de 38 puntos porcentuales sobre Zero-Shot.
  • Análisis por dominio: Las mayores ganancias se dieron en Fiscalidad y Regulación Corporativa (+61.5%), donde los umbrales numéricos y fechas cambian frecuentemente.

• En Bar Exam QA (Razonamiento sobre principios generales):

  • Zero-Shot: 55.2%.
  • L-MARS: 55.9% (con Serper) o 54.4% (con Tavily).
  • Conclusión: La recuperación aportó una mejora insignificante (+0.7 puntos), confirmando que en tareas de razonamiento abstracto sobre principios legales estáticos, la recuperación web añade ruido en lugar de señal.

• Análisis de Errores:

  • Los dos errores de L-MARS en LegalSearchQA ocurrieron porque la respuesta requería un hecho específico enterrado en un documento largo que la recuperación a nivel de snippet no pudo capturar.
  • El CoT falló sistemáticamente al "confiar" en datos de años fiscales anteriores o regulaciones derogadas.

5. Significado e Implicaciones

• Dependencia del Benchmark: El valor de la recuperación agéntica no es universal; es crítico para tareas que requieren hechos actualizados, pero marginal para tareas de razonamiento lógico sobre principios establecidos.
• Riesgo del Razonamiento Puro: En dominios de rápida evolución (como la ley), forzar a un modelo a razonar paso a paso sin acceso a información externa puede amplificar errores en lugar de corregirlos ("confabulación segura").
• Necesidad de Nuevas Evaluaciones: Se destaca la urgencia de desarrollar benchmarks legales que prueben específicamente la capacidad de recuperación de información actual, más allá de la capacidad de razonamiento estático.
• Aplicabilidad: L-MARS ofrece una vía viable para sistemas legales de producción que requieren precisión y fundamentación en fuentes primarias y secundarias actualizadas.

El código, los datos de LegalSearchQA y los scripts de evaluación están disponibles públicamente en el repositorio de GitHub de los autores.