Resumen Técnico: Hacia una IA Legal Confiable mediante Evaluación Sensible a la Relevancia y Razonamiento Fundamentado en Solucionadores

1. Enunciado del Problema

El razonamiento jurídico requiere fundamentalmente distinguir entre cambios que son jurídicamente materiales y aquellos que son irrelevantes. En los sistemas de Estado de derecho, los resultados judiciales deben satisfacer la racionalidad formal: las conclusiones deben justificarse mediante reglas explícitas, generales y lógicamente coherentes, trazables hasta las leyes vigentes. Sin embargo, los Modelos de Lenguaje Grandes (LLM) actuales aplicados a tareas legales (por ejemplo, respuesta a preguntas, resumen de opiniones, razonamiento en exámenes de abogacía) exhiben fallos críticos en esta distinción. A menudo son:

• Inestables ante perturbaciones irrelevantes: Sus decisiones cambian basándose en atributos jurídicamente irrelevantes (por ejemplo, datos demográficos, reformulaciones estilísticas, antecedentes procesales) o en encuadres adversarios.
• Insensibles a cambios materiales: No actualizan sus predicciones cuando se alteran elementos estatutarios, estados mentales o excepciones aplicables.
• Vulnerables a la confusión: Tienen dificultades para distinguir entre estatutos similares con hechos superficiales superpuestos pero condiciones de aplicabilidad diferentes.

Las evaluaciones existentes suelen estudiar estos fenómenos de forma aislada (por ejemplo, equidad o robustez por separado). Existe una carencia de un marco unificado que evalúe si un modelo permanece invariante ante perturbaciones de "no debería cambiar" mientras actualiza correctamente bajo perturbaciones de "debería cambiar".

2. Metodología

El artículo propone un enfoque de dos frentes: un nuevo marco de evaluación y una arquitectura de razonamiento novedosa.

2.1 Evaluación Sensible a la Relevancia Legal

Los autores formulan el razonamiento jurídico confiable como un problema de evaluación sensible a la relevancia legal. Este marco unifica la evaluación de la equidad judicial, la robustez, el encuadre adversario y la confusión de estatutos en una única suite.

• Taxonomía de Perturbaciones: La evaluación categoriza las perturbaciones en dos tipos:
  1. Preservación de Etiqueta (No Debería Cambiar): Perturbaciones que alteran información jurídicamente irrelevante (por ejemplo, atributos demográficos, parafraseo, opiniones de expertos irrelevantes, autoridades legales fabricadas) mientras preservan los hechos materiales. Un modelo confiable debe satisfacer $f(x) = f(\tau(x))$.
  2. Cambio de Etiqueta (Debería Cambiar): Perturbaciones que modifican condiciones jurídicamente materiales (por ejemplo, conducta, estado mental, gravedad del daño, excepciones estatutarias). Un modelo confiable debe satisfacer $f(\tau(x)) = y_{\tau}$, donde $y_{\tau}$ es la nueva etiqueta jurídicamente correcta.
• Métricas: El marco mide la Invarianza (estabilidad ante cambios irrelevantes), la Alineación del Cambio (actualizaciones correctas ante cambios materiales), la Magnitud del Sesgo y la Correctitud del Estatuto.

2.2 LexGuard: Marco Adversario Multiagente Fundamentado en Solucionadores

Para abordar los fallos de los LLM estándar, los autores introducen LexGuard, un marco que separa la propuesta legal de la verificación legal utilizando razonamiento formal.

• Formalización de la Ley: Los estatutos y las interpretaciones judiciales se formalizan automáticamente en una base de conocimientos legal formal ($K$) compuesta por restricciones ejecutables. Cada regla se representa como una restricción condicional: $ARTICLEGUARD \land CLAUSEGUARD \Rightarrow PENALTY$. Estos guardias verifican sujeto, objeto, conducta, intención, daño, causalidad y excepciones.
• Agentes Adversarios: Dos agentes LLM con roles diferenciados (Fiscalía y Defensa) extraen independientemente tuplas estructuradas de argumentos hecho-estatuto de la misma narrativa del caso.
  • La Fiscalía se centra en los hechos que apoyan la responsabilidad.
  • La Defensa se centra en los elementos faltantes, las excepciones y las interpretaciones alternativas.
  • Los agentes debaten disposiciones confusas dentro de clústeres de similitud para refinar los estatutos candidatos.
• Adjudicación Centrada en el Solucionador:
  1. El sistema busca en $K$ las restricciones correspondientes a los estatutos propuestos.
  2. Los hechos extraídos se refinan y comparan con los elementos legales requeridos.
  3. Los hechos refinados y las restricciones se codifican en una fórmula SMT (Satisfiability Modulo Theories) ($\Phi$).
  4. Un solucionador SMT (Z3) verifica la satisfacibilidad de los guardias de artículo, los guardias de cláusula y los guardias de excepción.
  5. Resolución de Conflictos: Si el solucionador encuentra una contradicción (por ejemplo, hechos conflictivos o guardias incompatibles), devuelve un "núcleo insatisfacible" que identifica el conflicto, desencadenando la re-fundamentación de hechos o la reparación de restricciones.
  6. El fallo final se produce únicamente mediante la aplicabilidad legal verificada por el solucionador, filtrando hechos irrelevantes y estatutos alucinatorios.

3. Contribuciones Clave

1. Marco de Evaluación: La formulación del razonamiento jurídico confiable como un problema sensible a la relevancia legal, instanciado con una suite unificada de perturbaciones de "debería cambiar" y "no debería cambiar" que cubren equidad, robustez, ataques adversarios y confusión de estatutos.
2. Arquitectura LexGuard: Un marco adversario multiagente fundamentado en solucionadores que formaliza los estatutos en restricciones ejecutables, utiliza agentes adversarios para extraer argumentos competitivos y emplea un solucionador SMT para verificar la consistencia lógica y la satisfacción estatutaria.
3. Validación Empírica: Experimentos integrales que demuestran que los LLM legales existentes son sistemáticamente sensibles a variaciones irrelevantes y fallan en distinguir elementos legales relacionados, mientras que LexGuard mejora significativamente la fiabilidad, la equidad y la robustez.

4. Resultados Experimentales

Los autores evaluaron LexGuard en conjuntos de datos legales públicos (LeCaRDv2, LEEC) y su suite de perturbaciones personalizada.

• Rendimiento de Predicción Estándar: LexGuard obtuvo las mejores puntuaciones F1 tanto para la predicción de disposiciones generales como específicas en LeCaRDv2 y LEEC. Las mejoras se impulsaron principalmente por una mayor precisión, lo que indica que el solucionador suprime eficazmente las predicciones de estatutos irrelevantes.
• Precisión en la Sentencia: LexGuard logró el Error Cuadrático Medio (RMSE) más bajo en las predicciones de sentencia, tanto con como sin estatutos "dorados" (verdad fundamental), manteniendo al mismo tiempo una alta validez legal (verificada por el solucionador).
• Sensibilidad a la Relevancia (RQ3 y RQ4):
  • Debería Cambiar: LexGuard mostró una capacidad superior para actualizar predicciones cuando se modificaban elementos estatutarios, superando a las líneas base en la "Alineación del Cambio".
  • No Debería Cambiar: LexGuard demostró una fuerte robustez frente al encuadre adversario (por ejemplo, autoridades fabricadas, secuestro de roles) y reformulaciones benignas, manteniendo altas puntuaciones de invarianza y F1 conscientes del ataque donde las líneas base fallaron.
• Confusión de Estatutos (RQ5): En tareas que involucraban clústeres de estatutos confusos (por ejemplo, robo vs. fraude), LexGuard logró una "Exactitud Positiva" significativamente mayor (88.71% frente a 58.57% para las líneas base) y tasas más bajas de omisión y selección incorrecta de estatutos similares.
• Estudio de Ablación: Eliminar el razonador Z3 causó la mayor degradación en el rendimiento, destacando la necesidad de la verificación de consistencia simbólica. Eliminar también el módulo de debate adversario redujo significativamente la precisión, confirmando el valor de la competencia de granularidad fina entre disposiciones confusables.

5. Significado y Afirmaciones

El artículo afirma que la confianza legal requiere no solo precisión, sino también una sensibilidad calibrada a los cambios jurídicamente materiales.

• Más allá de la Precisión: Una alta precisión por sí sola es insuficiente para la IA legal si el modelo es inestable ante perturbaciones irrelevantes o insensible a cambios materiales. La confiabilidad se define por la capacidad de distinguir cambios relevantes de irrelevantes.
• Razonamiento Auditables: Al fundamentar las decisiones en restricciones formales y verificación SMT, LexGuard produce justificaciones simbólicas que son auditables frente a reglas estatutarias explícitas, abordando la naturaleza de "caja negra" de los LLM estándar.
• Mecanismo de Robustez: Los resultados sugieren que la robustez frente a ataques adversarios y perturbaciones irrelevantes no puede lograrse únicamente mediante ingeniería de prompts (por ejemplo, Cadena de Pensamiento o prompts de pocos ejemplos), sino que requiere una separación estructural de la propuesta y la verificación mediante solucionadores formales.

Limitaciones Reconocidas:
Los autores señalan que la calidad de la formalización del marco depende de la precisión de los LLM utilizados para generar los hechos y reglas iniciales. El sistema actual se limita a reglas estatutarias y aún no captura completamente la jurisprudencia, las normas de textura abierta o la jurisprudencia evolutiva. Además, el proceso de múltiples etapas introduce una sobrecarga computacional moderada, aunque el costo por caso sigue siendo prácticamente asequible.