Resumen Técnico: Puente entre la Interpretación Jurídica y la Lógica Formal

Declaración del Problema: La Divergencia de la Corrección

El artículo identifica una desalineación fundamental entre los objetivos de los profesionales del derecho y los investigadores de inteligencia artificial en el contexto de la adopción de Modelos de Lenguaje Grande (LLM). Mientras que la interpretación jurídica se basa en conocimientos previos e inferencias contextuales para derivar conclusiones, la lógica formal exige que todas las inferencias estén explícitamente fundamentadas en el texto fuente.

El problema central no es meramente que los LLM alucinen hechos, sino que sistemáticamente extraen inferencias más allá de lo que el texto fuente respalda, presentando conclusiones cargadas de supuestos como si estuvieran lógicamente fundamentadas. Los sistemas actuales de IA jurídica suelen o bien imitar la interpretación jurídica (mediante el entrenamiento de modelos de lenguaje) o bien imponer validez formal (mediante métodos simbólicos), sin reconocer que estos dos modos de razonamiento divergen regularmente. Esta brecha hace que el razonamiento jurídico asistido por IA sea poco fiable en entornos de alto riesgo donde el rigor es primordial.

Metodología y Diseño Experimental

1. Reanotación de ContractNLI

Los autores investigan esta brecha utilizando el conjunto de datos ContractNLI, originalmente anotado por expertos con formación jurídica. Reanotan estos ejemplos bajo una definición formal estricta de implicación:

• Implicación (Entailment): Una hipótesis $H$ es implicada por una premisa $P$ si y solo si $P \land \neg H$ es insatisfacible.
• Contradicción: $H$ es contradicha si $P \land H$ es insatisfacible.
• Neutral: En caso contrario.

Este proceso transforma la "brecha opaca" entre la interpretación pragmática y la lógica estricta en un objeto medible. Los autores construyen pares mínimos para casos divergentes: modifican las hipótesis mínimamente para suministrar explícitamente los supuestos faltantes, haciéndolas así formalmente implicadas.

2. Evaluación de Tres Paradigmas

El estudio evalúa tres paradigmas de razonamiento en cinco LLM (GPT, Claude, LLaMA, DeepSeek, Qwen):

1. Clasificación Pura con LLM: Prompts estándar sin restricciones formales.
2. Razonamiento con LLM sobre Representaciones Formales: LLMs generando estructuras lógicas.
3. Pipeline Neuro-Simbólico: Un sistema que combina la formalización con LLM y un solver SMT (Z3) para verificación.

3. Enfoque "Solver-in-the-Loop" (Solucionador en el Bucle)

Cuando el pipeline SMT encuentra una falta de fundamentación explícita, no falla simplemente; calcula el conjunto mínimo de axiomas adicionales requeridos para cambiar la clasificación de Neutral a Implicación o Contradicción. Estos supuestos mínimos se presentan a un revisor legal como preguntas dirigidas (por ejemplo, "¿Establece implícitamente el derecho contractual estándar este supuesto?"), permitiendo que la experiencia humana valide o rechace las normas implícitas.

Hallazgos Clave

Cambios de Etiqueta y Brechas Sistemáticas

La reanotación reveló una proporción sustancial de cambios de etiqueta, principalmente de IMPLICACIÓN A NEUTRAL. Esto indica que muchas conclusiones consideradas válidas por expertos jurídicos dependen de conocimientos previos o supuestos contextuales ausentes en el texto.

Modos de Fallo

El estudio identifica tres modos de fallo recurrentes en los modelos actuales:

1. Inyección de Supuestos: Salvar silenciosamente las brechas con inferencias no declaradas.
2. Lavado de Alcance: Presentar conclusiones informales como formalmente fundamentadas.
3. Ceguera ante Restricciones Implícitas: Pasar por alto restricciones presentes en representaciones formales.

Análisis de Rendimiento

• Precisión vs. Fidelidad: Los modelos de alto rendimiento tienen éxito al imitar la interpretación jurídica (incluyendo supuestos implícitos) en lugar de razonar formalmente. La precisión no implica un razonamiento fiel.
• La Ventaja del SMT: El pipeline neuro-simbólico es más conservador, devolviendo "Neutral" cuando falta fundamentación explícita. Hace visible la brecha en lugar de "taparla".
• Error Dominante: El error más común en todos los modelos es la mala clasificación NEUTRAL $\to$ IMPLICACIÓN, lo que refleja una inyección sistemática de supuestos. Las confusiones entre Implicación y Contradicción son raras, lo que sugiere que el problema es una fundamentación insuficiente, no una inconsistencia lógica.

Contribuciones Propuestas y Agenda de Investigación

1. Un Nuevo Conjunto de Datos de Referencia

Los autores proponen una referencia para la distorsión de postura en textos jurídicos y académicos. A diferencia de las referencias existentes que se centran en citas fabricadas, este conjunto de datos apunta a casos donde las fuentes existen y se recuperan correctamente, pero la afirmación del modelo exagera, subestima o caracteriza erróneamente la fuente. Utiliza el marco de tres vías y la metodología de pares mínimos establecidos en su investigación.

2. Entrenamiento "Solver-in-the-Loop"

En lugar de depender de jueces LLM o preferencias humanas para la retroalimentación, los autores proponen utilizar una herramienta de verificación formal como señal de recompensa.

• El sistema enseña a los modelos a distinguir entre inferencias formalmente sustentables y aquellas cargadas de supuestos.
• Cuando una afirmación se marca como insuficientemente fundamentada, el solucionador calcula los axiomas mínimos necesarios para fundamentarla.
• Esto alimenta directamente la revisión humana dirigida en los puntos precisos donde la interpretación jurídica y la fundamentación formal divergen.

Significado y Visión

El artículo argumenta que comprender dónde y por qué fallan los sistemas actuales de IA jurídica no es una limitación, sino la base para un futuro confiable. La visión propuesta es un sistema de razonamiento jurídico con IA que opere transparentemente en ambos marcos:

• Capaz de interpretación jurídica cuando sea apropiado.
• Capaz de fundamentación formal cuando sea requerido.
• Capaz de hacer visibles los supuestos mínimos que conectan ambos para una revisión jurídica dirigida.

Al caracterizar honestamente los modos de fallo, los autores buscan construir sistemas que hagan visible proactivamente la incertidumbre interpretativa, reduciendo la carga de la verificación manual sin sacrificar la responsabilidad exigida por la práctica legal. Este enfoque cambia el paradigma de pedir a los abogados que verifiquen conclusiones a posteriori a integrar la experiencia humana precisamente donde los métodos formales alcanzan sus límites.