Resumen Técnico: Del Estatuto al Flujo de Control: Árboles Deónticos Basados en Intervalos para el Procesamiento de Alcance Defecible

1. Definición del Problema: Omisión Silenciosa del Alcance (SSO)

Los agentes que siguen reglas, diseñados para ejecutar políticas y regulaciones, fallan frecuentemente mediante la Omisión Silenciosa del Alcance (SSO, por sus siglas en inglés). En este modo de falla, un modelo aplica una regla general pero omite silenciosamente excepciones anidadas, contra-excepciones o cláusulas de anulación. El resultado resultante parece conforme y supera verificaciones ligeras, pero falla en casos críticos donde las cláusulas "derrotadoras" (por ejemplo, "a menos que", "excepto", "siempre que") determinan el resultado final.

Aunque a menudo se enmarca como un problema de sistemas de agentes, los autores identifican el cuello de botella subyacente como la comprensión estatutaria y de políticas, específicamente la capacidad de recuperar la estructura no monotónica de los textos legales donde las cláusulas posteriores restringen a las anteriores. Los benchmarks de PLN legal existentes (por ejemplo, LexGLUE, LegalBench) suelen enfatizar resultados de tareas finales (QA, implicación, predicción de juicios). Estas métricas pueden recompensar una decisión final correcta incluso cuando el modelo falla en recuperar la estructura interna de alcance/anulación, ocultando así las omisiones estructurales que causan la SSO.

2. Metodología: NormBench y SG-DT

2.1 Benchmark NormBench

Para diagnosticar y mitigar la SSO, los autores introducen NormBench, un benchmark que consta de 2,290 ítems de lenguaje de provisión a través de tres dominios:

• NormBench-ZH: Provisiones estatutarias codificadas en chino (leyes nacionales, regulaciones administrativas, políticas locales).
• NormBench-EN: Reglas en inglés de la ley fiscal de EE. UU., el RGPD de la UE y políticas corporativas.
• Translingüe: Pares de traducción oficiales ZH–EN para probar la invariancia estructural.

El conjunto de datos se organiza desde lo controlado (estatutos codificados) hasta lo "en el mundo real" (políticas operativas) e incluye 1,790 provisiones subyacentes únicas. Está anotado con una representación intermedia específica diseñada para el procesamiento de alcance desfallecible.

2.2 Árboles Deónticos Basados en Intervalos (SG-DT)

La contribución metodológica central es SG-DT, una representación intermedia (IR) de estilo compilador que ancla cada rama lógica a intervalos de texto fuente inmutables. A diferencia de la generación libre estándar, SG-DT impone cuatro restricciones de diseño:

1. Auditabilidad basada en intervalos: Cada nodo es un puntero a un intervalo de texto específico, lo que permite un mapeo determinista a firmas descendentes.
2. Decidibilidad bajo Defeasibilidad: Las excepciones se compilan en Guardas de Exclusión Explícita. Una rama de regla general incluye explícitamente una hoja de exclusión que apunta al disparador de la excepción, asegurando que la regla se aplique solo si la excepción no se cumple. Esto evita la omisión silenciosa del alcance final.
3. Evaluación Determinista: La estructura soporta puntuación estructural exacta y compilación en procedimientos de decisión ejecutables.
4. Aprendibilidad: La representación es densa y apta para seq2seq, evitando ontologías que requieran expertos.

Detalles del Esquema:

• Ramas ($B_i$): Definidas por un Ancla (intervalo disparador), Modalidad (por ejemplo, Obligación, Prohibición), Árbol de Condición ($C$) y Efectos ($E$).
• Defeasibilidad: Manejada mediante una Política de Exclusión Explícita. Si una regla tiene un disparador de excepción $T$, la rama general incluye una hoja de exclusión ($\neg T$), y la rama de excepción incluye $T$ como una precondición positiva. Esto asegura la disyunción lógica ($B_{gen} \land B_{exc} \equiv \text{False}$) sin reglas de prioridad heurísticas.
• Profundidad de Recursión ($D$): Definida como la longitud de la cadena de derrotadores inducida por la exclusión (por ejemplo, $D \ge 2$ para excepciones anidadas).

3. Contribuciones Clave

1. NormBench y SG-DT: Un benchmark estandarizado e IR para evaluar la recuperación del alcance estructural en textos legales, cubriendo 2,290 ítems a través de dominios controlados y operativos.
2. Análisis de Patologías: Identificación de dos barreras clave para los agentes legales fiables:
   • El Cuello de Botella de la Recursión: Degradación del rendimiento impulsada por la profundidad lógica (excepciones anidadas) en lugar de la longitud del contexto.
   • La Trampa de la Auditabilidad: Los modelos recuperan los intervalos relevantes con alta fidelidad pero fallan al ensamblar el flujo de control correcto (el acoplamiento de las excepciones).
3. Intervención Específica de Mecanismo: Demostración de que la utilidad de SG-DT es condicional. Mejora significamente los resultados en casos con actividad de excepciones/propensos a SSO, donde el resultado depende de un derrotador, pero las ganancias agregadas pueden ser mixtas o negativas cuando la estructura añadida es innecesaria o la fidelidad del parser es baja.

4. Resultados Experimentales

4.1 Recuperación de la Estructura Intrínseca (Procesamiento SG-DT)

Las evaluaciones de los LLM de frontera (por ejemplo, GPT-5.2, DeepSeek-V3.2, Claude-Opus-4.5) revelan una Brecha de Fundamentación Estructural:

• Alta Fidelidad, Baja Lógica: Los modelos logran un SpanFaith (0.77) alto y baja alucinación, pero un Edge-F1 (0.24) bajo. Pueden "citar" la regla pero fallan al conectar las excepciones correctamente.
• La Paradoja del Dominio: Los LLM de propósito general superan significativamente a los LLM legales especializados (por ejemplo, ChatLaw, LawGPT). Los modelos de dominio legal sufren fallos catastróficos de fundamentación (Edge-F1 ~0.04), sugiriendo que su entrenamiento prioriza la fluidez conversacional sobre la disciplina rigurosa de punteros basados en intervalos.
• Decaimiento de la Recursión: El rendimiento cae drásticamente cuando aumenta la profundidad del derrotador ($D \ge 2$). Por ejemplo, el Edge-F1 de GPT-5.2 cae de 0.22 ($D=0$) a 0.07 ($D \ge 2$).

4.2 Isomorfismo Translingüe

En pares bilingües (ZH–EN), los modelos a menudo producen árboles lógicos estructuralmente diferentes para la misma provisión a pesar de tener una calidad monolingüe similar.

• Iso-F1 < 0.40: Incluso cuando la similitud de edición de árbol (Tree-ES) es moderada, los árboles ZH y EN rara vez son isomorfos.
• Ambigüedad de Traducción: Pequeñas diferencias en cómo se renderizan las pistas de alcance (por ejemplo, "a menos que" vs. "siempre que") pueden invertir a qué derrotador se une una condición, creando un riesgo de "flujo de control divergente".

4.3 Utilidad de la Aplicación (Razonamiento Estatutario)

El uso de SG-DT como una salida intermedia restringida mejora la fidelidad de todo el árbol y la recuperación de derrotadores, pero los beneficios son específicos del mecanismo:

• Casos con Actividad de Excepciones: SG-DT proporciona ganancias claras (por ejemplo, +4.2% en LegalBench para DeepSeek-V3.2) cuando los hechos del caso activan una excepción.
• Casos Simples: En casos sin derrotadores activos, añadir la estructura SG-DT puede introducir sobrecarga o degradar el rendimiento (por ejemplo, GPT-4o-mini experimenta caídas en precisión).
• Recursive-CoT: Combinar SG-DT con la Cadena de Pensamiento Recursiva (Recursive Chain-of-Thought) no mejora consistentemente la precisión y a veces puede anular las ganancias al desviarse de la frontera de decisión nítida.

5. Significado y Reivindicaciones

El artículo afirma que el principal modo de falla en los agentes legales no es la falta de recuperación o fluidez, sino la falla al materializar excepciones anidadas dentro del flujo de control.

• Valor Diagnóstico: NormBench y SG-DT proporcionan una capa diagnóstica necesaria que separa los fallos de recuperación de los fallos de razonamiento, aislando específicamente la patología de la "Omisión Silenciosa del Alcance".
• Auditabilidad: Al fundamentar cada rama lógica en intervalos de texto inmutables y aplicar guardas de exclusión explícitas, SG-DT permite la compilación y auditoría determinista, abordando la naturaleza de "caja negra" del razonamiento legal actual de los LLM.
• Utilidad Pragmática: Los autores reivindican modestamente que SG-DT no es una solución universal de aplicación directa. Su valor es más alto en escenarios de alto riesgo y con muchas excepciones, donde el costo de la SSO es elevado. Para reglas más simples, la sobrecarga estructural puede no estar justificada.

El trabajo posiciona a SG-DT como una representación intermedia orientada al agente que cierra la brecha entre el texto estatutario bruto y los procedimientos de decisión ejecutables y auditables, yendo más allá de la extracción de componentes superficiales hacia un modelado de alcance desfallecible explícito.