Resumen Técnico: Razonamiento Deóntico con Arneses Agénticos (DAR)

Planteamiento del Problema

El razonamiento deóntico consiste en responder preguntas aplicando reglas y políticas explícitas a hechos específicos de un caso, una capacidad crítica en dominios de alto riesgo como el cálculo de impuestos, apelaciones de inmigración y cumplimiento de políticas. El principal desafío técnico en este dominio es la naturaleza de los conjuntos de reglas: los estatutos suelen ser extensos, están fuertemente referenciados entre sí y contienen disposiciones donde la mayoría son irrelevantes para un caso específico, mientras que las obligaciones están calificadas por definiciones y excepciones ubicadas en otras partes del texto.

Los paradigmas de evaluación actuales suelen colocar todo el estatuto, los hechos del caso y la pregunta en un único prompt, requiriendo que el modelo identifique y aplique las reglas relevantes en una sola pasada. Sin embargo, trabajos recientes sobre búsqueda agéntica sugieren que los modelos manejan corpora largos de manera más efectiva cuando pueden buscarlos utilizando herramientas de propósito general (por ejemplo, grep, sed, comandos de shell) en lugar de recibirlos como contexto estático. Sigue siendo una cuestión abierta si esta ventaja de la "búsqueda agéntica" se extiende al razonamiento deóntico, donde la tarea no es meramente la recuperación, sino el razonamiento fundamentado en las reglas recuperadas.

Metodología

Los autores introducen el Razonamiento Agéntico Deóntico (DAR), un marco donde el estatuto no se proporciona como contexto estático, sino que se coloca como un archivo (statute.txt) dentro de un entorno de arnés. El modelo interactúa con este archivo bajo demanda utilizando herramientas de propósito general.

Configuración Experimental

• Datasets: La evaluación se realiza en los subconjuntos difíciles de DeonticBench, cubriendo cuatro tareas:
  • SARA (Numérico): Cálculo numérico de responsabilidad fiscal (impuestos federales de EE. UU.).
  • SARA (Binario): Clasificación binaria de implicación estatutaria.
  • Airline: Aplicación de políticas de tarifas de equipaje.
  • USCIS-AAO: Predicción de resultados de apelaciones de inmigración.
• Modelos: El estudio evalúa nueve modelos, incluyendo modelos propietarios de frontera (GPT-5.1, GPT-5.2, Claude Sonnet 4.5) y modelos de código abierto (familia Qwen3.5, Qwen3-Coder, Kimi K2).
• Arneses: Los autores comparan la Resolución Directa (contexto estático) contra dos arneses agénticos orquestados por el marco Harbor:
  • Terminus-2: Un arnés de agente basado en terminal donde el modelo opera de forma autónoma en un sandbox mediante una sesión interactiva de tmux.
  • Terminus-KIRA: Un arnés mejorado construido sobre Terminus-2, diseñado para mitigar modos de falla específicos observados en modelos de frontera, tales como la entrega prematura, señales de finalización falsas y la fragilidad en el ajuste de planes.

Resultados Clave

Los experimentos revelan una divergencia marcada en el rendimiento basada en la capacidad del modelo:

1. Los Modelos de Frontera se Benefician: Los modelos propietarios (GPT-5.2, Claude Sonnet 4.5, GPT-5.1) muestran mejoras significativas bajo arneses agénticos, particularmente en tareas numéricas.

   • En SARA-Numeric, GPT-5.2 mejoró del 30% (Directo) al 60% (Terminus-KIRA).
   • Claude Sonnet 4.5 aumentó del 36% al 54%.
   • Estos modelos aprovechan el arnés para realizar una recuperación autodirigida y recuperarse de errores intermedios, desbloqueando efectivamente las capacidades latentes de lectura de estatutos.

2. Los Modelos de Código Abierto se Degradan: El mismo andamiaje que ayuda a los modelos de frontera causa una degradación significativa del rendimiento en los modelos de código abierto, especialmente en tareas numéricas.

   • Qwen3.5-35B cayó del 34% al 11% en SARA-Numeric bajo Terminus-KIRA.
   • Qwen3.5-122B cayó del 37% al 20%.
   • En la tarea Airline, cada modelo de código abierto colapsó a una precisión cercana a cero bajo Terminus-2 y Terminus-KIRA, a pesar de tener bases no triviales en la resolución directa.

3. Consumo de Tokens y Modos de Error:

   • Los arneses agénticos aumentan significamente el consumo de tokens. Los modelos de código abierto bajo Terminus-2 consumieron hasta 4 veces más tokens por prueba que los modelos de frontera (por ejemplo, Qwen3.5-122B promedió 401k tokens frente a ~100k para los modelos de frontera).
   • En lugar de un alto inteligente, los modelos más débiles parecen utilizar los turnos adicionales para generar respuestas más largas y con mayor confianza, pero incorrectas.
   • El análisis de errores muestra que los modelos de código abierto sufren principalmente de tiempos de espera agotados (excediendo el presupuesto de 10 minutos) y fallos de procesamiento, mientras que los modelos de frontera permanecen mayormente libres de errores a través de los arneses.

Contribuciones

El artículo realiza tres contribuciones principales:

1. Marco DAR: La introducción del Razonamiento Agéntico Deóntico, una configuración donde los agentes acceden a los estatutos bajo demanda mediante un arnés en lugar de contexto estático.
2. Comparación Sistemática: Una evaluación exhaustiva de DAR frente al prompting directo a través de un espectro de modelos de frontera y de código abierto en DeonticBench.
3. Efectos Dependientes de la Capacidad: La demostración de que la eficacia de los arneses agénticos no es uniforme; actúan como amplificadores de capacidad para los modelos de frontera, pero pueden degradar el rendimiento de los modelos más débiles al tiempo que inflan los costos computacionales.

Significado y Reclamaciones

El artículo afirma que los arneses agénticos impulsan la frontera en las tareas más difíciles de razonamiento deóntico, pero no son una solución universal. Los hallazgos apoyan la "Hipótesis de los Genios Mal Gestionados", sugiriendo que los modelos capaces poseen habilidades latentes para navegar reglas complejas que solo se desbloquean cuando se les otorga acceso interactivo a herramientas. Por el contrario, para los modelos más débiles, el arnés actúa como un "amplificador de confianza", lo que conduce a salidas más verbosas pero menos precisas.

Los autores advierten contra la suposición de que proporcionar acceso a herramientas mejora el rendimiento de manera uniforme. Destacan que, para los modelos más débiles, los arneses pueden producir errores con gran confianza mientras consumen sustancialmente más cómputo. En consecuencia, desaconsejan el despliegue de los LLM actuales, con o sin arneses agénticos, como tomadores de decisiones autónomos en contextos legales o fiscales de alto riesgo, señalando que incluso los modelos de frontera logran solo una precisión parcial en estas tareas.

El estudio está limitado al dominio de DeonticBench (impuestos de EE. UU., inmigración, políticas de aerolíneas) y a implementaciones específicas de arneses. Los autores señalan que para conjuntos de reglas sustancialmente más largos (por ejemplo, el Código de Rentas Internas completo de EE. UU.), el enfoque actual basado en archivos puede no escalar eficientemente sin emparejar DAR con sistemas de recuperación más avanzados.