Resumo Técnico: Raciocínio Deôntico com Harnesses Agênticos (DAR)

Declaração do Problema

O raciocínio deôntico envolve responder perguntas aplicando regras e políticas explícitas a fatos específicos de um caso, uma capacidade crítica em domínios de alto risco, como computação de impostos, recursos de imigração e conformidade de políticas. O principal desafio técnico neste domínio é a natureza dos conjuntos de regras: os estatutos costem ser extensos, fortemente referenciados entre si e contêm provisões onde a maioria é irrelevante para um caso específico, enquanto as obrigações são qualificadas por definições e exceções localizadas em outras partes do texto.

Os paradigmas de avaliação atuais tipicamente colocam todo o estatuto, os fatos do caso e a pergunta em um único prompt, exigindo que o modelo identifique e aplique as regras relevantes em uma única passagem. No entanto, trabalhos recentes sobre busca agêntica sugerem que os modelos lidam de forma mais eficaz com corpora longos quando podem pesquisá-los usando ferramentas de uso geral (por exemplo, grep, sed, comandos de shell) em vez de recebê-los como contexto estático. Permanece uma questão em aberto se essa vantagem da "busca agêntica" se estende ao raciocínio deôntico, onde a tarefa não é meramente a recuperação, mas o raciocínio fundamentado nas regras recuperadas.

Metodologia

Os autores introduzem o Raciocínio Agêntico Deôntico (DAR), um framework onde o estatuto não é fornecido como contexto estático, mas é colocado como um arquivo (statute.txt) dentro de um ambiente de harness. O modelo interage com este arquivo sob demanda usando ferramentas de uso geral.

Configuração Experimental

• Datasets: A avaliação é conduzida nos subconjuntos difíceis do DeonticBench, cobrindo quatro tarefas:
  • SARA (Numérico): Computação numérica de responsabilidade fiscal (imposto federal dos EUA).
  • SARA (Binário): Classificação binária de entailment estatutário.
  • Airline: Aplicação de políticas de taxas de bagagem.
  • USCIS-AAO: Predição de desfecho de recursos de imigração.
• Modelos: O estudo avalia nove modelos, incluindo modelos proprietários de fronteira (GPT-5.1, GPT-5.2, Claude Sonnet 4.5) e modelos de código aberto (família Qwen3.5, Qwen3-Coder, Kimi K2).
• Harnesses: Os autores comparam o Direct Solving (contexto estático) contra dois harnesses agênticos orquestrados pelo framework Harbor:
  • Terminus-2: Um harness de agente baseado em terminal onde o modelo opera autonomamente em um sandbox via uma sessão tmux interativa.
  • Terminus-KIRA: Um harness aprimorado construído sobre o Terminus-2, projetado para mitigar modos de falha específicos observados em modelos de fronteira, como submissão prematura, sinais de conclusão falsos e ajuste de plano frágil.

Principais Resultados

Os experimentos revelam uma divergência acentuada de desempenho baseada na capacidade do modelo:

1. Modelos de Fronteira Beneficiam-se: Modelos proprietários (GPT-5.2, Claude Sonnet 4.5, GPT-5.1) mostram melhorias significativas sob harnesses agênticos, particularmente em tarefas numéricas.

   • No SARA-Numeric, o GPT-5.2 melhorou de 30% (Direct) para 60% (Terminus-KIRA).
   • O Claude Sonnet 4.5 subiu de 36% para 54%.
   • Esses modelos utilizam o harness para realizar recuperação autodirigida e recuperar-se de erros intermediários, desbloqueando efetivamente habilidades latentes de leitura de estatutos.

2. Modelos de Código Aberto Degradam: O mesmo arcabouço que auxilia os modelos de fronteira causa uma degradação significativa de desempenho nos modelos de código aberto, especialmente em tarefas numéricas.

   • O Qwen3.5-35B caiu de 34% para 11% no SARA-Numeric sob o Terminus-KIRA.
   • O Qwen3.5-122B caiu de 37% para 20%.
   • Na tarefa Airline, todos os modelos de código aberto colapsaram para uma precisão próxima de zero sob o Terminus-2 e Terminus-KIRA, apesar de possuírem baselines não triviais em direct solving.

3. Consumo de Tokens e Modos de Erro:

   • Harnesses agênticos aumentam significativamente o consumo de tokens. Modelos de código aberto sob o Terminus-2 consumiram até 4× mais tokens por tentativa do que os modelos de fronteira (ex: Qwen3.5-122B average 401k tokens vs. ~100k para modelos de fronteira).
   • Em vez de uma interrupção inteligente, os modelos mais fracos parecem usar os turnos adicionais para gerar respostas mais longas, mais confiantes, porém incorretas.
   • A análise de erro mostra que os modelos de código aberto sofrem principalmente de timeouts (excedendo o orçamento de 10 minutos) e falhas de parsing, enquanto os modelos de fronteira permanecem amplamente livres de erros através dos harnesses.

Contribuições

O artigo faz três contribuições principais:

1. Framework DAR: A introdução do Raciocínio Agêntico Deôntico, uma configuração onde agentes acessam estatutos sob demanda via um harness em vez de contexto estático.
2. Comparação Sistemática: Uma avaliação abrangente do DAR contra o prompting direto através de um espectro de modelos de fronteira e de código aberto no DeonticBench.
3. Efeitos Dependentes de Capacidade: A demonstração de que a eficácia dos harnesses agênticos não é uniforme; eles atuam como amplificadores de capacidade para modelos de fronteira, mas podem degradar o desempenho de modelos mais fracos, aumentando simultaneamente os custos computacionais.

Significância e Alegações

O artigo alega que os harnesses agênticos expandem a fronteira nas tarefas mais difíceis de raciocínio deôntico, mas não são uma solução universal. Os achados apoiam a "Hipótese dos Gênios Mal Geridos", sugerindo que modelos capazes possuem habilidades latentes para navegar em regras complexas que só são desbloqueadas quando recebem acesso a ferramentas interativas. Inversamente, para modelos mais fracos, o harness atua como um "amplificador de confiança", levando a outputs mais verbosos, porém menos precisos.

Os autores alertam contra a suposição de que fornecer acesso a ferramentas melhora o desempenho de forma uniforme. Eles destacam que, para modelos mais fracos, os harnesses podem produzir erros confiantes enquanto consomem substancialmente mais computação. Consequentemente, aconselham contra o uso de LLMs atuais, com ou sem harnesses agênticos, como tomadores de decisão autônomos em contextos jurídicos ou fiscais de alto risco, observando que mesmo os modelos de fronteira alcançam apenas uma precisão parcial nessas tarefas.

O estudo é limitado ao domínio DeonticBench (impostos dos EUA, imigração, políticas de companhias aéreas) e implementações específicas de harness. Os autores observam que, para conjuntos de regras substancialmente mais longos (ex: o Código de Receita Interna completo dos EUA), a abordagem atual baseada em arquivos pode não escalar eficientemente sem parear o DAR com sistemas de recuperação mais avançados.