DeonticBench: A Benchmark for Reasoning over Rules

Resumo Técnico: DEONTICBENCH

1. O Problema

O raciocínio baseado em regras complexas e específicas de contexto permanece um desafio significativo para os Grandes Modelos de Linguagem (LLMs), especialmente em cenários de alto risco como sistemas legais e de políticas públicas. Neste domínio, o raciocínio é deôntico: envolve deduzir obrigações, permissões e proibições com base em estatutos e regulamentos explícitos.

Embora benchmarks recentes foquem em raciocínio matemático de curto contexto, há uma lacuna na avaliação de raciocínio de longo contexto e de alto risco. Os modelos atuais tendem a cometer alucinações e falhar na fidelidade às regras explícitas, o que é crítico em áreas como impostos, imigração e leis habitacionais, onde erros podem ter consequências legais e financeiras graves. Além disso, a capacidade de traduzir linguagem natural em representações simbólicas executáveis (como código Prolog) para garantir um raciocínio interpretável e auditável ainda não foi plenamente dominada.

2. Metodologia

Os autores introduzem o DEONTICBENCH, um benchmark abrangente projetado para avaliar o raciocínio de regras em domínios reais.

• Estrutura do Dataset:

  • O conjunto de dados contém 6.232 tarefas distribuídas em quatro domínios jurídicos e de políticas dos EUA:
    1. Impostos Federais dos EUA (SARA): Cálculo de impostos e verificação de isenções.
    2. Políticas de Bagagem de Companhias Aéreas: Cálculo de taxas e regras de embarque.
    3. Administração de Imigração dos EUA (USCIS-AAO): Decisões de apelação de imigração (aceito ou rejeitado).
    4. Leis Habitacionais Estaduais dos EUA: Perguntas de sim/não baseadas em estatutos de habitação.
  • O dataset inclui tanto tarefas quantitativas (cálculo numérico) quanto tarefas de lógica binária (entailment/contradição).
  • Construção de "Hard Sets": Uma subconjunto de casos difíceis foi curado através de filtragem automatizada e validação humana para focar em cenários onde os modelos falham frequentemente.

• Abordagens de Avaliação:
  O benchmark permite duas modalidades de raciocínio:

  1. Raciocínio Direto (Não-Simbólico): O modelo gera a resposta final diretamente em linguagem natural.
  2. Raciocínio Assistido por Solução (Simbólico): O modelo deve traduzir os estatutos e fatos do caso em código Prolog executável. Este código é então executado por um solver (SWI-Prolog) para gerar a resposta.
  • O pipeline inclui a geração de código Prolog, compilação e execução. O sucesso é medido pela corretude da execução e da resposta final.

• Experimentos de Treinamento:
  Os autores realizaram fine-tuning supervisionado (SFT) e aprendizado por reforço (RL), incluindo DPO (Direct Preference Optimization) e uma variante do GRPO (Group Relative Policy Optimization), no modelo Qwen2.5-32B-Instruct para melhorar a geração de programas simbólicos.

3. Principais Contribuições

1. DEONTICBENCH: O maior benchmark existente para raciocínio baseado em regras executáveis em domínios de alto risco e longo contexto.
2. Artefatos Auditáveis: Fornecimento de programas de referência em Prolog para todas as instâncias, permitindo a análise de traços de execução e a distinção entre falhas de raciocínio e falhas de implementação.
3. Análise de Falhas Sistemática: Uma taxonomia detalhada de erros (seleção de regra errada, extração de fatos incorreta, erros numéricos e bugs de implementação) que revela que os modelos falham de maneira dependente do domínio.
4. Avaliação de Estado da Arte: Uma avaliação abrangente de 8 LLMs de ponta (incluindo modelos de raciocínio como o O3 e GPT-5) e 3 modelos de codificação, mostrando que mesmo os modelos mais avançados têm desempenho limitado em subconjuntos difíceis.

4. Resultados Chave

• Desempenho Geral: Mesmo os modelos fronteira (como GPT-5.1, O3, Claude Sonnet 4.5) apresentam desempenho fraco nos subconjuntos difíceis. O melhor desempenho no subconjunto "Hard" de SARA Numeric foi de apenas 44,4% de precisão, e 46,6 de Macro-F1 em Habitação.
• Falhas de Raciocínio:
  • A maioria dos erros não vem de recusa (abstenção), mas de respostas incorretas.
  • Em tarefas legais complexas (Habitação, USCIS), o principal gargalo é a seleção incorreta da regra (aplicar o estatuto errado).
  • Em tarefas estruturadas (Impostos, Bagagem), o erro predominante é a extração incorreta de fatos (ex: status de declaração, dependências).
  • Há um trade-off: o raciocínio direto reduz a taxa de abstenção, mas aumenta a frequência de previsões incorretas; a geração de Prolog aumenta a taxa de abstenção (falha de compilação), mas, quando executável, tende a ser mais precisa se a lógica estiver correta.
• Impacto do Treinamento:
  • O Fine-tuning (SFT) e o RL melhoraram a qualidade da geração de Prolog e o desempenho em tarefas binárias.
  • No entanto, os ganhos em tarefas de raciocínio numérico (como cálculo de impostos) foram limitados. Os métodos atuais de RL ainda não conseguem garantir a geração confiável de programas executáveis para tarefas complexas de ponta a ponta.
• Modelos de Codificação: Modelos especializados em código (como GPT-5.2-Codex) mostraram-se sensíveis a variações de prompt, falhando catastróficamente em algumas configurações, indicando que a geração de código para raciocínio de regras é um desafio distinto da geração de código de software geral.

5. Significância e Conclusão

O DEONTICBENCH destaca que, apesar dos avanços no raciocínio de linguagem natural, os LLMs ainda não são confiáveis para aplicações de alto risco que exigem aderência estrita a regras formais. O trabalho demonstra que:

• A simples adição de "esforço de raciocínio" (como Chain-of-Thought) não resolve consistentemente os problemas de fidelidade às regras.
• A abordagem neuro-simbólica (traduzir para Prolog) oferece um caminho para maior interpretabilidade, mas a geração precisa de código executável permanece um gargalo.
• Existem limitações fundamentais nos métodos atuais de RLHF para garantir a correção lógica em domínios jurídicos e financeiros.

O benchmark serve como um ponto de referência crucial para o desenvolvimento futuro de sistemas de IA que precisam operar com segurança e precisão em ambientes regulados, incentivando avanços na fundamentação de regras (rule grounding), extração de informações estruturadas e computação numérica confiável.