Resumo Técnico: Erradamente Confiante: Colapso da Cadeia de Exceções na Avaliação de Regras por LLMs de Fronteira

1. Declaração do Problema

O artigo identifica um modo de falha específico e sistemático em Grandes Modelos de Linguagem (LLMs) de fronteira, denominado "colapso da cadeia de exceções". Isso ocorre durante tarefas de avaliação de elegibilidade que envolvem regras condicionais aninhadas da forma: "A é requerido A MENOS QUE B se aplique, A MENOS QUE C sobreponha B."

Embora os LLMs de fronteira tenham um bom desempenho em tarefas de lógica de múltiplas rotas simples (ex: ramificação OR simples), eles degradam significativamente quando exigidos a avaliar cadeias de exceções de múltiplos níveis (especificamente três níveis de profundidade). O artigo documenta dois padrões distintos de falha:

1. Ancoragem de Isenção: O modelo trata as isenções como secundárias à rota primária. Se a rota primária falha, o modelo "ancora" nessa falha e deixa de avaliar independentemente rotas de isenção alternativas válidas.
2. Colapso da Cadeia de Exceção: O modelo falha ao aninhar corretamente a lógica de múltiplos níveis de A MENOS QUE, frequentemente confundindo caminhos de isenção independentes (ex: tratando uma isenção de "veterano" como dependente de uma isenção de "idade").

A Instabilidade Central: Uma descoberta crítica é que a precisão dos modelos de fronteira nessas tarefas é uma "fronteira de conformidade móvel". Entre março e abril de 2026, células de falha específicas em benchmarks fecharam silenciosamente sob o mesmo alias de modelo (ex: GPT-5.4 e Claude Opus 4.6) sem atualizações de versão. Isso torna as alegações de precisão no momento do benchmark não confiáveis para fluxos de trabalho regulados onde a consistência é obrigatória.

2. Metodologia

Os autores propõem e avaliam o Módulo de Elegibilidade Aethis, uma arquitetura neuro-simbólica projetada para separar a autoria de regras da execução de regras.

A Arquitetura

• Fase 1: Autoria Automatizada de Regras (LLM): Um LLM lê fontes legais autoritativas (legislação, orientações de política) e gera regras como código estruturado em uma Linguagem de Domínio Específico (DSL) restrita. Esta fase inclui uma cadeia de proveniência onde cada regra gerada é vinculada a citações de fontes específicas (ID do documento, caminho da seção, citação direta).
• Fase 2: O Módulo de Elegibilidade (Motor Determinístico): A DSL gerada é compilada em restrições formais de Satisfatibilidade de Teorias Modulares (SMT). Um solver SMT então avalia essas restrições contra dados estruturados do requerente.
  • Mecanismo Chave: O motor trata cada rota de elegibilidade como um ramo booleano formalmente independente combinado via disjunção (OR). Ele avalia esses ramos deterministicamente, independentemente de deriva de modelo, esforço de raciocínio ou formato de prompt.

Design do Benchmark

Os autores construíram um benchmark de 225 cenários em quatro domínios:

1. Vida no Reino Unido: Legislação real de imigração do Reino Unido (British Nationality Act 1981).
2. Proficiência em Língua Inglesa: Orientações reais de imigração do Reino Unido.
3. Certificação de Aeronave Espacial: Um estatuto sintético modelado na estrutura legislativa do Reino Unido com cadeias de exceção de três níveis.
4. Seguro de Construção: Redação de apólice sintética modelada em cláusulas DE3/DE5 do mercado de Londres com cadeias de exceção de cinco níveis.

O benchmark foi avaliado contra oito LLMs (quatro de fronteira, quatro de nível de produção) da Anthropic e OpenAI, comparando-os com o Módulo de Elegibilidade determinístico.

3. Principais Contribuições

1. Taxonomia de Padrões de Falha

O artigo caracteriza formalmente o "colapso da cadeia de exceções" e a "ancoragem de isenção" como erros sistemáticos na avaliação de cadeias de exceção aninhadas. Demonstra-se que essas falhas são:

• Composicionais: Elas surgem da profundidade da lógica (três níveis) e não da falta de conhecimento jurídico.
• Robustas ao Prompting: O uso de prompts aprimorados (ex: "pense passo a passo", "avalie as isenções independentemente") falha em corrigir o problema; em vez disso, trocam falsos negativos por falsos positivos, reduzindo a precisão líquida.
• Instáveis: Os pontos de falha específicos mudam silenciosamente através das atualizações de modelos, tornando os modelos de fronteira não confiáveis para decisões de alto risco e críticas para auditoria.

2. O Módulo de Elegibilidade Aethis

O artigo apresenta um sistema neuro-simbólico que desloca a incerteza da fronteira de inferência (onde ela é silenciosa e contínua nos LLMs) para a fronteira de especificação (onde ela é deliberada e auditável).

• Garantia: A camada de execução fornece semânticas matematicamente definidas. Se o pacote de regras for formalizado corretamente, a execução é 100% consistente com a especificação.
• Auditabilidade: Cada determinação inclui uma cadeia de proveniência vinculando o resultado diretamente à cláusula legislativa específica e ao caminho lógico percorrido.

3. Evidência Empírica

• Resultados do Benchmark: O Módulo de Elegibilidade alcançou 100% de precisão em todos os 225 cenários.
• Desempenho dos LLMs: Modelos de fronteira mostraram degradação significativa em tarefas de cadeia de exceção. Por exemplo, no snapshot de março de 2026, o Claude Opus 4.6 obteve 89,7% na seção de aeronave espacial (61/68), com 7 cenários específicos falhando 0/3 vezes em execuções independentes.
• Extensão Adversarial: Em uma extensão adversarial v3.8 (20 novos cenários de seguro de construção), o motor determinístico pontuou 20/20. Enquanto alguns modelos de fronteira atingiram 100% no conjunto original, eles falharam nos casos adversariais mais profundos (ex: Claude Opus 4.7 falhou 2/20, GPT-5.4 padrão falhou 1/20).
• Validação Externa: Em 949 casos retidos de nove tarefas do LegalBench, o Módulo de Elegibilidade foi significativamente mais preciso do que três modelos de fronteira (McNemar's $p \le 0.003$ combinado), com as maiores margens (+41 pontos percentuais) em tarefas de aplicação de regras de múltiplos aspectos.

4. Significância e Alegações

O artigo não alega que os LLMs são geralmente não confiáveis ou que não podem ser usados para raciocínio jurídico. Em vez disso, faz uma alegação modesta e específica:

• Relocação da Incerteza: A principal contribuição é arquitetônica. Ao usar LLMs para autoria (onde sua fluência é um trunfo) e solvers SMT para execução (onde o determinismo é necessário), o sistema torna a incerteza tratável. A incerteza é movida para a etapa de formalização da regra (Nível 2), que pode ser gerenciada via validação baseada em testes e revisão de especialistas (SME), em vez de permanecer na etapa de inferência (Nível 3), onde ela é silenciosa e não observável.
• Defensibilidade Regulatória: Para domínios de alto risco (imigração, seguros, certificação de segurança) onde falsos negativos negam direitos e a explicabilidade é obrigatória, a camada de execução determinística oferece uma propriedade que os LLMs de fronteira não podem oferecer: invariância. Um pacote de regras compilado produz o mesmo resultado hoje e daqui a seis meses, independentemente de mudanças silenciosas nos pesos subjacentes do modelo.
• Limitações: Os autores declaram explicitamente que o sistema garante a execução correta de uma especificação, não a correção da própria especificação. A qualidade do pacote de regras depende da capacidade do LLM de formalizar o texto de origem (Nível 2), o que é mitigado, mas não eliminado, pela validação baseada em testes. O sistema atualmente requer entradas estruturadas e não lida com extração de documentos não estruturados.

Em resumo, o artigo argumenta que para a avaliação de cadeias de exceções aninhadas em fluxos de trabalho regulados, a execução formal determinística é uma condição necessária para a confiança, e que arquiteturas neuro-simbólicas fornecem um caminho viável para alcançar isso sem sacrificar a utilidade dos LLMs para a extração de regras.