Resumo Técnico: ANNEAL – Adaptação de Agentes LLM via Aprendizado de Patches Simbólicos Governados

1. Declaração do Problema

Agentes baseados em Modelos de Linguagem de Grande Escala (LLM) possuem a capacidade de se recuperar de erros de execução dentro de um único episódio de tarefa (por exemplo, re tentando uma ação falha). No entanto, eles frequentemente falham em eliminar falhas recorrentes quando o conhecimento subjacente do processo — especificamente esquemas de operadores, pré-condições e restrições — permanece inalterado. Abordagens existentes de autoevolução tentam resolver isso atualizando prompts, buffers de memória ou pesos do modelo fundamental. Esses métodos sofrem de duas limitações primárias:

1. Falta de Reparo Estrutural: Eles adaptam o que o agente recorda ou como ele formula prompts, mas não reparar diretamente as estruturas simbólicas tipadas que codificam a lógica de execução da tarefa. Consequentemente, a mesma falha estrutural pode recorrente em novas tarefas.
2. Déficits de Governança: Poucos sistemas fornecem as garantias necessárias (procedência, barreiras de segurança, reversão) exigidas para implantação segura em ambientes de mundo aberto onde normas e APIs evoluem.

O artigo postula que converter falhas recorrentes em correções estruturais duradouras é central para a expertise, uma capacidade que os atuais agentes LLM não possuem.

2. Metodologia: ANNEAL

O ANNEAL é um agente neuro-simbólico projetado para preencher essa lacuna convertendo falhas recorrentes em edições simbólicas governadas de um Grafo de Conhecimento de Processo (PKG) sem modificar os pesos do modelo fundamental. O sistema opera em uma arquitetura de malha fechada composta por um planejador HTN, um estado simbólico tipado, um executor, um controlador metacognitivo e um pool de experiências.

Mecanismo Central: Aquisição de Conhecimento Impulsionada por Falhas (FDKA)

A FDKA é o pipeline central que transforma falhas de execução em patches estruturais verificados. Trata o LLM estritamente como um gerador de código restrito sob um esquema tipado fechado, garantindo que toda a lógica de aceitação permaneça simbólica e auditável. O pipeline consiste em seis etapas:

1. Localização: Dada uma trilha de falha, o sistema pontua operadores para identificar o responsável (por exemplo, uma ferramenta específica de reserva) com base em deltas simbólicos, similaridade de logs de ferramentas e confiança do analisador.
2. Geração Restrita: O LLM sintetiza um patch (por exemplo, adicionar uma pré-condição) por meio de um processo de três etapas: serializar a trilha para JSON, gerar edições restritas a um esquema fechado (adições de pré-condição, refinamentos de efeitos, atualizações de esquema de ferramenta) e analisar deterministicamente a saída.
3. Pontuação Multidimensional: As edições propostas são agregadas por uma função de pontuação que pondera:
   • Plausibilidade: Alinhamento com a distribuição aprendida pelo LLM.
   • Consistência: Integridade lógica verificada via heurísticas simbólicas ou solucionadores Z3 SMT.
   • Utilidade: Prevenção estimada de falhas via replay contrafactual sobre trilhas recuperadas.
   • Risco: Probabilidade de violação de valores e raio de explosão.
4. Validação de Barreiras de Segurança: Duas portas de veto rígidas operam independentemente da pontuação:
   • Barreira de Valores: Verifica regras deontológicas (Obrigatório/Proibido/Permitido) para garantir que a edição não viole restrições éticas ou de política.
   • Barreira Causal: Garante que a edição tenha identificabilidade suficiente e não propague impacto excessivo.
5. Estágio e Testes Canary: Edições que passam na pontuação e nas barreiras de segurança passam por testes em ambiente isolado (até 8 execuções). Se o patch falhar em qualquer teste, ele é rejeitado.
6. Comprometimento e Reversão: Patches aceitos são comprometidos com procedência completa (origem, entradas, racional) e um conjunto de reversão determinístico. Pontuações de confiança são inicializadas via priores Beta–Bernoulli; patches com baixa confiança em tarefas subsequentes acionam reversão automática.

Controle Metacognitivo

Um loop de controle consciente da fase arbitra entre três caminhos com base na incerteza ($u$) e na probabilidade de violação ($p_{viol}$):

• S1 (Caminho Rápido): Execução padrão.
• S2 (Caminho Deliberativo): Ativado sob alta incerteza para planejamento estendido.
• VERIFY (Verificar-Antes-de-Agir): Ativado quando o risco de violação é alto para verificar pré-condições antes da execução, potencialmente acionando reparos locais ou bloqueando o plano.

3. Contribuições Principais

O artigo delineia quatro contribuições primárias:

1. Aquisição de Conhecimento Impulsionada por Falhas Governada (FDKA): Um pipeline que sintetiza edições simbólicas tipadas sob um esquema JSON fechado e as valida por meio de pontuação multidimensional, barreiras de valores/causais e implantação canary. Em execuções relatadas, isso alcançou 100% de aceitação de patches sem reversões observadas.
2. Arbitragem Metacognitiva: Um loop de controle que regula caminhos de adaptação com base em sinais de incerteza e violação. Estudos de ablação mostram que remover essa arbitragem reduz as taxas de sucesso em 4,7 pontos percentuais em ambientes estocásticos onde mudanças de política compostas criam cadeias de múltiplas violações.
3. Envelope de Governança Abrangente: Toda edição comprometida inclui procedência, pontuação de confiança, portas humanas no loop e reversão determinística. Um benchmark de estresse dedicado confirmou 100% de precisão de decisão em edições de esquema sensíveis a autenticação em escalada antes do comprometimento.
4. Evidência Empírica de Reparo Estrutural: Em quatro domínios (Viagem, E-commerce, ITSM) e 27 execuções com múltiplas sementes, o ANNEAL é o único sistema avaliado a comprometer reparos estruturais persistentes. Enquanto linhas de base como ReAct e Reflexion alcançam alta recuperação episódica, elas retêm taxas de falha de retenção de 72–100% em falhas recorrentes. O ANNEAL reduz essas taxas para 0%.

4. Resultados

• Eliminação de Falhas Recorrentes: Em testes de estresse envolvendo deriva de API recorrente e violações de política, os patches comprometidos do ANNEAL reduziram as taxas de falha de retenção para 0%. Em contraste, ReAct e Reflexion, apesar do alto sucesso episódico, mantiveram taxas de falha de retenção de 72–100% porque não repararam as definições subjacentes dos operadores.
• Taxas de Sucesso: O ANNEAL alcançou 94,7–100% de sucesso de tarefa em todos os domínios. No domínio de e-commerce, comprometeu uma média de 2,7 patches por execução abrangendo três categorias de edição (atualizações de esquema, adições de pré-condição, refinamentos de efeito).
• Estudos de Ablação:
  • Remover a FDKA eliminou todos os reparos estruturais e reduziu a taxa de sucesso de e-commerce em 26,7 pontos percentuais.
  • Remover a arbitragem metacognitiva reduziu as taxas de sucesso em 4,7 pontos percentuais em cenários de viagem estocásticos.
  • Remover a governança (em uma suíte de estresse específica) permitiu que edições de esquema inseguras fossem comprometidas, demonstrando a necessidade das barreiras de segurança para domínios críticos de segurança.
• Eficiência: O ciclo completo de adaptação (da falha ao replanejamento bem-sucedido) leva menos de 2 minutos e não requer re-treinamento do modelo.

5. Significado e Alegações

O artigo alega que o reparo simbólico governado oferece um paradigma complementar à adaptação em nível de pesos e em nível de prompts para eliminação persistente de falhas.

• Contribuição Estreita, mas Concreta: Os autores afirmam explicitamente que sua contribuição é "deliberadamente estreita". Eles não alegam superioridade geral ampla sobre todos os agentes de autoevolução. Em vez disso, demonstram que alta recuperação episódica (por exemplo, 97,6% de sucesso do Reflexion) não implica eliminação persistente de falhas.
• Adaptação Auditável: Ao editar conhecimento de processo simbólico explícito fora do modelo fundamental, o ANNEAL torna as mudanças diretamente auditáveis, reversíveis e compatíveis com restrições de governança, abordando a natureza de "caixa preta" do ajuste fino baseado em pesos.
• Transferência Centrada no Operador: Os resultados apoiam a alegação de que o ANNEAL pode reparar falhas centradas no operador e transferir esses reparos entre tarefas dentro da mesma ontologia, mas o artigo reconhece que a autonomia de domínio arbitrário e a generalização mais ampla permanecem desafios abertos.

O trabalho sugere que, para implantação segura em configurações de produção onde a auditabilidade é um pré-requisito, converter falhas recorrentes em edições simbólicas governadas é uma alternativa viável e necessária ao re-treinamento de modelos.