Resumo Técnico: Bayesian-Agent: Evolução de Habilidades Guiada por Posterior para Agentes LLM

1. Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) dependem cada vez mais de ambientes de inferência externos — compostos por prompts, ferramentas, memória, Procedimentos Operacionais Padrão (SOPs) e feedback de harness — em vez de apenas os pesos do modelo para resolver tarefas. Embora esses ativos reutilizáveis possam melhorar a execução sem retreinamento, os métodos atuais para atualizá-los frequentemente dependem de reflexão heurística ou contagens simples de sucesso e falha.

O artigo identifica duas limitações primárias nas abordagens existentes:

1. Atualizações Não Calibradas: Tratar trajetórias esparsas de agentes como observações independentes e identicamente distribuídas (i.i.d.) leva a edições ruidosas. Uma habilidade pode ser confiável em um contexto, mas prejudicial em outro; a contagem simples falha em capturar essa nuance.
2. Falha Externalizada: Quando as capacidades são externalizadas em habilidades e SOPs, as falhas também são externalizadas. Se um agente atualiza ativos baseando-se apenas na autocritica em linguagem natural, ele pode reparar uma falha atual enquanto introduz edições que degradam o desempenho em tarefas futuras. Por outro lado, se o harness nunca revisar as habilidades, as falhas repetidas permanecem fora do loop de aprendizado do modelo.

O desafio central é como manter o ambiente de decisão externo (o "harness") de modo que as habilidades reutilizáveis e os SOPs evoluam com base em evidências verificadas, em vez de tentativa e erro não calibrados.

2. Metodologia: Bayesian-Agent

Os autores introduzem o Bayesian-Agent, um framework que trata habilidades reutilizáveis e SOPs como hipóteses portadoras de evidência. Em vez de perguntar a um LLM se uma habilidade é "boa", o framework faz uma pergunta bayesiana: Dado um modelo congelado e um ambiente de inferência específico, o que devemos acreditar sobre esta habilidade após combinar suposições prévias com evidências verificadas?

2.1 Formulação do Problema

O framework fixa os pesos do modelo ($M_\theta$) e trata a evolução do harness como uma otimização sobre as condições de inferência ($C_t$). A confiabilidade de uma habilidade $h_k$ é definida como a probabilidade de sucesso dado o modelo, o contexto e as características observadas:
$$p_{k,t} = P(y_t = 1 \mid M_\theta, C_t, h_k, z_t)$$
onde $z_t$ é um vetor de características discretas extraído de uma trajetória verificada (ex: contagem de tokens, contagem de turnos, modos de falha).

2.2 Evidência de Trajetória

O Bayesian-Agent atualiza crenças apenas a partir de trajetórias verificadas ($e_t$) geradas por um harness de execução. Essas trajetórias incluem:

• Contexto da tarefa e resultado ($y_t \in \{0, 1\}$) determinado por um verificador externo ou classificador de benchmark, não pela autoavaliação do modelo.
• Sinais de tempo de execução (custo de tokens, latência, contagem de turnos) discretizados em baldes fixos para lidar com conjuntos de dados online esparsos.
• Modos de falha derivados do verificador.

2.3 Modelo de Evidência Bayesiana

O sistema mantém um modelo de evidência categórico condicionado a características para cada habilidade:

• Priors: Utiliza suavização de Laplace para fornecer estimativas conservadoras quando as observações são esparsas.
• Verossimilhança (Likelihood): Calcula a probabilidade de sucesso/falha condicionada a valores de características específicos (ex: "o modo de falha X ocorre no contexto Y").
• Posterior: Computa uma probabilidade de sucesso ($s_{k,t}$) usada para classificação e tomada de decisão.
• Resumo: Mantém um resumo Beta-Bernoulli conjugado ($\alpha, \beta$) para auditoria e verificações de dominância de falha.

2.4 Ações de Habilidade Guiadas por Posterior

O estado posterior impulsiona uma política de reescrita conservadora que mapeia estados de crença para cinco ações inspecionáveis:

1. Explorar (Explore): Acionado quando não existem observações ou quando o posterior é incerto.
2. Remendar (Patch): Acionado quando o mesmo modo de falha aparece pelo menos duas vezes (convertendo falhas repetidas em salvaguardas).
3. Dividir (Split): Acionado quando uma habilidade ampla cobre casos heterogêneos (3+ contextos, 4+ observações).
4. Comprimir (Compress): Acionado quando uma habilidade é confiável (sucesso $\ge$ 0,72) para manter o contexto conciso.
5. Aposentar (Retire): Acionado quando a evidência de falha domina (baixa probabilidade de sucesso, alto $\beta$).

Crucialmente, o framework separa a informação de auditoria do posterior (armazenada para depuração) das instruções voltadas ao modelo. O LLM recebe salvaguardas executáveis e patches de modo de falha, não números de probabilidade brutos.

2.5 Modos de Execução

• Modo Total (Full Mode): O registro evolui online do zero durante uma execução de benchmark.
• Modo Incremental (Incremental Mode): O sistema ingere traços verificados de uma execução de linha de base concluída, atualiza o registro e executa novamente apenas as tarefas que falharam com patches guiados pelo posterior.

3. Principais Contribuições

1. Formulação de Habilidades como Hipóteses: Muda a autoevolução de acúmulo empírico de prompts para otimização guiada por posterior sob incerteza.
2. Framework Unificado: Fornece uma visão bayesiana unificada para engenharia de prompt, contexto e harness, instanciada com um modelo de evidência categórica eficiente e uma política de reescrita guiada por posterior.
3. Suporte Nativo e Cross-Harness: Introduz um backend nativo mínimo enquanto define um limite de adaptador que permite que harnesses externos (GenericAgent, mini-swe-agent, Claude Code) utilizem o mesmo loop de evidência de trajetória.
4. Validação Empírica: Conduz estudos extensos no SOP-Bench, Lifelong AgentBench e RealFin-Bench usando modelos DeepSeek, comparando variantes de linha de base, Bayesian total e reparo incremental.

4. Resultados Experimentais

O artigo avalia o Bayesian-Agent em três benchmarks e múltiplos backends (Native, GenericAgent, mini-swe-agent, Claude Code) usando DeepSeek-v4-flash e DeepSeek-v4-pro.

4.1 Ganhos de Desempenho

• Reparo Incremental: O modo incremental (reparando apenas tarefas falhas) mostrou melhorias significativas:
  • SOP-Bench: Melhorou de 80% (GA) para 95%.
  • Lifelong AgentBench: Melhorou de 90% (GA) para 100%.
  • RealFin-Bench: Melhorou de 45% (GA) para 65%.
• Eficiência de Tokens: A abordagem incremental foi altamente eficiente em termos de tokens, usando apenas 153k tokens para reparar falhas do SOP-Bench em comparação com a execução de linha de base completa.
• Agnosticismo de Backend: O framework melhorou com sucesso o desempenho em diferentes backends (Native, GenericAgent, mini-swe-agent, Claude Code), confirmando que o benefício vem do loop de evidência, não de um runtime específico.

4.2 Limitações Observadas

• Instabilidade do Modo Total: No cenário Lifelong AgentBench com DeepSeek-v4-flash, o modo Bayesian Total (85%) teve desempenho inferior à linha de base GA (90%). Isso sugere que a evolução de habilidades online pode introduzir efeitos de ordenação negativa ou custos quando a evidência ainda é esparsa.
• Saturação: Em configurações onde o modelo de linha de base já alcançou 100% de precisão (ex: SOP-Bench com DeepSeek-v4-pro), a camada Bayesian não tinha falhas para reparar, tornando o modo incremental inativo.

5. Significância e Alegações

O artigo afirma que a evolução de habilidades de agentes é melhor vista como otimização de harness guiada por posterior do que como acúmulo de prompts não calibrados.

• Auditabilidade: Ao tratar habilidades como hipóteses com estados posteriores explícitos, o framework torna o processo de evolução inspecionável. Usuários podem ver por que uma habilidade foi corrigida, dividida ou aposentada com base em modos de falha específicos.
• Calibração de Incerteza: A abordagem lida explicitamente com a esparsidade e a dependência de contexto das trajetórias de agentes, evitando as armadilagens de tratar dados esparsos como contagens de frequência confiáveis.
• Reparo Prático: O cenário de reparo incremental demonstra que um harness pode gastar recursos de inferência adicionais especificamente em casos falhos para converter modos de falha observados em contexto reutilizável, aumentando significativamente a precisão final sem rodar todo o benchmark novamente.

Os autores concluem que, embora a abordagem não seja uma panaceia para tarefas pontuais ou ambientes não estacionários, ela fornece um mecanismo robusto e calibrado por evidências para melhorar habilidades de agentes reutilizáveis em cenários com verificadores e modos de falha recorrentes.