Resumo Técnico: Critic Experience Bank (CEB)

Formulação do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) operam cada vez mais em ambientes externos (interfaces web, mobile GUI, shells) onde as ações alteram o estado sobre o qual todas as decisões subsequentes dependem. Nesses cenários, um único passo errôneo pode desperdiçar orçamentos de interação ou desencadear efeitos colaterais irreversíveis muito antes que uma falha final na tarefa seja observada. Consequentemente, o sucesso final da tarefa é um sinal de confiabilidade insuficiente para implantação.

O desafio central abordado é a estimativa de confiança ao nível do passo: a necessidade de produzir uma probabilidade calibrada de que uma ação proposta será produtiva antes de ser executada. Os métodos existentes de estimativa de confiança (ex: logits de tokens, confiança verbalizada, verificações de consistência) são projetados primariamente para pontuação ao nível de resposta. Eles avaliam um único passo proposto com base no contexto imediato, mas falham em considerar as consequências da execução — especificamente, se ações semelhantes em situações semelhantes realmente avançaram a tarefa após o ambiente responder. Essa lacuna estrutural leva a uma calibração instável conforme a interação se desenrola, pois os sinais padrão não se transferem de forma limpa da geração de resposta estática para a execução dinâmica do agente.

Metodologia: Critic Experience Bank (CEB)

Os autores propõem o Critic Experience Bank (CEB), um framework de crítico autoevoluível e livre de treinamento, projetado para operar durante a fase de inferência sem rótulos de passo de verdade fundamental (ground truth) ou verificadores treináveis.

Mecanismo Central

O CEB aumenta um crítico de LLM fixo com um banco de memória de experiências de execução rotuladas por retrospectiva (hindsight). O framework opera sob a premissa de que os agentes frequentemente enfrentam decisões recorrentes em contextos relacionados. Em vez de julgar cada recorrência unicamente a partir da consulta atual, o crítico recupera precedentes de seus próprios julgamentos passados e suas consequências observadas.

O pipeline consiste em duas fases:

1. Pontuação Online: Em cada passo $t$, o agente propõe uma ação $a_t$ baseada na tarefa $q$, estado atual $s_t$ e histórico $h_{<t}$. Antes da execução, o LLM crítico congelado estima a pontuação de confiança $\hat{z}_t$. Para fazer isso, o crítico é estimulado com o contexto atual e exemplos contrastivos recuperados do Experience Bank. Esses exemplos são recuperados usando uma chave composta (tarefa, estado, ação) e incluem tanto registros produtivos ($B^+$) quanto improdutivos ($B^-$) do passado. O prompt também inclui uma flag de repetição para detectar loops curtos.
2. Atualização por Retrospectiva (Hindsight Update): Após a conclusão de uma trajetória $\tau$, um "LLM de retrospectiva" ($g_\phi$) observa a sequência completa de estados, ações e observações. Ele vota (via voto majoritário sobre $V$ amostras) se cada passo foi produtivo, gerando pseudo-rótulos $\hat{y}_t$. Esses registros, contendo o resumo do estado, ação, observação, pseudo-rótulo e a pontuação original pré-execução do crítico, são anexados ao banco.

Principais Características de Design

• Autoevoluível: Os pesos do crítico permanecem congelados; seu comportamento evolui unicamente através da expansão do contexto das experiências recuperadas.
• Recuperação Contrastiva: O banco é dividido em conjuntos produtivos e improdutivos. O crítico é explicitamente mostrado exemplos de ações semelhantes que tiveram sucesso e ações semelhantes que falharam, permitindo que ele se calibre com base em consequências.
• Sem Necessidade de Treinamento: O método não requer ajuste fino (fine-tuning) do ator ou do crítico e não exige acesso a rótulos de passo de verdade fundamental durante a implantação.

Contribuições Principais

1. Formulação do Problema: O artigo define formalmente a estimativa de confiança ao nível do passo para agentes de LLM como a tarefa de estimar a produtividade da ação antes da execução, distinguindo-a da confiança padrão ao nível de resposta.
2. Framework CEB: Introdução de um framework de crítico livre de treinamento que utiliza experiências de execução rotuladas por retrospectiva de trajetórias anteriores para aumentar um crítico de LLM fixo.
3. Superioridade Empírica: Demonstração de que o CEB alcança o estado da arte em calibração (Erro de Calibração Esperada - ECE, escore de Brier) e ranking (AUC) em três benchmarks de agentes diversos (Mind2Web, AMEX, InterCode-Bash) e três backbones de crítico (GPT-4.1, GPT-5.4, Qwen3-Next).

Resultados Experimentais

A avaliação abrange tarefas de navegação web, controle de interface mobile GUI e interação de shell.

• Desempenho de Calibração: O CEB superou consistentemente todos os baselines livres de treinamento (incluindo Perplexity, Mean Entropy, Verbalized Confidence, P(True) e CoT).
  • No dataset InterCode-Bash com GPT-4.1, o CEB reduziu o ECE em 54% em relação ao baseline mais forte.
  • No Mind2Web com GPT-5.4, o CEB alcançou um ECE de 0,176, significativamente menor que o próximo melhor baseline (0,396 para P(True)).
  • O CEB manteve o melhor desempenho em todas as combinações de dataset–crítico em termos de ECE, escore de Brier e AUC.
• Robustez à Definição de Rótulos: A vantagem do CEB persistiu mesmo quando foram usados rótulos permissivos de "LLM-como-juiz" que creditam caminhos alternativos válidos, indicando que o método não é um artefato de correspondência estrita de referência.
• Ablação de Componentes: Remover o banco de experiências causou a maior degradação de desempenho, confirmando que os resultados de execução passados são críticos para a recalibração. A natureza contrastiva do banco (ver tanto sucessos quanto falhas) foi identificada como o componente mais importante.
• Comportamento Autoevoluível: À medida que o fluxo de tarefas progredia e o banco era preenchido com dados rotulados por retrospectiva, o erro de calibração do CEB diminuía significativamente em comparação com um crítico estático, demonstrando que o sistema melhora ao longo do tempo sem atualizações de peso.
• Utilidade Downstream: Em tarefas de execução seletiva (adiar passos de baixa confiança para revisão humana), o CEB identificou passos errados de forma mais eficaz do que os baselines, levando a taxas de sucesso final de tarefa mais altas quando um orçamento fixo de revisões era aplicado.

Significância e Alegações

O artigo afirma que o CEB aborda uma lacuna crítica na implantação de agentes de LLM: a necessidade de confiança confiável ao nível do passo antes que uma ação altere o ambiente. Ao alavancar o próprio histórico de interação do agente como evidência de calibração, o CEB permite que um crítico fixo adapte seu comportamento de pontuação dinamicamente.

Os autores enfatizam que esta abordagem é particularmente valiosa em regimes de implantação onde:

• O ator e o crítico são modelos de API fixos.
• Rótulos de passo de verdade fundamental não estão disponíveis.
• O treinamento de novos verificadores é inviável.

Os resultados sugerem que a experiência de execução recuperada fornece um sinal que é superior aos métodos atuais de confiança baseados em resposta, oferecendo um caminho prático para agentes autônomos mais seguros e confiáveis em ambientes complexos que alteram o estado. O artigo conclui que a principal vantagem do CEB é temporal (acumular evidências ao longo do tempo) em vez de supervisonal (depender de melhores rótulos), efetivamente transformando os próprios erros e sucessos passados do agente em um prior para a tomada de decisão futura.