Agent Step Value: Probing the Observer Effect in Black-Box Traces

Resumo Técnico: Valor do Passo do Agente (ASV)

Definição do Problema
As avaliações de resposta final para agentes de modelos de linguagem são insuficientes para análises de caixa-preta porque obscurecem quais transições específicas dentro de um traço melhoraram ou degradaram o estado do agente. Embora sistemas como ReAct ou DSPy gerem fluxos de trabalho complexos envolvendo recuperação, síntese e auditoria, métricas padrão não conseguem isolar se um passo específico (por exemplo, uma chamada de recuperação ou uma auditoria) adicionou valor ou introduziu erro. Além disso, os métodos existentes de supervisão de processo frequentemente dependem de rótulos predefinidos ou modelos de recompensa que confundem o comportamento do agente com a sensibilidade ao prompt do próprio avaliador. Há uma necessidade de um framework que meça atualizações de crença em nível de transição sem tratar o avaliador como verdade fundamental (ground truth), enquanto contabiliza explicitamente como o próprio protocolo de avaliação influencia o resultado medido.

Metodologia: Valor do Passo do Agente (ASV)
Os autores introduzem o Agent Step Value (ASV), um framework de replay projetado para pontuar a mudança na crença de um avaliador sobre um conjunto de candidatos fixo $C$ conforme um agente transita de um estado $x_{i-1}$ para $x_i$ via ação $a_i$.

• Projeção de Estado e Pontuação: O ASV utiliza um avaliador de LLM fundamentado no estado ($E_\theta$) que processa uma "projeção redigida" do estado do agente. Esta projeção remove rótulos físicos, respostas de ouro (gold answers) e segredos, retendo apenas identificadores de candidatos estáveis e texto.
• Deliberação vs. Pontuação: Para separar o raciocínio da pontuação, o protocolo utiliza uma abordagem de duas passagens. Primeiro, o avaliador gera uma racionalização compacta e sem rótulos ($r_x$) sobre os candidatos. Segundo, um mapeamento de rótulo físico é anexado, e o avaliador pontua um único token de opção usando log-probabilidades. Isso evita que o preâmbulo de raciocínio enviese a seleção do primeiro token.
• Diagnósticos: O ASV computa três métricas distintas para cada transição:
  1. Movimento de Entropia ($\Delta H$): Mede a mudança na incerteza.
  2. Surpresa Bayesiana ($S$): Mede a magnitude da mudança na distribuição de crença ($D_{KL}$) independentemente da direção, detectando pivôs que a entropia poderia omitir.
  3. Ganho de Margem de Ouro ($G_{margin}$): Mede a mudança na margem de log-verossimilhança entre um candidato alvo revisado $g$ e seu competidor mais próximo. Isso indica o movimento em direção ou para longe do alvo.
• Sensibilidade do Protocolo: O ASV trata o prompt de avaliação, a política de racionalização e a projeção como um "canal de medição". Ao reproduzir transições congeladas sob diferentes canais (por exemplo, variando o comprimento da racionalização ou permutações de rótulos), o ASV quantifica o "efeito do canal", medindo o quanto o próprio protocolo de avaliação altera o valor percebido de um passo.

Configuração Experimental
O estudo utilizou 100 tarefas de QA aberto envolvendo recuperação de evidências do PubMed, gerando 1.100 passos de agente. Os traços foram avaliados usando um modelo DeepSeek configurado com um protocolo condicionado a uma racionalização de 128 tokens. Os autores compararam isso contra a pontuação direta de um único token e reproduziram os mesmos passos sob várias modificações de canal (por exemplo, racionalizações de 512 tokens, buffers extrativos, permutações de rótulos) para isolar fontes de variância.

Resultos Principais

• Valores de Passos Negativos sob Protocolos de Racionalização: Sob o protocolo condicionado a racionalização de 128 tokens, o ganho médio de margem de ouro foi significativamente negativo (-2,335), indicando que muitas transições moveram a crença do avaliador para longe do alvo correto. Em contraste, a pontuação direta de um único token nos mesmos traços rendeu um ganho positivo (+4,033).
• Cegueira de Entropia: O movimento de entropia foi efetivamente zero (0,000) através dos passos, falhando em detectar mudanças. No entanto, a surpresa Bayesiana média foi de 2,693, revelando que a crença do avaliador passou por pivôs quase one-hot (trocando a confiança de um candidato para outro) sem alterar a incerteza geral.
• Localização do Dano: Os valores de passos mais negativos ocorreram durante as fases de extração (-7,790) e auditoria (-7,392), especificamente após a evidência entrar no fluxo de trabalho. Isso sugere que comprimir ou criticar estados intermediários frequentemente degrada a crença direcionada ao alvo.
• Compressão de Racionalização como o Driver: Auditorias de atribuição de componentes revelaram que a reversão de scores positivos para negativos foi carregada principalmente pelo canal de compressão de racionalização. A pontuação direta de estado completo foi positiva (+7,750), mas o canal de racionalização gerada de 128 tokens foi fortemente negativo (-21,741). Estender a racionalização para 512 tokens ou usar buffers extrativos mitigou amplamente essa reversão, sugerindo que racionalizações geradas curtas comprimem pistas críticas necessárias para uma avaliação precisa.

Significância e Alegações
O artigo alega que o ASV fornece um método para localizar "pivôs de crença" e eventos de "dano/reparo" em traços de agentes que são invisíveis para métricas de resposta final ou análise baseada em entropia. Sua principal contribuição é demonstrar que os valores de passo não são propriedades intrínsecas da transição do agente, mas são codeterminados pelo canal de avaliação.

Os autores argumentam que um valor de passo sem seu canal de avaliador específico é ambíguo, pois pode misturar o comportamento real do agente com artefatos introduzidos por projeção, compressão ou regras de pontuação. Ao tratar o prompt e a política de racionalização como um canal medido, o ASV permite que pesquisadores auditem o próprio processo de avaliação. O estudo conclui que, em cenários de alto risco, valores numéricos de passos não devem ser confiados como recompensas objetivas; em vez disso, devem ser reportados junto com diagnósticos de sensibilidade de protocolo para garantir que melhorias ou degradações observadas não sejam meros artefatos da configuração de avaliação. O framework é apresentado como uma ferramenta de diagnóstico para depurar fluxos de trabalho de agentes, em vez de um estimador de recompensa causal.