Resumo Técnico: O que a Avaliação de Processo de Agentes de Codificação Realmente Mede

1. Problema

As avaliações atuais de agentes de codificação baseados em Large Language Models (LLMs) focam cada vez mais no processo — como um agente executa uma tarefa — em vez de apenas no resultado final. No entanto, o artigo argumenta que as avaliações de nível de processo existentes são conceitualmente subespecificadas. Elas frequentemente confundem três níveis distintos de análise:

1. Nível de Ação: Prever a próxima operação do agente (ex: "Qual ferramenta ele usará a seguir?").
2. Nível de Tarefa: Avaliar a incerteza ou recuperabilidade da execução geral (ex: "Esta tarefa ainda é passível de solução?").
3. Nível de Passo: Atribuir contribuição causal a ações específicas (ex: "Este passo específico causou a falha?").

O artigo postula que tratar isso como uma única noção de "qualidade de processo" leva a interpretações errôneas. Especificamente, métodos padrão, como juízes de LLM de rastro completo ou modelos de recompensa de processo, frequentemente condicionam-se a informações (como passos futuros ou resultados finais) que invalidam alegações causais sobre passos individuais. O problema central é determinar o que esses sinais de avaliação realmente medem e se eles podem identificar de forma confiável efeitos causais ao nível do passo.

2. Metodologia: O Framework SCAE

Para abordar isso, os autores introduzem um framework de medição fundamentado em um Modelo Causal Estrutural (SCM) de execução de agentes. Eles instanciam isso com o SCAE (Step-level Causal Attribution Estimator), um estimador baseado em replay projetado para medir a avaliação de processo nos três níveis distintos.

2.1 Modelo Causal Estrutural

A execução do agente é modelada como:

• Variáveis Exógenas: Dificuldade latente da tarefa ($Z$), ruído de decodificação ($G^{(t)}_\pi$) e ruído do ambiente ($U^{(t)}_{env}$).
• Política: Definida via formulação Gumbel-max, onde as ações são selecionadas perturbando as probabilidades logarítmicas.
• Resultado: Um resultado terminal verificável (ex: recall de um conjunto de arquivos "gold").

2.2 Identificação e Estimativa

O objetivo é estimar o efeito causal condicionado ao prefixo de substituir uma ação $a$ por $a'$ no passo $t$:
$$\theta_t(a, a') = E[Y_{A_t=a'} - Y_{A_t=a} \mid \tau_{1:t-1}]$$
onde $\tau_{1:t-1}$ é o prefixo de execução realizado.

Premissas Principais:

1. Observabilidade de Contexto: O estado é uma função determinística do problema e do prefixo registrado.
2. Ruído de Decodificação Exógeno: O ruído de decodificação é independente da dificuldade da tarefa e do ruído futuro.
3. Ambiente Replicável: O ambiente pode ser reproduzido deterministicamente a partir do estado e da ação registrados.

Estratégia de Estimativa Híbrida (SCAE):
Como os agentes de codificação frequentemente exibem comportamento determinístico (violando a premissa de "positividade" necessária para uma estimativa puramente observacional), o SCAE utiliza uma abordagem híbrida:

• Ramo Observacional: Se o replay do prefixo gerar diversas próximas ações (alta entropia), o efeito é estimado pela média dos resultados sobre múltiplos replays.
• Ramo de Intervenção: Se a política for determinística (baixa entropia), o sistema substitui uma ação alternativa, executa-a no ambiente real para obter uma saída de ferramenta genuína e, então, realiza o replay do restante da trajetória. Isso evita a fabricação de saídas de ferramentas.

2.3 Níveis de Medição

O framework produz três tipos de medições a partir do mesmo objeto ajustado:

• Nível de Ação: Caracteriza o que prediz a próxima operação.
• Nível de Tarefa: Mede a incerteza de execução através da variância das continuações replicadas.
• Nível de Passo: Estima os incrementos de "valor a qualquer momento" ($\Delta_t$) para atribuir contribuição causal.

3. Configuração Experimental

• Tarefa: Localização de arquivos (identificar arquivos para modificar para um dado problema), derivada do SWE-bench-Verified.
• Dados: 499 episódios em 12 repositórios (dominados por django).
• Protocolo: O agente é executado uma vez. Os prefixos selecionados são reconstruídos, e as continuações são replicadas (8 vezes por ponto) para estimar funções de valor e incerteza.
• Avaliação: O estudo foca na confiabilidade da medição, não na melhoria do desempenho do agente.

4. Resultados Principais

4.1 Nível de Ação: Proveniência vs. Estrutura de Grafo

• Achado: O preditor mais forte da próxima ação de um agente é sua proveniência de execução (os caminhos e arquivos que ele acabou de ver nas saídas das ferramentas), não o grafo de dependência de código.
• Evidência: Em passos de "primeira visita" (onde o arquivo alvo ainda não foi visto), um preditor usando apenas a saída de ferramenta mais recente alcançou uma acurácia top-3 de 0,326. Em contraste, um preditor de grafo de dependência de código fortalecido alcançou apenas 0,058.
• Implicação: Agentes navegam com base no contexto observacional imediato, em vez da estrutura global do repositório.

4.2 Nível de Tarefa: A Incerteza é Global, Não Local

• Achado: A incerteza de execução é estruturada primariamente no nível da tarefa (instância), não no nível do passo.
• Evência: A variância nos resultados replicados foi fortemente explicada pela instância específica (ICC = 0,640), mas não pela posição do passo ou tipo de ferramenta. Além disso, 0 de 190 efeitos de nível de passo estimados sobreviveram à correção de Taxa de Falso Descoberta (FDR).
• Implicação: Se uma execução tem sucesso ou falha é determinado amplamente pela dificuldade da instância específica da tarefa, não pelo efeito cumulativo de passos individuais. Isso torna a atribuição causal ao nível do passo empiricamente inviável com custos de replay viáveis.

4.3 Nível de Passo: Viés de Colisor em Juízes de Rastro Completo

• Achado: Métodos de atribuição observacionais, particularmente juízes de LLM de rastro completo, sofrem de viés de colisor.
• Evidência: Quando os passos subsequentes estavam visíveis para o juiz, o passo "culpado" deslocou-se significativamente mais tarde na trajetória (posição normalizada mediana 0,88) em comparação com quando os passos subsequentes estavam ocultos (posição mediana 0,17). O deslocamento médio foi de +0,537 mais tarde na posição normalizada.
• Implicação: Juízes de rastro completo não medem contribuição causal certificada. Em vez disso, eles medem relevância semântica enriquecida por evidências subsequentes. Eles selecionam passos que são semanticamente relacionados à falha (ex: tocar em um arquivo "gold"), mas são enviesados para o final da trajetória porque condicionam em descendentes da ação.

5. Contribuições e Significância

A principal contribuição do artigo é um framework de medição que desmembra a predição de ação, a incerteza da tarefa e a atribuição de passo.

• Clarificação Conceitual: Estabelece que a "avaliação de processo" não é um problema único. Sinais úteis para prever a próxima ação (proveniência) ou caracterizar a dificuldade da tarefa (variância da instância) não devem ser confundidos com a atribuição causal ao nível do passo.
• Rigor Metodológico: Ao introduzir o SCAE, os autores fornecem uma maneira fundamentada de testar o que os avaliadores de processo podem e não podem identificar. Eles demonstram que a identificabilidade formal não garante a mensurabilidade empírica quando a incerteza reside no nível da tarefa.
• Crítica às Práticas Atuais: O artigo fornece evidência empírica de que os avaliadores de processo atuais (como juízes de rastro completo) são sistematicamente enviesados por informações subsequentes, medindo a relevância semântica em vez da contribuição causal.

Limitações e Escopo:
Os autores são modestos em suas afirmações. Eles reconhecem que:

• As descobertas são específicas para localização de arquivos, um cenário escolhido por sua replicabilidade e resultados verificáveis.
• A atribuição causal ao nível do passo permanece empiricamente fraca (subdimensionada) neste cenário, não necessariamente porque não exista, mas porque a incerteza é global demais para ser localizada em custos computacionais viáveis.
• A decomposição da incerteza (tarefa vs. política vs. modelo) é validada em dados sintéticos, não totalmente em traços reais.

Conclusão:
O artigo conclui que a avaliação de processo não deve ser tratada como um benchmark monolítico. Em vez disso, os avaliadores devem ser validados contra o nível específico que medem. Preditores de ação podem ser fortes, a incerteza da tarefa pode ser estruturada, mas a localização causal ao nível do passo pode permanecer inviável em configurações práticas. Reconhecer esses níveis distintos é essencial para interpretar corretamente os sinais de processo.