Resumo Técnico: Benchmarking do Resíduo

Definição do Problema

Benchmarks de longo horizonte para agentes de modelos de linguagem demonstram consistentemente que as taxas de sucesso diminuem à medida que as tarefas se estendem em comprimento. No entanto, o artigo argumenta que um declínio bruto no desempenho de ponta a ponta é insuficiente para diagnosticar os mecanismos de falha subjacentes. Uma menor taxa de sucesso em uma tarefa longa pode resultar simplesmente de um composto de erros ordinário (a probabilidade estatística de falha aumentando com o número de estágios independentes) em vez de uma limitação específica de "longo horizonte", como degradação de contexto, contaminação de estado ou colapso de planejamento.

Os benchmarks atuais frequentemente confundem três fontes distintas de degradação de desempenho:

1. Composição de Erros: Mais estágios criam mais oportunidades de falha, mesmo que os estágios individuais não tenham alterado sua dificuldade.
2. Trabalho Local Mais Difícil: Tarefas mais longas podem conter inerentemente estágios mais ambíguos ou especializados.
3. Dependência de Histórico/Estado: O contexto acumulado, saídas de ferramentas ou erros anteriores tornam as etapas subsequentes mais difíceis (termo: degradação induzida pela trajetória ou deterioração de contexto).

Sem distinguir esses fatores, uma curva de desempenho descendente não consegue identificar se o agente falha porque a tarefa é longa, porque os estágios são difíceis ou porque o histórico do agente degrada ativamente seu desempenho futuro.

Metodologia

O artigo propõe um framework de diagnóstico centrado no Resíduo de Horizonte ($\Gamma_H$), uma métrica que compara o desempenho real de ponta a ponta contra uma previsão de linha de base derivada de avaliações de estágios curtos correspondentes.

1. Decomposição e Checkpoints

A metodologia requer uma decomposição pré-especificada de uma tarefa longa em estágios semânticos verificáveis (ex: "encontrar bug", "atualizar API") em vez de contagens arbitrárias de turnos.

• Checkpoints: O agente implantado (modelo, prompt, ferramentas, memória) é executado a partir de checkpoints declarados. Um checkpoint inclui o estado específico do ambiente, histórico visível, informações reveladas e orçamento local.
• Probabilidades Condicionais ($q_i$): Para cada estágio $i$, a probabilidade de sucesso é medida dado que todos os estágios anteriores necessários foram concluídos e o agente começou a partir do checkpoint declarado: $q_i = \Pr(S_i = 1 \mid S_{<i} = 1, I)$.

2. A Linha de Base de Produto ($P_{expected}$)

Usando a regra da cadeia, o artigo constrói uma previsão de linha de base auditável para a taxa de sucesso da tarefa completa multiplicando as probabilidades condicionais dos estágios:
$$P_{expected} = \prod_i q_i$$
Esta linha de base assume que, se o agente consegue ter sucesso em cada estágio independentemente sob condições correspondentes, o sucesso da tarefa completa deve ser o produto dessas probabilidades. O artigo reconhece que este é um "modelo nulo" que pode não considerar recuperação, caminhos de ramificação ou mudanças de estado, e sugere extensões (ex: simuladores de checkpoint) para tarefas heterogêneas.

3. O Resíduo de Horizonte ($\Gamma_H$)

A métrica central é a razão logarítmica entre o sucesso esperado (da linha de base) e o sucesso observado ($P_{observed}$) de uma execução natural de ponta a end-to-end:
$$\Gamma_H = \log \left( \frac{P_{expected}}{P_{observed}} \right)$$

• $\Gamma_H > 0$: A execução natural performa pior do que a previsão de estágio curto correspondente, indicando um descompasso (potencial degradação induzida pela trajetória).
• $\Gamma_H \approx 0$: A execução natural alinha-se com a previsão, sugerindo que o declínio de desempenho se deve ao composto de erros ordinário.
• $\Gamma_H < 0$: A execução natural supera a previsão (ex: devido a mecanismos de feedback ou recuperação omitidos na linha de base).

4. Anotações Estruturais

Para separar a estrutura da tarefa da dificuldade local, o artigo defende a reportagem de duas anotações complementares:

• Exposição de Trabalho ($N_{work}$): O número de estágios necessários e separadamente verificáveis.
• Profundidade de Dependência ($H_{dep}$): A profundidade da maior cadeia de dependência necessária.
  Isso permite que os benchmarks distingam entre tarefas que são "longas" devido ao volume (muitos passos independentes) versus tarefas que são "longas" devido a uma profunda dependência entre estágios.

Contribuições Principais

1. Distinção Diagnóstica: O artigo argumenta para tratar o declínio de desempenho bruto como um resultado de implantação descritivo e o Resíduo de Horizonte como um diagnóstico separado e dependente de protocolo. Ele afirma que uma alegação de "falha de longo horizonte" requer evidências de que a execução completa difere de uma linha de base construída a partir de estágios curtos correspondentes.
2. Proposta de Linha de Base Auditável: Propõe uma linha de base de produto simples e auditável ($P_{expected}$) e delineia extensões (modelos condicionais, simuladores de checkpoint) para tarefas com ramificação ou recuperação. Enfatiza que a linha de base deve ser declarada antes de avaliar a execução natural.
3. Agenda de Reportagem e Intervenção: O artigo articula requisitos específicos de reportagem (decomposição, estados de checkpoint, orçamentos) e uma agenda de intervenção. Ele postula que o resíduo não é uma explicação causal, mas um sinal para direcionar experimentos alvo (ex: reset de histórico, reparo de estado, compressão de contexto) para identificar o mecanismo específico de falha.

Resultados e Evidências

O artigo não apresenta novos resultados experimentais, mas sintetiza a literatura existente para demonstrar a necessidade deste framework:

• SWE-Milestone vs. Execução Contínua: Milestones independentes frequentemente mostram >80% de sucesso, enquanto a evolução contínua no mesmo codebase cai para ~38%. O artigo nota que, sem compor os scores independentes em uma cadeia de contrafactual ao nível do nível, esse gap é ambíguo.
• ChainSWE: Mostra uma queda de 58,9% de acurácia (estado anterior oracle-correto) para 36,5% (estado anterior gerado pelo agente), ilustrando o valor do reparo de estado, mas observando a falta de uma previsão de cadeia composta.
• SWE-Marathon: Mostra que a compactação de contexto correlaciona-se com a falha, mas sem intervenções correspondentes, não é claro se a compactação causa a falha ou apenas marca trajetórias falhas.
• Illusion: Manipulações controladas de histórico mostram que erros em históricos anteriores reduzem a acurácia subsequente, isolando o conteúdo sobre o comprimento.

O artigo revisa benchmarks representativos (SWE-EVO, NL2Repo-Bench, SWE-Chain, etc.) e conclui na Tabela 4 que nenhum estudo existente implementa a sequência completa: medição local correspondente, composição declarada, execução natural, tratamento de compatibilidade de estado, intervenção direcionada e análise de sensibilidade de protocolo.

Significância e Alegações

A significância do artigo reside em reestruturar o "mais longo é mais difícil" de uma observação descritiva para um programa de pesquisa auditável.

• Implantação vs. Diagnóstico: Esclarece que benchmarks de implantação perguntam se um sistema tem sucesso, enquanto benchmarks diagnósticos perguntam por que ele falha. O Resíduo de Horizonte une estes dois através da quantificação do gap entre competência local e desempenho global.
• Disciplina Causal: Os autores afirmam que o resíduo não é uma resposta causal. Um resíduo positivo apenas indica um descompasso com a linha de base escolhida. Ele direciona os pesquisadores para hipóteses específicas (ex: "É deterioração de contexto?") que devem então ser testadas via intervenções direcionadas.
• Falseabilidade: A posição é falseável se:
  1. O sinal de $\Gamma_H$ for instável entre protocolos admissíveis.
  2. Checkpoints correspondentes não puderem ser construídos a um custo gerenciável.
  3. O resíduo não fornecer informação diagnóstica incremental além das comparações existentes de persistente-vs-reset.

Em última análise, o artigo argumenta que até que uma curva descendente seja acompanhada por uma previsão composicional pré-especificada e o resíduo resultante, as alegações sobre mecanismos de longo horizonte permanecem sem licença. O framework transforma a observação de falha em uma investigação estruturada de histórico, estado, informação e recuperação.