Resumo Técnico: Avaliação de Trajetórias Baseada em Preferências Offline

Declaração do Problema

O artigo aborda a crescente ineficiência e insensibilidade das métricas de avaliação offline para sistemas agentes. As práticas padrão atuais, particularmente a Taxa de Sucesso (SR - Success Rate), colapsam trajetórias multi-etapas complexas em um único valor terminal binário (sucesso/falha). Essa abordagem cria dois problemas primários:

1. Perda de Informação: Ela descarta sinais granulares sobre o progresso parcial e a dinâmica temporal de como uma tarefa é resolvida. Duas trajetórias com perfis de desempenho vastamente diferentes (por exemplo, uma resolvendo uma tarefa rapidamente vs. uma resolvendo-a lentamente, ou uma fazendo progresso parcial significativo vs. nenhum) são tratadas como idênticas se compartilharem o mesmo resultado terminal.
2. Ineficiência Estatística: A natureza binária da SR induz uma alta taxa de "empates" (comparações indistinguíveis). Os autores observam que, em benchmarks diversos, aproximadamente 75% das comparações ao nível de instância resultam em empates sob a SR. Isso reduz drasticamente o tamanho efetivo da amostra, enfraquecendo o poder estatístico, desestabilizando classificações de sistemas e contribuindo para o fenômeno da "saturação de benchmark", onde os benchmarks falham em distinguir entre sistemas cada vez mais capazes.

O artigo argumenta que a saturação de benchmark não é apenas um resultado de coleta de dados deficiente ou dificuldade da tarefa, mas é significativamente exacerbada pela escolha da medida de avaliação.

Metodologia

Os autores propõem a Avaliação de Trajetória Baseada em Preferências, um framework que muda da atribuição de valores escalares a trajetórias individuais para a atribção de preferências assinadas a pares de trajetórias baseadas em preferência temporal.

Conceito Central: Preferência Temporal

Em vez de desconto temporal (que requer assumir uma relação específica, muitas vezes arbitrária, entre tempo e utilidade via hiperparâmetros), os autores adotam a preferência temporal. Este princípio estabelece: Dado dois sistemas alcançando o mesmo progresso de tarefa, prefira o sistema que o alcançou mais cedo. Isso não requer hiperparâmetros adicionais e faz menos suposições sobre o domínio.

Medidas Propostas

O artigo introduz três métricas específicas baseadas em preferência que operam comparando trajetórias $f$ e $f'$ através de níveis de retorno $R \in [0, 1]$:

1. Retorno Lexicográfico (LR - Lexicographic Return): Uma abordagem conservadora que prioriza o nível de retorno mais alto onde as trajetórias diferem. Se uma trajetória tem sucesso ($R=1$) e a outra não, a bem-sucedida é preferida. Se ambas têm sucesso (ou ambas falham), ela desempata comparando o tempo-para-retorno no nível mais alto de diferença. Isso se alinha de perto com a SR, mas adiciona resolução temporal para empates.
2. Preferência de Retorno Pareada (RPP - Return-Paired Preference): Esta métrica integra o tempo-para-retorno através de todos os níveis de retorno. Ela percorre uniformemente todos os níveis de retorno alcançados, comparando o tempo necessário para alcançar cada nível para ambas as trajetórias. Ela agrega essas comparações ponderadas pela largura do segmento, medindo efetivamente a vantagem temporal cumulativa.
3. Preferência de Intervalo Pareada (IPP - Interval-Paired Preference): Esta métrica foca na eficiência temporal local. Em vez do tempo absoluto para o retorno, ela compara o incremento de tempo ($\delta$) necessário para avançar de um nível de retorno para o próximo. Isso captura a consistência do progresso em transições de submetas.

Framework de Avaliação

Os autores avaliam esses métodos contra baselines padrão (SR, PR - Partial Return, e SPL - Success weighted by Path Length) através de cinco famílias de benchmarks (AgentBoard, OpenHands-Index, TheAgentCompany, TALES e um dataset sintético SGRL).

A avaliação depende de critérios de meta-avaliação:

• Validade: Medida via similaridade inter-medida (validade convergente) e concordância com um "oráculo" de verdade fundamental (validade de critério) usando o dataset SGRL-oracle.
• Confiabilidade: Avaliada via confiabilidade de metade da amostra (split-half reliability) e estabilidade de exclusão de um por um (leave-one-out stability) para determinar a consistência de ranking sob perturbação de dados.
• Sensibilidade: Medida pelo taxa de empate (redução de pares indistinguíveis) e poder discriminativo (capacidade de detectar diferenças estatisticamente significativas entre sistemas).
• Eficiência de Dados: Analisada medindo quão rapidamente uma métrica converge para um ranking estável conforme o número de amostras de avaliação diminui.

Principais Resultados

Os resultados empíricos através de diversos benchmarks de agentes e interativos demonstram que as preferências de trajetória superam as métricas escalares em todas as dimensões de meta-avaliação:

• Redução de Empates: Métodos baseados em preferência reduzem a taxa de empate de aproximadamente 75% (sob SR) para cerca de 35%. Isso recupera uma parte substancial do sinal anteriormente descartado.
• Concordância com o Oráculo: No dataset SGRL-oracle, onde os rankings de verdade fundamental são conhecidos, SR e PR atingiram apenas 12,8% de precisão na recuperação de preferências reais. Em contraste, as medidas de preferência de trajetória (LR, RPP, IPP) excederam 94% de precisão. O RPP, em particular, detectou 63,2% das preferências verdadeiras como estatisticamente significativas (sob correção FDR), comparado a 48,1% para SPL e 0% para SR/PR.
• Confiabilidade: Métodos de preferência de trajetória demonstraram maior confiabilidade de metade da amostra (correlação ~0,83–0,85) comparado a métricas escalares (0,70–0,75). Eles também exibiram maior estabilidade sob perturbações de exclusão de um por um.
• Sensibilidade e Poder Discriminativo: Métricas baseadas em preferência mantiveram alto poder discriminativo em toda a gama de dificuldades de tarefa, incluindo domínios onde os modelos eram uniformemente bem-sucedidos ou uniformemente falhos. Em contraste, o poder discriminativo da SR colapsou nesses extremos.
• Eficiência de Dados: Medidas baseadas em preferência atingiram rankings de sistemas estáveis com menos instâncias de avaliação. Por exemplo, o RPP alcançou precisão significativa com 50–60% dos dados que o SPL exigiria para o desempenho de dados totais.

Significância e Alegações

O artigo afirma que a escolha da medida de avaliação é um fator crítico e frequentemente negligenciado na utilidade de um benchmark. A principal significância deste trabalho inclui:

1. Reenquadramento da Saturação de Benchmark: Os autores sugerem que a percepção de saturação de benchmarks é parcialmente um artefato do uso de métricas insensíveis (como SR) que colapsam trajetórias distintas em empates, em vez de uma limitação inerente das tarefas ou dados.
2. Eficiência sem Novos Dados: Os métodos propostos recuperam o sinal perdido e melhoram o poder estatístico usando os logs de trajetória existentes, exigindo nenhuma coleta de dados adicional, reponderação ou ajuste de hiperparâmetros.
3. Avaliação de Preferência Offline: O trabalho estabelece um framework rigoroso para avaliação baseada em preferência offline, oferecendo os benefícios das comparações estilo arena (redução de variância, melhor sensibilidade) enquanto mantém as capacidades de segurança, velocidade e análise contrafactual da avaliação offline.
4. Mudança Metodológica: Ao se afastar do desconto temporal (que assume uma relação tempo-utilidade fixa) para a preferência temporal, a abordagem fornece uma maneira mais principada e robusta de avaliar sistemas agentes que interagem com ambientes ao longo do tempo.

Os autores concluem que a mudança para comparações baseadas em preferência sobre a estrutura da trajetória permite uma avaliação mais confiável, sensível e eficiente de dados para sistemas agentes, abordando diretamente as ineficiências estatísticas inerentes aos atuais paradigmas baseados em taxa de sucesso.