Beyond Static Leaderboards: Predictive Validity for the Evaluation of LLM Agents

Título: Além dos Rankings Estáticos: Validade Preditiva para a Avaliação de Agentes de LLM

Definição do Problema
A avaliação de agentes de Grandes Modelos de Linguagem (LLMs) ultrapassou as limitações dos rankings estáticos de pontuação agregada. Embora os agentes atuais realizem tarefas complexas envolvendo planejamento, chamada de ferramentas (tool calling), reuso de artefatos em múltiplas etapas e coordenação entre agentes, eles são atualmente classificados por métricas únicas ou agregadas herdadas de benchmarks de disparo único (single-shot). Os autores argumentam que essa abordagem subespecifica sistematicamente as dimensões relevantes para agentes implantados, levando a uma "instabilidade de ranking". Evidências empíricas de uma competição recente de 149 equipes (Patel et al., 2026) demonstram que os rankings derivados de leaderboards públicos frequentemente falham em transferir para conjuntos de avaliação ocultos e fora de distribuição (OOD). Por exemplo, a correlação de Spearman entre os rankings públicos e ocultos foi estatisticamente indistinguível de zero ($\rho = -0.13$) na trilha de execução, indicando que pontuações altas em amostra (in-sample) não predizem de forma confiável o desempenho fora da amostra (out-of-sample). Além disso, a dependência da pontuação "LLM-as-Judge" introduz reflexividade, onde o leaderboard mede os vieses do modelo juiz em vez da verdadeira capacidade do sistema, e carece de uma âncora contra o desvio do juiz (judge drift).

Metodologia
Este trabalho é um artigo de posição fundamentado em síntese, em vez de novos experimentos controlados. A metodologia envolve:

1. Agregação de Evidências: Os autores consolidam descobertas de sete benchmarks de agentes existentes (incluindo AssetOpsBench, MCP-Bench, TaskBench e Exgentic) e quatorze estudos de implementação paralelos conduzidos na estrutura AssetOpsBench.
2. Análise de Sensibilidade Arquitetônica: Os quatorze estudos, conduzidos por equipes independentes, modificaram variáveis arquitetônicas específicas (ex: modos de raciocínio, estratégias de recuperação, padrões de orquestração, infraestrutura) enquanto mantinham outras constantes. Os autores tratam a convergência das descobertas através dessas diversas implementações como evidência de "sensibilidade arquitetônica convergente".
3. Síntese de Dimensões: Os autores mapeiam as descobertas desses estudos e benchmarks em um proposto "aparato de medição de doze níveis". Este aparato é projetado para expor dimensões ortogonais que os leaderboards atuais colapsam em pontuações únicas.
4. Critério de Ranking Proposto: O artigo propõe a mudança do critério de ranking de "média em amostra" para "validade preditiva", definida como a correlação entre o ranking em amostra e o ranking fora da amostra.

Principais Contribuições
O artigo apresenta cinco contribuições primárias:

1. Um Aparato de Medição de Doze Níveis: Uma síntese de dimensões de avaliação organizadas em duas categorias:
   • Níveis de Capacidade Central (T1–T7): Taxas de sucesso, higiene de chamada de ferramenta, qualidade de planejamento, eixos de capacidade, Pareto de eficiência de custo, taxonomias de modo de falha e reprodutibilidade.
   • Níveis de Extensão de Implantação (T8–T12): Infraestrutura de implantação (decomposição de latência, overhead de protocolo), diálogo de múltiplas etapas (reuso de artefato), adaptabilidade de modo de raciocínio, aumento de conhecimento (estratégias de recuperação) e fundamentação de evidências (verificação independente do juiz).
2. Um Argumento de Posição: A afirmação de que os leaderboards de pontuação agregada falham em capturar a complexidade dos agentes implantados, e que o campo requer um aparato de múltiplos níveis classificado por validade preditiva.
3. Três Critérios OOD Falsificáveis: Critérios concretos para testar a posição:
   • Critério A (Retido): Mudança distributiva leve via divisões estratificadas.
   • Critério B (Subconjunto Cruzado): Mudança moderada (ex: ranking em chillers de HVAC vs. bombas hidráulicas).
   • Critério C (Adversarial): Mudança forte via paráfrase semântica, renomeação de identificadores, deslocamento de janela temporal e injeção de distratores.
4. Um Esquema de Pontuação de Validade Preditiva: Um escore composto proposto $PV(c) = \alpha \bar{Y}_c - \beta \sigma_{Y_{c,OOD}} - \gamma IQR(Y_c)$ que equilibra o desempenho médio com a confiabilidade fora da amostra e a variância.
5. Um Design de Piloto Pré-Registrado: Um roteiro para um estudo empírico para validar a posição, incluindo limiares específicos para falsificação (ex: se a correlação de ranking em amostra para OOD for $\rho \ge 0.85$, a posição é refutada).

Resultados e Evidências
O artigo não apresenta novos resultados experimentais, mas sintetiza evidências convergentes de quatorze estudos de implementação e sete benchmarks para apoiar suas afirmações:

• Instabilidade de Ranking: A análise da competição CODS-2025 mostra que as correlações de ranking público-oculto são frequentemente fracas ou inexistentes, particularmente em trilhas de execução.
• Colapso Dimensional: A síntese revela que os benchmarks atuais reportam sobre no máximo quatro ou cinco dos doze níveis propostos. Por exemplo, benchmarks de etapa única perdem a dinâmica de reuso de artefatos de múltiplas etapas, e pontuações agregadas escondem trocas (trade-offs) entre qualidade de raciocínio e latência.
• Descobertas Convergentes: Equipes independentes identificaram os mesmos gargalos e modos de falha, apesar de diferentes arquiteturas iniciais. Exemplos incluem:
  • Modos de Raciocínio: Habilitar "pensamento estendido" melhorou a clareza em 31 pontos percentuais, mas aumentou a latência em 21,5%, uma troca invisível para pontuações agregadas.
  • Estratégias de Recuperação: A recuperação multi-salto (multi-hop) agêntica alcançou ~90% de precisão, mas com inflação de tokens de 4,5x a 10x em comparação com o RAG de passagem única (50–68% de precisão).
  • Infraestrutura: O overhead do subprocesso MCP-stdio foi identificado como um piso de latência dominante (até 5–6 segundos por chamada) em múltiplos estudos, confundindo o overhead do protocolo com a habilidade de raciocínio.
  • Reflexividade do Juiz: A confiabilidade inter-avaliador do LLM-as-judge ($\alpha = 0.61$) foi encontrada como inferior à confiabilidade humano-humano ($\alpha \in [0.74, 0.82]$), destacando a necessidade de âncoras independentes do juiz, como pipelines baseados em regras ou oráculos DAG.

Significância e Alegações
O artigo alega que o paradigma atual de "leaderboards de pontuação agregada" é insuficiente para guiar decisões de implantação porque falha em prever o desempenho fora de distribuição. A significância deste trabalho reside em:

• Operacionalizar a Validade Preditiva: Propor um framework concreto e falsificável para classificar agentes com base em sua capacidade de generalização, em vez de sua capacidade de sobreajuste (overfitting) a um conjunto específico de benchmarks.
• Expor Dimensões Ocultas: Demonstrar que o "espaço de medição" de agentes implantados é aproximadamente de doze dimensões e ortogonais, enquanto os leaderboards atuais colapsam estas em métricas únicas.
• Mudar o Campo: Mover a comunidade em direção a uma "ciência do design" de avaliação interativa que exige configurações declaradas (arquitetura, modo de raciocínio, estratégia de recuperação), apresentação em camadas de resultados e verificação independente do juiz.

Os autores são explícitos quanto às limitações do artigo: é uma síntese e um artigo de posição, não uma validação empírica. A alegação de validade preditiva é uma hipótese apoiada pela sensibilidade arquitetônica convergente, mas que requer o teste controlado randomizado delineado em sua agenda de pesquisa para ser confirmada. Eles reconhecem que o aparato de doze níveis é atualmente afirmado como ortogonal, mas não testado empiricamente quanto à independência.