Resumo Técnico: Quantificação de Incerteza Livre de Distribuição para Avaliação Contínua de Agentes de IA

1. Declaração do Problema

A avaliação de agentes de IA enfrenta atualmente uma "crise de incerteza". Benchmarks estáticos existentes (por exemplo, SWE-bench, GAIA, WebArena) produzem estimativas pontuais tratadas como definitivas, mas falham em contabilizar incertezas implícitas decorrentes de:

• Heterogeneidade de Medição: Desacordos entre diferentes plataformas quanto à qualidade.
• Especificação do Modelo: Mudanças de classificação sob diferentes esquemas de ponderação.
• Não Estacionariedade Temporal: Evolução de pontuações à medida que os agentes são atualizados ou lançados.

Embora algumas estruturas, como o Chatbot Arena, forneçam intervalos de confiança via reamostragem bootstrap, elas carecem de garantias de amostra finita e frequentemente abordam apenas fontes únicas de sinal. Não existe nenhuma estrutura existente que forneça garantias de cobertura livres de distribuição para pontuações de agentes, limites de incerteza composicional para pipelines de múltiplos agentes ou regras de abstenção fundamentadas quando a confiança na avaliação é baixa.

2. Metodologia: A Estrutura AgentPulse

Os autores propõem o AgentPulse, uma estrutura de avaliação contínua que trata a incerteza como uma saída de primeira classe. O sistema avalia 50 agentes usando uma pontuação composta de quatro fatores ($AP$) coletada diariamente de 19 fontes de dados:
$$AP(a) = 0.35 B(a) + 0.25 A(a) + 0.20 S(a) + 0.20 E(a)$$
Onde $B$ é o desempenho em Benchmark, $A$ é a Adoção (estrelas no GitHub, downloads), $S$ é o Sentimento (agregado de 9 plataformas) e $E$ é a saúde do Ecossistema.

A estrutura emprega quatro pilares metodológicos centrais:

2.1 Previsão Livre de Distribuição (Conformal Split e ACI)

Para prever pontuações $h$ horas à frente, o sistema utiliza um modelo de reversão à média. Para garantir cobertura sem assumir uma distribuição de dados específica:

• Previsão Conformal Split: O histórico de pontuação é dividido em treinamento (70%) e calibração (30%). Pontuações de não conformidade são calculadas e um quantil $\hat{q}_{1-\alpha}$ é selecionado para construir intervalos $C_{1-\alpha}$. Isso garante $\Pr[AP_{t+h} \in C_{1-\alpha}] \ge 1-\alpha$ sob trocabilidade.
• Inferência Conformal Adaptativa (ACI): Para lidar com deslocamentos de distribuição causados por lançamentos de agentes (violando a trocabilidade), a ACI ajusta o nível de não cobertura $\alpha_t$ online. Se uma observação cair fora do intervalo, $\alpha$ é aumentado, alargando o intervalo até que a cobertura seja restaurada.

2.2 Cobertura Condicional (Conformal Mondrian)

A previsão conformal padrão fornece cobertura marginal (média sobre todos os agentes), o que pode mascarar desempenho ruim para agentes específicos voláteis. Os autores implementam previsão conformal Mondrian, estratificando agentes em grupos "estáveis" e "voláteis" com base no desvio padrão entre fontes ($\sigma_{cross}$). Conjuntos de calibração e quantis separados são calculados para cada grupo, garantindo garantias de cobertura condicional para agentes voláteis que, de outra forma, falhariam sob métodos padrão.

2.3 Incerteza Composicional para Pipelines

Para pipelines de múltiplos agentes ($a_1 \to a_2$), a estrutura deriva limites de incerteza para a medição composta:

• Limite de Independência: $\sigma_{pipeline} = \sqrt{\sigma_1^2 + \sigma_2^2}$.
• Limite de Pior Caso: $\sigma_{pipeline} \le \sigma_1 + \sigma_2$.
  Esses limites são validados via simulação através de correlações inter-etapa $\rho \in [-0.5, 0.9]$.

2.4 Abstenção Seletiva e Controle de FDR

Para gerenciar a confiabilidade da classificação:

• Abstenção Conformal: Para comparações pareadas, se o intervalo de confiança para a diferença de pontuação $\Delta_{ab}$ contiver zero, o sistema absteve-se de classificar. Isso controla a taxa de classificação falsa.
• Correção FDR: Para testes múltiplos em escala de leaderboard (1.225 pares), o procedimento de Benjamini-Hochberg (BH) é aplicado para controlar a Taxa de Descoberta Falsa (FDR), garantindo que a fração de pares ordenados incorretamente entre todos os pares classificados permaneça abaixo de um limiar alvo.

3. Resultados Principais

3.1 Calibração e Cobertura

• Erro de Calibração: Intervalos conformal alcançaram erros de calibração abaixo de 0,02 em todos os níveis nominais no horizonte de 24 horas.
• Comparação com Paramétrico/Bootstrap: Intervalos paramétricos foram sistematicamente excessivamente conservadores (mais largos do que o necessário). Intervalos bootstrap foram moderadamente excessivamente conservadores em horizontes curtos, mas subcobriram (74% de cobertura vs. 80% nominal) em 72 horas devido à não estacionariedade temporal. Métodos conformal mantiveram cobertura robusta (79% em 72h).
• Resposta Adaptativa: Após lançamentos de agentes, a ACI alargou corretamente os intervalos em 35% dentro de 6 horas e reconvergiu ao longo de 48 horas, enquanto métodos estáticos sofreram quedas de cobertura.

3.2 Melhorias na Cobertura Condicional

• Agentes Voláteis: Sob previsão conformal padrão, agentes voláteis (alto $\sigma_{cross}$) tiveram uma cobertura média de 64,6% (11 de 15 agentes abaixo de 75%).
• Correção Mondrian: Ao estratificar agentes, o conformal Mondrian elevou a cobertura para agentes voláteis para 80,4% (apenas 2 de 15 abaixo de 75%), ao custo de intervalos mais largos para esse grupo específico.
• Distribuição Geral: A cobertura média por agente entre 50 agentes foi de 80,4%, com 90% dos agentes caindo na faixa [72%, 90%].

3.3 Estabilidade de Pipeline e Classificação

• Limites de Pipeline: Simulações confirmaram que a incerteza real do pipeline cai entre os limites de independência e pior caso para correlações positivas.
• Taxas de Abstenção: Em $\alpha=0,20$, 31% dos pares acionaram abstenção. Após correção BH para controle de FDR, 50% dos pares foram classificados com confiança, com o restante sinalizado como incerto.
• Divergência de Sinal: A divergência de sentimento entre fontes foi um forte preditor de instabilidade na classificação ($r=0,64, p<0,01$).

3.4 Validação

• Validade Preditiva: Um subcomposto excluindo sinais do GitHub previu estrelas no GitHub ($\rho_s=0,52$) e perguntas no Stack Overflow ($\rho_s=0,49$).
• Controle de Circularidade: A validação confirmou que a estrutura captura sinais além de benchmarks padrão ($\rho_s=0,52, p<0,01, n=35$).
• Mudanças de Classificação: A classificação composta diferiu significativamente das classificações baseadas apenas em benchmarks, particularmente para agentes com alta adoção, mas pontuações de benchmark mais baixas, ou agentes de código fechado com sinais de adoção zero.

4. Significado e Alegações

O artigo alega que o AgentPulse aborda uma lacuna crítica na avaliação de IA ao fornecer a primeira estrutura para oferecer garantias de cobertura livres de distribuição para avaliação contínua e multissource de agentes.

Os autores enfatizam que sua contribuição não é a invenção da previsão conformal split em si, mas sua aplicação rigorosa a um domínio caracterizado por quatro desafios distintos:

1. Violações Estruturadas de Trocabilidade: Abordadas via ACI para lidar com lançamentos de agentes.
2. Falha de Cobertura Condicional: Abordada via conformal Mondrian com estratificação por $\sigma_{cross}$, melhorando significativamente a confiabilidade para agentes voláteis.
3. Estrutura Composicional: Abordada via limites de propagação de incerteza validados para pipelines.
4. Testes Múltiplos em Escala de Leaderboard: Abordados via abstenção controlada por FDR.

O trabalho demonstra que métodos livres de distribuição superam abordagens de reamostragem padrão (bootstrap) sob não estacionariedade temporal. Ao tratar a incerteza como uma saída primária, a estrutura permite uma avaliação mais confiável, dinâmica e matizada de agentes de IA, indo além de estimativas pontuais estáticas para uma compreensão probabilística da qualidade do agente.

Limitações reconhecidas pelos autores:

• A ACI assume deslocamentos de distribuição limitados; mudanças de regime ilimitadas podem violar a convergência.
• Limites composicionais podem ser anti-conservadores sob correlação inter-etapa negativa.
• O controle de FDR assume independência ou dependência de regressão positiva entre estatísticas de teste.
• O estudo de ablação ($n=11$) teve poder estatístico insuficiente.
• O processamento atual de NLP é apenas em inglês, e agentes de código fechado carecem de sinais de adoção.