Resumo Técnico: AuditRepairBench

Declaração do Problema

O artigo identifica um modo de falha específico em rankings de agentes de reparo: Instabilidade de Classificação no Canal Avaliador. Embora a estabilidade de benchmarks seja frequentemente atribuída a ruído genérico do avaliador ou à imprevisibilidade de "LLM como juiz", os autores demonstram que uma parcela mensurável de reordenação de rankings ocorre quando sistemas de reparo de agentes consultam sinais derivados do avaliador (por exemplo, tokens de fundamentação do juiz, confiança da veredito, logits de reclassificação) durante sua seleção interna de reparos candidatos.

Quando a configuração do avaliador muda (por exemplo, trocando o modelo do juiz ou a regra de agregação), agentes que acoplam sua lógica de seleção interna a essas saídas específicas do avaliador experimentam deslocamento significativo de classificação. Isso é distinto da instabilidade genérica; trata-se de um acoplamento arquitetônico entre o seletor do agente e o avaliador. Os benchmarks e metodologias de avaliação atuais não isolam esse canal de interação específico, tornando difícil distinguir entre melhorias genuínas de reparo e artefatos de vazamento de sinal específico do avaliador.

Metodologia

Os autores introduzem o AuditRepairBench, um corpus de rastros de execução emparelhada e uma arquitetura de triagem modular projetada para operacionalizar e medir essa instabilidade.

1. Definição do Corpus

O recurso é um produto cartesiano de:

• 60 Sistemas de Agentes: Abrangendo cinco famílias de métodos (planejar-executar, ferramenta-shell, refinamento iterativo, exploração autônoma, debate multiagente).
• 80 Tarefas: De 8 famílias de tarefas.
• 6 Famílias de Avaliadores: Incluindo LLMs proprietários, LLMs de pesos abertos e avaliadores baseados em regras com diversas regras de agregação.
• Intervenções: 5 famílias de intervenções registradas.
• Escala: 576.000 células de rastro registradas, com 96.000 executadas como rastros emparelhados. Um subconjunto "Lite" de 12.000 células serve como principal ponto de entrada de baixo custo.

2. Objetivo Operacional e Métricas

A métrica central é o funcional de inversão em nível de célula ($\hat{q}(x)$), uma expectativa posterior que representa a probabilidade de uma intervenção (bloqueando o caminho avaliador-seletor) alterar o vencedor de uma seleção de reparo.

• Intervenção: Um operador de "cegueira" zera os recursos derivados do avaliador na fronteira de entrada do seletor, mantendo o avaliador final e o restante do pipeline fixos.
• Saída: Um rótulo de valor de conjunto ($L(x)$) indicando se o sistema está acoplado (deslocamento de classificação > limite), não acoplado ou ambíguo.
• Ranking: Um ranking de valor de conjunto que fornece intervalos de classificação em vez de estimativas pontuais, considerando a incerteza da triagem.

3. Arquitetura de Triagem Modular

Para evitar vincular o benchmark a um único modelo aprendido, a decisão de triagem é feita por meio de um empilhamento logístico calibrado de quatro implementações heterogêneas:

1. Proxy de Influência Aprendida: Um MLP analisando embeddings do estado do seletor (pesos de atenção, magnitudes de ativação) para estimar a influência do caminho.
2. Razão de Exposição do Canal Baseada em Regras: Uma ferramenta de análise de programa estática/dinâmica calculando a razão de tokens derivados do avaliador que entram na entrada do seletor sem qualquer modelo treinado.
3. Proxy de Sensibilidade Contrafactual: Computa efeitos de mascaramento de entrada local usando divergência de Kullback-Leibler e taxas de inversão de argmax.
4. Proxy de Auditoria Humana Esparsa: Uma árvore de decisão com gradiente treinada em um pequeno subconjunto de casos auditados por humanos, propagando decisões para células não alcançadas.

4. Estratégia de Validação

O artigo emprega um protocolo de validação multicamadas:

• Validação Ancorada em Mecanismo: 80 casos de "cirurgia de canal" em nível de fonte onde o código é explicitamente modificado para bloquear caminhos, verificados por julgamentos de dupla auditoria.
• Descoberta Independente: Dois grupos de anotadores, separados dos desenvolvedores do pipeline, descobrem padrões de acoplamento sob um protocolo cego.
• Transferência Direta: Avaliação em regimes externos (diferentes famílias de avaliadores, retenções temporais, subconjuntos entre plataformas) para avaliar a generalizabilidade.
• Propagação de Incerteza: Um bootstrap hierárquico propaga a incerteza das implementações de triagem, sementes de modelo e limites para garantir 95% de cobertura dos intervalos de classificação.

Resultados Chave

1. Desempenho de Detecção

• Subconjunto de Cirurgia: A triagem em conjunto alcança um AUROC de bloqueio de caminho de 0,96 nos 80 casos de cirurgia em nível de fonte.
• Descoberta Independente: Em 79 casos descobertos por grupos independentes (incluindo novos tipos de acoplamento como "eco de recompensa de memória" e "vazamento de entropia de veredito"), o conjunto congelado atinge um AUROC agrupado de 0,83.
• Categorias Retidas: Em 180 categorias de acoplamento retidas de bases de código públicas, o AUROC agrupado é de 0,88.
• Falsos Positivos: O conjunto mantém uma baixa taxa de falsos positivos (0,07) em controles negativos (intervenções que alteram vencedores, mas não são mediadas pelo avaliador), superando significativamente detectores ingênuos de mudança de vencedor.

2. Transferência Direta e Estabilidade

• A pontuação de triagem demonstra transferência direta fraca a moderada para regimes externos, com Spearman $\rho$ agrupado variando de 0,62 a 0,76, dependendo da severidade da mudança.
• O sinal degrada-se graciosamente à medida que as mudanças se tornam mais externas (por exemplo, de mudanças de protocolo para mudanças entre plataformas), consistente com um instrumento de diagnóstico delimitado em vez de um preditor universal.
• Calibração de Confiança: O artigo fornece níveis de confiança estratificados com base na "completude do gancho" (observabilidade). Para sistemas com completude de gancho $\ge 0,90$, a transferência externa $\rho$ atinge 0,74; para menor observabilidade, cai para 0,44.

3. Acionabilidade e Reparo

• Reparo Direcionado: Correções de cegueira guiadas por triagem (menos de 50 linhas de código) reduzem o deslocamento de classificação em 55–74% (média de 62%) com impacto negligenciável na precisão da tarefa.
• Comparação: Em contraste, o re-treinamento genérico reduz o deslocamento em no máximo 13%, e a cegueira aleatória de canal em no máximo 7%. A cegueira universal de canal reduz o deslocamento em 44%, mas causa degradação significativa na precisão da tarefa (média de -5,1% na taxa de aprovação).

4. Eficiência

• AuditRepairBench-Lite: Uma configuração apenas baseada em regras no subconjunto de 12.000 células preserva a classificação completa do ranking em Kendall $\tau = 0,88$, exigindo apenas 22 horas de GPU (vs. 2.400 para o benchmark completo) e nenhum modelo treinado.

Significado e Alegações

O artigo posiciona o AuditRepairBench não como um benchmark de propósito geral para classificar o desempenho de agentes, mas como um instrumento de diagnóstico para um modo de falha específico.

• Escopo Operacional: O recurso restringe explicitamente suas alegações a "completude do gancho" (cobertura estática de AST e taint dinâmico) de pelo menos 0,80. Não alega recuperar construtos causais latentes ou certificar mecanismos universalmente.
• Interpretabilidade do Mecanismo: O valor principal não é apenas a pontuação de previsão, mas a capacidade de identificar o canal de acoplamento específico (por exemplo, "leitura de tokens de fundamentação"), permitindo reparos direcionados e de baixo custo que correções de instabilidade genérica não conseguem alcançar.
• Validação Pluralista: Ao usar uma arquitetura modular com implementações heterogêneas e protocolos de descoberta independentes, o artigo argumenta que a identidade do benchmark é o protocolo e a posterior, e não um único modelo aprendido, reduzindo assim o risco de sobreajuste a um artefato de medição específico.
• Modéstia: Os autores afirmam explicitamente que o sinal de transferência direta é "fraco a moderado" e que o recurso não alega validade prospectiva forte. O objetivo é fornecer uma base estável e auditável para entender o acoplamento avaliador-seletor, em vez de um classificador definitivo para todos os sistemas de agentes.

Em resumo, o AuditRepairBench fornece o primeiro quadro operacional para medir, validar e reparar a instabilidade específica causada por agentes que dependem excessivamente de sinais derivados do avaliador, oferecendo um caminho para rankings de reparo de agentes mais robustos e transparentes.