💻 computer science

Pooled Leaderboards Hide System-Specific Winners: A Reporting-Protocol Audit of Offline Root-Cause Analysis Benchmarks

Este artigo audita benchmarks de análise de causa raiz offline para demonstrar que confiar em classificações de acurácia top-1 agregadas é enganoso porque obscurece variações significativas de desempenho específicas de cada sistema, frequentemente levando engenheiros a selecionar métodos subótimos para seus subsistemas específicos.

Autores originais: Lining Hu, Ting Liu, Yuzhuo Fu

Publicado 2026-06-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Lining Hu, Ting Liu, Yuzhuo Fu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que eu sou um mecânico de carros tentando descobrir qual marca de vela de ignição é a "melhor" para o meu carro específico.

A Situação Atual: O "Ranking" da Média
Atualmente, pesquisadores que testam ferramentas de análise de causa raiz (RCA) — softwares que ajudam engenheiros a descobrir por que um sistema de computador travou — agem como uma revista de carros que testa 11 modelos diferentes (um sedan minúsculo, uma caminhonete pesada, um carro de corrida, etc.). Eles rodam todas as velas de ignição em todos os 11 carros, misturam todos os resultados e calculam uma única "pontuação média".

Se a Vela A tem uma pontuação média de 85% e a Vela B tem 80%, a revista declara a Vela A a vencedora.

Engenheiros que leem essa revista assumem: "Ok, a Vela A é a melhor, então vou comprá-la para o meu caminhão específico".

O Problema: A Armadilha do "Tamanho Único"
Este artigo argumenta que essa "pontuação média" é uma mentira perigosa. É como dizer que uma prancha de snowboard é o "melhor" equipamento de esportes de inverno porque ela teve uma média perfeita entre esqui, surfe e skate.

Os autores auditaram três grandes "revistas" (benchmarks) que cobrem 11 sistemas de computador diferentes (subsistemas). Eles descobriram que:

O vencedor muda dependendo do carro. Em alguns sistemas (como um sistema de "Banco"), a Vela A foi ótima. Em outros (como um sistema de "Loja de Meias"), a Vela A foi terrível, e a Vela B foi a vencedora clara.
A "média" esconde o caos. Quando você mistura os resultados, o desempenho ruim em alguns sistemas cancela o bom desempenho em outros, criando um número único que parece estável, mas é, na verdade, enganoso.
Seguir a média leva a erros. Se você escolher o "vencedor da média" para o seu sistema específico, pode acabar escolhendo a ferramenta que tem o pior desempenho para o seu trabalho específico. Em um caso, seguir a recomendação da média levou a uma queda de 24,8% no desempenho em comparação com a escolha da ferramenta certa para aquele trabalho específico.

A Analogia: O "Médico Universal"
Pense nessas ferramentas de RCA como médicos.

O Ranking Agrupado diz: "O Dr. Smith é o melhor médico no geral porque curou 60% dos pacientes em todas as 11 doenças diferentes."
A Realidade: O Dr. Smith é incrível tratando gripe, mas terrível tratando ossos quebrados. O Dr. Jones é o oposto.
A Auditoria: Os autores analisaram os dados e perceberam que, se você tem um osso quebrado (um subsistema específico), o "vencedor geral" (Dr. Smith) é, na verdade, a escolha errada. O "vencedor geral" só vence porque é bom em tratar as doenças que são fáceis de tratar ou muito comuns no grupo de teste.

O Que Eles Fizeram?
Os autores não inventaram uma nova vela de ignição ou um novo médico. Em vez disso, eles construíram uma ferramenta de auditoria de relatório (um módulo de software de 320 linhas).

Eles pegaram os resultados dos testes existentes e os decomporam. Em vez de apenas mostrar um grande número, eles mostraram:

Como cada ferramenta se saiu em cada sistema específico.
O quanto o desempenho variou (heterogeneidade).
Uma "pontuação de arrependimento" (regret score): Se você escolhesse o "vencedor da média" para um sistema específico, o quanto você perderia?

Os Resultados
Eles testaram quatro ferramentas diferentes (incluindo uma popular chamada BARO e algumas regras simples e básicas). Eles descobriram que nenhuma ferramenta única foi a vencedora para todos os 11 sistemas.

Às vezes a Ferramenta A vencia a Ferramenta B.
Às vezes a Ferramenta B vencia a Ferramenta A.
Às vezes a diferença era enorme (como 30% melhor ou pior).
O ranking "médio" era completamente diferente do ranking do "sistema específico".

A Conclusão
O artigo conclui que precisamos parar de tratar esses rankings de "média" como uma recomendação para trabalhos específicos.

Para os Escritores de Revistas (Autores de Benchmarks): Não deem apenas um número. Mostrem a decomposição para cada sistema e admitam quando uma ferramenta é boa apenas para tipos específicos de problemas.
Para os Mecânicos (Engenheiros): Não escolham apenas a ferramenta com a maior pontuação média. Olhem para a decomposição para ver se aquela ferramenta realmente funciona para o seu sistema específico.

O Que Eles NÃO Disseram

Eles não disseram que uma ferramenta é "ruim" e outra é "boa". Ambas as ferramentas têm seu lugar; depende apenas do sistema.
Eles não propuseram um novo algoritmo de IA para corrigir isso. Eles propuseram uma nova forma de relatar os resultados para que as pessoas não sejam enganadas pelas médias.
Eles não testaram isso em sistemas vivos e em tempo real onde o software está constantemente conversando com a internet (agentes de loop fechado); eles apenas analisaram dados de testes offline onde os resultados já estavam registrados.

Em resumo: Médias são ótimas para resumir um grupo, mas terríveis para tomar decisões sobre indivíduos. Se você quer consertar um sistema de computador específico, precisa saber qual ferramenta funciona para aquele sistema, não qual ferramenta vence o concurso da "média".

Resumo Técnico: Leaderboards Agregados Ocultam Vencedores Específicos de Sistemas

Definição do Problema
Os benchmarks de análise de causa raiz (RCA) offline atualmente classificam métodos usando uma única pontuação de acurácia "top-1 agregada", derivada da média do desempenho em múltiplos subsistemas de microsserviços. Engenheiros frequentemente interpretam o "vencedor agregado" como uma recomendação para seu subsistema específico. Este artigo identifica um descompasso de estimando fundamental: a pontuação agregada responde como um método performa em média através de um conjunto, enquanto engenheiros precisam saber se um método funciona para seu grafo de serviço, esquema de telemetria e distribuição de falhas específicos. Os autores argumentem que, quando o desempenho do método varia significamente entre os subsistemas (heterogeneidade), a pontuação agregada torna-se uma métrica enganosa para a seleção em nível de subsistema, podendo ocultar casos onde um método com classificação inferior é, na verdade, superior para um sistema específico.

Metodologia e Escopo
Os autores conduzem uma auditoria de protocolo de relatório em três famílias de benchmarks de RCA offline: OpenRCA, RCAEval e PetShop. A auditoria cobre 11 subsistemas e 778 unidades de pontuação correspondentes.

Para garantir comparações pareadas válidas, o estudo aplica um critério de inclusão de cobertura total estrito: um método ou comparador é incluído apenas se produzir uma pontuação para cada um dos 778 casos em todos os 11 subsistemas. Isso evita que conclusões sejam impulsionadas por padrões de dados ausentes. Os quatro métodos/comparadores que atendem a este critério são:

BARO: Um método estatístico de RCA publicado baseado em detecção de mudança online Bayesiana multivariada.
CD-1min: Um adaptador determinístico construído sobre o pipeline do OpenRCA, reamostrando a telemetria para uma resolução de 1 minuto e classificando serviços por porcentagem de mudança.
max-|Z|: Uma heurística agnóstica a esquema que seleciona o serviço associado à métrica com o valor absoluto de Z-score máximo na janela pós-injeção.
Per-service alert-count: Uma heurística que conta métricas com $|Z| > 3$ por serviço e seleciona o serviço com a contagem mais alta.

A análise emprega técnicas padrão de meta-análise de efeitos aleatórios (Cochran's Q, DerSimonian-Laird, Paule-Mandel $\tau^2$ ) e correções para pequenas amostras (Hartung-Knapp-Sidik-Jonkman). As principais métricas de diagnóstico incluem:

Efeitos de Subsistema Pareados ( $\Delta_s$ ): A diferença na acurácia entre dois métodos para um subsistema específico.
Intervalos de Predição (PI): Intervalos de 95% que estimam o intervalo de efeitos em um novo subsistema não visto.
Arrependimento Leave-One-System-Out (LOSO): O custo de desempenho incorrido quando o vencedor agregado (selecionado de 10 sistemas) é aplicado ao 11º sistema retido.
Testes de Interação: Testes de razão de verossimilhança para determinar se o desempenho do método é intercambiável entre sistemas.

Resultos Principais
A auditoria revela que nenhum par de métodos de cobertura total mantém um sinal estável de superioridade em todos os subsistemas.

Inversões de Sinal: Todas as seis comparações pareadas entre os quatro métodos exibem efeitos tanto positivos quanto negativos em diferentes subsistemas. Por exemplo, o BARO é o perdedor agregado contra o max-|Z| no geral, mas supera-o nos subsistemas Bank, High-Traffic e Online-Boutique. Inversamente, o BARO é o vencedor agregado contra o alert-count, mas tem desempenho inferior no Market-1, Telecom, Sock-Shop e Train-Ticket.
Heterogeneidade: A heterogeneidade de efeitos aleatórios ( $I^2$ ) é substancial em todos os pares (variando de 67,0% a 92,7%). Crucialmente, todos os intervalos de predição de 95% cruzam o zero, indicando que a direção da superioridade é imprevisível para um novo subsistema.
Arrependimento de Seleção: Ao aplicar a recomendação agregada a um subsistema retido, o método "errado" é selecionado em 3 a 5 de 11 casos por comparação. O arrependimento máximo atinge 24,8 pontos percentuais (no RCAEval / Sock-Shop ao selecionar BARO sobre o alert-count).
Não-Intercambialidade: Testes de interação ao nível de caso rejeitam a hipótese de que os efeitos dos métodos são intercambiáveis entre sistemas em 5 dos 6 pares (o 6º par mostra significância marginal, mas ainda exibe reversões).
Robustez: Esses achados persistem mesmo quando removendo famílias específicas de benchmarks, subsistemas ou alterando regras de agregação. A heterogeneidade não é apenas um artefato de diferenças de protocolo entre benchmarks; as inversões de sinal também ocorrem dentro do próprio conjunto OpenRCA.

Contribuições e Alegações
O artigo não propõe um novo algoritmo de RCA ou afirma que os métodos existentes são falhos. Em vez disso, contribui com um protocolo de auditoria de relatório e um módulo de implementação de 320 linhas que recomputa verificações de estabilidade por subsistema junto com as pontuações agregadas.

Os autores alegam que:

Leaderboards agregados são insuficientes para a seleção em nível de subsistema. Sem diagnósticos de estabilidade, um vencedor agregado não pode ser recomendado de forma confiável para um contexto de engenharia específico.
As práticas atuais de relatório ocultam informações críticas. A agregação de pontuações em um único número obscurece o fato de que as classificações de métodos são altamente dependentes das características do subsistema específico.
A auditoria proposta é um diagnóstico necessário. Os autores fornecem uma ferramenta para computar efeitos pareados, intervalos de predição e arrependimento de seleção, argumentando que os lançamentos de benchmarks devem incluir essas métricas para qualificar quaisquer alegações de "estado da arte".

Significância e Limitações
A significância do trabalho reside na sua aplicação de rigor meta-analítico à avaliação de benchmarks de RCA offline, destacando uma falha estrutural na forma como os resultados são consumidos pela comunidade. Os autores limitam explicitamente seu escopo a benchmarks offline com pontuação correspondente pareada (OpenRCA, RCAEval, PetShop). Eles não avaliam benchmarks de agentes de loop fechado ou testbeds de sistema único ad-hoc, pois estes carecem da pontuação padronizada e correspondente necessária para seus estimadores de efeito pareado. O artigo conclui que, até que os lançamentos de benchmarks incluam o relatório por subsistema com estatísticas de heterogeneidade, os leaderboards de RCA offline agregados sozinhos não justificam a seleção de métodos em nível de subsistema.

Mais como este