Pooled Leaderboards Hide System-Specific Winners: A Reporting-Protocol Audit of Offline Root-Cause Analysis Benchmarks

Resumen Técnico: Las tablas de clasificación agrupadas ocultan los ganadores específicos de cada sistema

Planteamiento del problema
Los benchmarks de análisis de causa raíz (RCA) offline actualmente clasifican los métodos utilizando una única puntuación de precisión top-1 "agrupada" (pooled), derivada del promedio del rendimiento a través de múltiples subsistemas de microservicios. Los ingenieros interpretan frecuentemente al "ganador agrupado" como una recomendación para su subsistema específico. Este documento identifica un desajuste del estimando (estimand mismatch) fundamental: la puntuación agrupada responde a cómo funciona un método en promedio a través de una suite, mientras que los ingenieros necesitan saber si un método funciona para su grafo de servicio, esquema de telemetría y distribución de fallos específicos. Los autores argumentan que cuando el rendimiento de los métodos varía significativamente entre subsistemas (heterogeneidad), la puntuación agrupada se convierte en una métrica engañosa para la selección a nivel de subsistema, pudiendo ocultar casos donde un método con menor clasificación es, en realidad, superior para un sistema específico.

Metodología y alcance
Los autores llevan a cabo una auditoría del protocolo de reporte en tres familias de benchmarks de RCA offline: OpenRCA, RCAEval y PetShop. La auditoría cubre 11 subsistemas y 778 unidades de puntuación emparejadas.

Para asegurar comparaciones pareadas válidas, el estudio aplica un estricto criterio de inclusión de cobertura total: un método o comparador se incluye solo si produce una puntuación para cada uno de los 778 casos en todos los 11 subsistemas. Esto evita que las conclusiones sean impulsadas por patrones de datos faltantes. Los cuatro métodos/comparadores que cumplen este criterio son:

1. BARO: Un método estadístico de RCA publicado basado en la detección de cambios en línea bayesiana multivariante.
2. CD-1min: Un adaptador determinista construido sobre el pipeline de OpenRCA, que remuestrea la telemetría a una resolución de 1 minuto y clasifica los servicios por porcentaje de cambio.
3. max-|Z|: Un heurístico agnóstico al esquema que selecciona el servicio asociado con la métrica que posee el valor absoluto de Z máximo en la ventana post-inyección.
4. Per-service alert-count: Un heurístico que cuenta métricas con $|Z| > 3$ por servicio y selecciona el servicio con el recuento más alto.

El análisis emplea técnicas estándar de meta-análisis de efectos aleatorios (Q de Cochran, DerSimonian-Laird, Paule-Mandel $\tau^2$) y correcciones para muestras pequeñas (Hartung-Knapp-Sidik-Jonkman). Las métricas de diagnóstico clave incluyen:

• Efectos de subsistema pareados ($\Delta_s$): La diferencia en la precisión entre dos métodos para un subsistema específico.
• Intervalos de predicción (PI): Intervalos del 95% que estiman el rango de efectos en un nuevo subsistema no visto.
• Arrepentimiento de dejar un sistema fuera (LOSO Regret): El costo de rendimiento incurrido cuando el ganador agrupado (seleccionado de 10 sistemas) se aplica al 11º sistema retenido.
• Pruebas de interacción: Pruebas de razón de verosimilitud para determinar si el rendimiento de los métodos es intercambiable entre sistemas.

Resultos clave
La auditoría revela que ningún par de métodos de cobertura total mantiene un signo de superioridad estable a través de todos los subsistemas.

• Reversiones de signo: Las seis comparaciones pareadas entre los cuatro métodos exhiben efectos tanto positivos como negativos a través de diferentes subsistemas. Por ejemplo, BARO es el perdedor agrupado frente a max-|Z| en general, pero supera a este en los subsistemas Bank, High-Traffic y Online-Boutique. Por el contrario, BARO es el ganador agrupado frente a alert-count, pero rinde por debajo de este en Market-1, Telecom, Sock-Shop y Train-Ticket.
• Heterogeneidad: La heterogeneidad de efectos aleatorios ($I^2$) es sustancial en todos los pares (oscilando entre 67.0% y 92.7%). Crucialmente, cada intervalo de predicción del 95% cruza el cero, lo que indica que la dirección de la superioridad es impredecible para un nuevo subsistema.
• Arrepentimiento de selección: Al aplicar la recomendación agrupada a un subsistema retenido, se selecciona el método "incorrecto" en 3 de cada 5 casos de 11 por comparación. El arrepentimiento máximo alcanza los 24.8 puntos porcentuales (en RCAEval / Sock-Shop al seleccionar BARO sobre alert-count).
• No intercambiabilidad: Las pruebas de interacción a nivel de caso rechazan la hipótesis de que los efectos de los métodos sean intercambiables entre sistemas en 5 de los 6 pares (el 6º par muestra una significancia marginal, pero aún exhibe reversiones).
• Robustez: Estos hallazgos persisten incluso cuando se eliminan familias de benchmarks específicas, subsistemas o se alteran las reglas de agrupación. La heterogeneidad no es solo un artefacto de las diferencias de protocolo entre benchmarks; las reversiones de signo también ocurren dentro de la propia suite de OpenRCA.

Contribuciones y afirmaciones
El documento no propone un nuevo algoritmo de RCA ni afirma que los métodos existentes sean defectuosos. En su lugar, contribuye con un protocolo de auditoría de reporte y un módulo de implementación de 320 líneas que recomputa las comprobaciones de estabilidad por subsistema junto con las puntuaciones agrupadas.

Los autores afirman que:

1. Las tablas de clasificación agrupadas son insuficientes para la selección a nivel de subsistema. Sin diagnósticos de estabilidad, un ganador agrupado no puede recomendarse de manera fiable para un contexto de ingeniería específico.
2. Las prácticas de reporte actuales ocultan información crítica. La agregación de puntuaciones en un solo número oscurece el hecho de que las clasificaciones de los métodos dependen altamente de las características del subsistema específico.
3. La auditoría propuesta es un diagnóstico necesario. Los autores proporcionan una herramienta para calcular efectos pareados, intervalos de predicción y arrepentimiento de selección, argumentando que las publicaciones de benchmarks deberían incluir estas métricas para cualificar cualquier afirmación de "estado del arte".

Significancia y limitaciones
La significancia del trabajo radica en su aplicación del rigor meta-analítico a la evaluación de los benchmarks de RCA offline, resaltando un fallo estructural en la forma en que la comunidad consume los resultados. Los autores limitan explícitamente su alcance a benchmarks offline con puntuación pareada coincidente (OpenRCA, RCAEval, PetShop). No evalúan benchmarks de agentes de bucle cerrado o entornos de prueba de sistema único ad-hoc, ya que carecen de la puntuación estandarizada y coincidente requerida para sus estimadores de efecto pareado. El documento concluye que hasta que las publicaciones de los benchmarks incluyan el reporte por subsistema con estadísticas de heterogeneidad, las tablas de clasificación de RCA offline agrupadas por sí solas no justifican la selección de métodos a nivel de subsistema.