Pooled Leaderboards Hide System-Specific Winners: A Reporting-Protocol Audit of Offline Root-Cause Analysis Benchmarks

Sintesi Tecnica: Le Classifiche Aggregate Nascondono i Vincitori Specifici del Sistema

Definizione del Problema
Gli attuali benchmark di root-cause-analysis (RCA) offline classificano i metodi utilizzando un singolo punteggio di accuratezza top-1 "aggregato" (pooled), derivato dalla media delle prestazioni attraverso molteplici sottosistemi di microservizi. Gli ingegneri interpretano frequentemente il "vincitore aggregato" come una raccomandazione per il proprio sottosistema specifico. Questo documento identifica un disallineamento dell'estimando (estimand mismatch) fondamentale: il punteggio aggregato risponde a come un metodo si comporta in media su una suite, mentre gli ingegneri devono sapere se un metodo funziona per il proprio specifico grafo di servizio, schema di telemetria e distribuzione dei guasti. Gli autori sostengono che quando la performance dei metodi varia significativamente tra i sottosistemi (eterogeneità), il punteggio aggregato diventa una metrica fuorviante per la selezione a livello di sottosistema, potenzialmente nascondendo casi in cui un metodo classificato più in basso è in realtà superiore per un sistema specifico.

Metodologia e Ambito
Gli autori conducono un audit del protocollo di reporting su tre famiglie di benchmark RCA offline: OpenRCA, RCAEval e PetShop. L'audit copre 11 sottosistemi e 778 unità di punteggio accoppiate.

Per garantire confronti a coppie validi, lo studio applica un rigoroso criterio di inclusione a copertura completa: un metodo o comparatore viene incluso solo se produce un punteggio per ogni singolo uno dei 778 casi attraverso tutti gli 11 sottosistemi. Ciò evita che le conclusioni siano guidate da pattern di dati mancanti. I quattro metodi/comparatori che soddisfano questo criterio sono:

1. BARO: Un metodo RCA statistico pubblicato basato sulla rilevazione online dei punti di cambiamento multivariata bayesiana.
2. CD-1min: Un adapter deterministico costruito sulla pipeline di OpenRCA, che ricampiona la telemetria a una risoluzione di 1 minuto e classifica i servizi in base alla percentuale di variazione.
3. max-|Z|: Un'euristica agnostica rispetto allo schema che seleziona il servizio associato alla metrica con il massimo valore assoluto del punteggio Z nella finestra post-iniezione.
4. Per-service alert-count: Un'euristica che conta le metriche con $|Z| > 3$ per servizio e seleziona il servizio con il conteggio più elevato.

L'analisi impiega tecniche standard di meta-analisi a effetti casuali (Cochran's Q, DerSimonian-Laird, Paule-Mandel $\tau^2$) e correzioni per piccoli campioni (Hartung-Knapp-Sidik-Jonkman). Le metriche diagnostiche chiave includono:

• Effetti di Sottosistema Accoppiati ($\Delta_s$): La differenza di accuratezza tra due metodi per un sottosistema specifico.
• Intervalli di Predizione (PI): Intervalli al 95% che stimano l'intervallo di effetti su un nuovo sottosistema non visto.
• Regret Leave-One-System-Out (LOSO): Il costo prestazionale subito quando il vincitore aggregato (selezionato da 10 sistemi) viene applicato all'undicesimo sistema tenuto fuori (held-out).
• Test di Interazione: Test di rapporto di verosimiglianza per determinare se la performance dei metodi è scambiabile tra i sistemi.

Risultati Chiave
L'audit rivela che nessuna coppia di metodi a copertura completa mantiene un segno di superiorità stabile attraverso tutti i sottosistemi.

• Inversioni di Segno: Tutti i sei confronti a coppie tra i quattro metodi esibiscono effetti sia positivi che negativi attraverso diversi sottosistemi. Ad esempio, BARO è il perdente aggregato contro max-|Z| complessivamente, ma supera quest'ultimo nei sottosistemi Bank, High-Traffic e Online-Boutique. Al contrario, BARO è il vincitore aggregato contro alert-count ma è inferiore a Market-1, Telecom, Sock-Shop e Train-Ticket.
• Eterogeneità: L'eterogeneità degli effetti casuali ($I^2$) è sostanziale in tutte le coppie (compresa tra il 67,0% e il 92,7%). Crucialmente, ogni intervallo di predizione al 95% attraversa lo zero, indicando che la direzione della superiorità è imprevedibile per un nuovo sottosistema.
• Regret di Selezione: Applicando la raccomandazione aggregata a un sottosistema tenuto fuori, il metodo "sbagliato" viene selezionato in 3 o 5 casi su 11 per ogni confronto. Il regret massimo raggiunge i 24,8 punti percentuali (su RCAEval / Sock-Shop selezionando BARO invece di alert-count).
• Non-Scambiabilità: I test di interazione a livello di caso rifiutano l'ipotesi che gli effetti dei metodi siano scambiabili tra i sistemi in 5 delle 6 coppie (la sesta coppia mostra una significatività marginale, ma presenta comunque inversioni).
• Robustezza: Questi risultati persistono anche rimuovendo specifiche famiglie di benchmark, sottosistemi o alterando le regole di aggregazione. L'eterogeneità non è un semplice artefatto delle differenze di protocollo tra i benchmark; le inversioni di segno avvengono anche all'interno della suite OpenRCA.

Contributi e Rivendicazioni
Il documento non propone un nuovo algoritmo RCA né sostiene che i metodi esistenti siano difettosi. Invece, contribuisce con un protocollo di audit del reporting e un modulo di implementazione di 320 righe che ricalcola i controlli di stabilità per sottosistema insieme ai punteggi aggregati.

Gli autori affermano che:

1. Le classifiche aggregate sono insufficienti per la selezione a livello di sottosistema. Senza diagnostica di stabilità, un vincitore aggregato non può essere raccomandato in modo affidabile per un contesto ingegneristico specifico.
2. Le attuali pratiche di reporting nascondono informazioni critiche. L'aggregazione dei punteggi in un singolo numero oscura il fatto che le classifiche dei metodi dipendono fortemente dalle caratteristiche del sottosistema specifico.
3. L'audit proposto è un diagnostico necessario. Gli autori forniscono uno strumento per calcolare gli effetti accoppiati, gli intervalli di predizione e il regret di selezione, sostenendo che i rilasci dei benchmark dovrebbero includere queste metriche per qualificare qualsiasi affermazione di "stato dell'arte".

Significatività e Limitazioni
La significatività del lavoro risiede nell'applicazione del rigore meta-analitico ai benchmark offline di RCA, evidenziando un difetto strutturale nel modo in cui i risultati vengono attualmente consumati dalla comunità. Gli autori limitano esplicitamente il loro ambito ai benchmark offline con punteggio accoppiato corrispondente (OpenRCA, RCAEval, PetShop). Non valutano benchmark agentici a ciclo chiuso o testbed singoli ad hoc, poiché mancano della standardizzazione e del punteggio corrispondente richiesti dai loro stimatori di effetto accoppiato. Il documento conclude che finché i rilasci dei benchmark non includeranno il reporting per sottosistema con statistiche di eterogeneità, le sole classifiche aggregate di RCA offline non giustificano la selezione di un metodo a livello di sottosistema.