💻 computer science

Pooled Leaderboards Hide System-Specific Winners: A Reporting-Protocol Audit of Offline Root-Cause Analysis Benchmarks

Dit artikel auditeert offline benchmarks voor oorzaakanalyse om aan te tonen dat het vertrouwen op gepoolde top-1 nauwkeurigheidsrangschikkingen misleidend is omdat het significante systeem-specifieke prestatievariaties verbergt, wat er vaak toe leidt dat ingenieurs suboptimale methoden selecteren voor hun specifieke subsystemen.

Oorspronkelijke auteurs: Lining Hu, Ting Liu, Yuzhuo Fu

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lining Hu, Ting Liu, Yuzhuo Fu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een automonteur bent die probeert uit te zoeken welk merk bougies het "beste" is voor jouw specifieke auto.

De Huidige Situatie: Het "Gemiddelde" Klassement
Op dit moment gedragen onderzoekers die root-cause analyse (RCA) tools testen — software die ingenieurs helpt te begrijpen waarom een computersysteem is vastgelopen — zich als een automagazine dat 11 verschillende automodellen test (een kleine sedan, een zware vrachtwagen, een racewagen, etc.). Ze draaien alle bougies op alle 11 auto's, mengen alle resultaten en berekenen één enkele "gemiddelde score".

Als Bougie A een gemiddelde score heeft van 85% en Bougie B 80%, verklaart het magazine Bougie A tot winnaar.

Ingenieurs die dit magazine lezen, gaan er dan vanuit: "Oké, Bougie A is de beste, dus ik koop deze voor mijn specifieke vrachtwagen."

Het Probleem: De "One-Size-Fits-All" Valstrik
Dit artikel betoogt dat deze "gemiddelde score" een gevaarlijke leugen is. Het is alsof je zegt dat een snowboard het "beste" wintersportmateriaal is omdat het gemiddeld perfect scoort bij skiën, surfen en skateboarden.

De auteurs hebben drie grote "magazines" (benchmarks) gecontroleerd die 11 verschillende computersystemen (subsystemen) beslaan. Ze ontdekten dat:

De winnaar verandert afhankelijk van de auto. In sommige systemen (zoals een "Bank"-systeem) was Bougie A geweldig. In andere (zoals een "Sock-Shop"-systeem) was Bougie A verschrikkelijk en was Bougie B de duidelijke winnaar.
Het "gemiddelde" verbergt de chaos. Wanneer je de resultaten mengt, heffen de slechte prestaties op de ene systemen de goede prestaties op de andere systemen op, wat een enkel getal creëert dat stabiel lijkt maar eigenlijk misleidend is.
Het volgen van het gemiddelde leidt tot fouten. Als je de "gemiddelde winnaar" kiest voor jouw specifieke systeem, kies je mogelijk de tool die het slechtst presteert voor jouw specifieke taak. In één geval leidde het volgen van de gemiddelde aanbeveling tot een daling van 24,8% in prestaties vergeleken met het kiezen van de juiste tool voor die specifieke taak.

De Analogie: De "Universele Dokter"
Beschouw deze RCA-tools als artsen.

Het Gecombineerde Klassement zegt: "Dr. Smith is de beste arts overall omdat hij 60% van de patiënten heeft behandeld over 11 verschillende ziekten."
De Realiteit: Dr. Smith is geweldig in het behandelen van griep, maar verschrikkelijk in het behandelen van botbreuken. Dr. Jones is precies het tegenovergestelde.
De Audit: De auteurs keken naar de data en realiseerden zich dat als je een botbreuk hebt (een specifiek subsysteem), de "algemene winnaar" (Dr. Smith) eigenlijk de verkeerde keuze is. De "algemene winnaar" wint alleen omdat hij goed is in de ziekten die makkelijk te behandelen zijn of veel voorkomen in de testgroep.

Wat Hebben Ze Gedaan?
De auteurs hebben geen nieuwe bougie of een nieuwe dokter uitgevonden. In plaats daarvan hebben ze een rapportage-audittool gebouwd (een softwaremodule van 320 regels).

Ze namen de bestaande testresultaten en braken deze af. In plaats van alleen één groot getal te tonen, lieten ze zien:

Hoe elke tool presteerde op elk specifiek systeem.
Hoeveel de prestaties varieerden (heterogeniteit).
Een "regret score" (spijtscore): Als je de "gemiddelde winnaar" voor een specifiek systeem koos, hoeveel slechter deed je het dan?

De Resultaten
Ze testten vier verschillende tools (waaronder een populaire tool genaamd BARO en enkele eenvoudige, basisregels). Ze kwamen tot de conclusie dat geen enkele tool de winnaar was voor alle 11 systemen.

Soms versloeg Tool A Tool B.
Soms versloeg Tool B Tool A.
Soms was het verschil enorm (zoals 30% beter of slechter).
De "gemiddelde" rangschikking was totaal anders dan de "specifieke systeem" rangschikking.

De Conclusie
Het artikel concludeert dat we moeten stoppen met deze "gemiddelde" klassementen te behanden als een aanbeveling voor specifieke taken.

Voor de Magazine Schrijvers (Benchmark Auteurs): Geef niet alleen één getal. Toon de uitsplitsing per systeem en geef toe wanneer een tool alleen goed is voor specifieke soorten problemen.
Voor de Monteurs (Ingenieurs): Kies niet zomaar de tool met de hoogste gemiddelde score. Kijk naar de uitsplitsing om te zien of die tool daadwerkelijk werkt voor jouw specifieke systeem.

Wat Ze NIET Zeiden

Ze zeiden niet dat de ene tool "slecht" is en de andere "goed". Beide tools hebben hun plek; het hangt er gewoon vanaf welk systeem het is.
Ze stelden geen nieuw AI-algoritme voor om dit op te lossen. Ze stelden een nieuwe manier van rapporteren voor, zodat mensen niet worden misleid door gemiddelden.
Ze hebben dit niet getest op live, real-time systemen waar de software constant met het internet communiceert (closed-loop agents); ze keken alleen naar offline testdata waar de resultaten al geregistreerd zijn.

Kortom: Gemiddelden zijn geweldig om een groep samen te vatten, maar verschrikkelijk om individuele beslissingen te nemen. Als je een specifiek computersysteem wilt repareren, moet je weten welke tool werkt voor dat systeem, niet welke tool wint in een "gemiddelde" wedstrijd.

Technische Samenvatting: Gepoolde Leaderboards Verbergen Systeemspecifieke Winnaars

Probleemstelling
Huidige offline root-cause-analysis (RCA) benchmarks rangschikken methoden met behulp van een enkele "gepoolde" top-1 accuratesse score, afgeleid door het gemiddelde van de prestaties over meerdere microservice-subsystemen. Ingenieurs interpreteren de "gepoolde winnaar" vaak als een aanbeveling voor hun specifieke subsystem. Dit artikel identificeert een fundamentele estimand-mismatch: de gepoolde score beantwoordt de vraag hoe een methode gemiddeld presteert over een suite, terwijl ingenieurs moeten weten of een methode werkt voor hun specifieke servicegraph, telemetrie-schema en foutdistributie. De auteurs stellen dat wanneer de prestaties van een methode sterk variëren tussen subsystemen (heterogeniteit), de gepoolde score een misleidende metriek wordt voor selectie op subsystem-niveau, waarbij het mogelijk gevallen verbergt waarin een lager gerangschikte methode feitelijk superieur is voor een specifiek systeem.

Methodologie en Reikwijdte
De auteurs voeren een audit uit op het rapportageprotocol van drie publieke offline RCA-benchmarkfamilies: OpenRCA, RCAEval en PetShop. De audit beslaat 11 subsystemen en 778 gekoppelde scoringsunits.

Om geldige paarvergelijkingen te waarborgen, past de studie een strikt full-coverage inclusiecriterium toe: een methode of comparator wordt alleen opgenomen als deze een score produceert voor elk van de 778 gevallen over alle 11 subsystemen. Dit voorkomt dat conclusies worden gedreven door patronen van ontbrekende data. De vier methoden/comparators die aan dit criterium voldoen zijn:

BARO: Een gepubliceerde statistische RCA-methode gebaseerd op multivariate Bayesiaanse online change-point detectie.
CD-1min: Een deterministische adapter gebouwd op de OpenRCA-pipeline, die telemetrie hersampled naar een resolutie van 1 minuut en services rangschikt op basis van het percentage verandering.
max-|Z|: Een schema-agnostische heuristiek die de service selecteert die geassocieerd is met de metriek met de maximale absolute Z-score in het post-injectievenster.
Per-service alert-count: Een heuristiek die het aantal metrieken telt met $|Z| > 3$ per service en de service selecteert met de hoogste telling.

De analyse maakt gebruik van standaard random-effects meta-analyse technieken (Cochran's Q, DerSimonian-Laird, Paule-Mandel $\tau^2$ ) en kleine-steekproefcorrecties (Hartung-Knapp-Sidik-Jonkman). Belangrijke diagnostische metrieken zijn onder meer:

Paired Subsystem Effects ( $\Delta_s$ ): Het verschil in accuratesse tussen twee methoden voor een specifiek subsystem.
Prediction Intervals (PI): 95% intervallen die het bereik van effecten schatten op een nieuw, onbekend subsystem.
Leave-One-System-Out (LOSO) Regret: De prestatiekosten die worden geleden wanneer de gepoolde winnaar (geselecteerd uit 10 systemen) wordt toegepast op het 11e, buitengesloten systeem.
Interaction Tests: Likelihood-ratio tests om te bepalen of de prestaties van methoden uitwisselbaar zijn over systemen.

Belangrijkste Resultaten
De audit onthult dat geen enkel full-coverage methode-paar een stabiel teken van superioriteit behoudt over alle subsystemen.

Tekenomkeringen: Alle zes de paarvergelijkingen tussen de vier methoden vertonen zowel positieve als negatieve effecten over verschillende subsystemen. Bijvoorbeeld: BARO is de gepoolde verliezer tegenover max-|Z| in totaal, maar presteert beter dan max-|Z| op de Bank, High-Traffic en Online-Boutique subsystemen. Omgekeerd is BARO de gepoolde winnaar tegenover alert-count, maar presteert het slechter op Market-1, Telecom, Sock-Shop en Train-Ticket.
Heterogeniteit: De random-effects heterogeniteit ( $I^2$ ) is aanzienlijk bij alle paren (variërend van 67,0% tot 92,7%). Cruciaal is dat elk 95% prediction interval nul kruist, wat aangeeft dat de richting van superioriteit onvoorspelbaar is voor een nieuw subsystem.
Selection Regret: Wanneer de gepoolde aanbeveling wordt toegepast op een buitengesloten subsystem, wordt de "verkeerde" methode geselecteerd in 3 tot 5 van de 11 gevallen per vergelijking. De maximale regret bereikt 24,8 procentpunten (op RCAEval / Sock-Shop bij het selecteren van BARO boven alert-count).
Niet-uitwisselbaarheid: Case-level interactietests verwerpen de hypothese dat methode-effecten uitwisselbaar zijn over systemen in 5 van de 6 paren (waarbij het 6e paar marginale significantie vertoonde, maar nog steeds omkeringen vertoonde).
Robuustheid: Deze bevindingen blijven bestaan, zelfs wanneer specifieke benchmarkfamilies, subsystemen worden verwijderd of pooling-regels worden gewijzigd. De heterogeniteit is niet louter een artefact van verschillen in cross-benchmark protocollen; tekenomkeringen komen ook binnen de OpenRCA-suite zelf voor.

Bijdragen en Claims
Het artikel stelt geen nieuwe RCA-algoritme voor en beweert niet dat bestaande methoden gebrekkig zijn. In plaats daarvan draagt het een rapportage-auditprotocol bij en een 320-regelige implementatiemodule die per-subsystem stabiliteitscontroles herberekent naast gepoolde scores.

De auteurs beweren dat:

Gepoolde leaderboards onvoldoende zijn voor selectie op subsystem-niveau. Zonder stabiliteitsdiagnostiek kan een gepoolde winnaar niet betrouwbaar worden aanbevolen voor een specifieke engineering-context.
Huidige rapportagepraktijken cruciale informatie verbergen. De aggregatie van scores in een enkel getal verhult het feit dat de rangschikking van methoden sterk afhankelijk is van de specifieke kenmerken van het subsystem.
De voorgestelde audit een noodzakelijke diagnose is. De auteurs bieden een instrument om gepaarde effecten, prediction intervals en selection regret te berekenen, en stellen dat benchmark-releases deze metrieken moeten bevatten om enige "state-of-the-art" claim te kwalificeren.

Betekenis en Beperkingen
De betekenis van het werk ligt in de toepassing van meta-analytische strengheid op de evaluatie van offline RCA-benchmarks, waarbij een structurele fout wordt blootgelegd in de manier waarop resultaten momenteel door de gemeenschap worden geconsumeerd. De auteurs beperken hun reikwijdte expliciet tot offline benchmarks met gekoppelde per-case scoring (OpenRCA, RCAEval, PetShop). Zij evalueren geen closed-loop agentic benchmarks of ad-hoc single-system testbeds, aangezien deze de gestandaardiseerde, gekoppelde scoring missen die vereist is voor hun paired-effect estimators. Het artikel concludeert dat totdat benchmark-releases per-subsystem rapportage inclusief heterogeniteit-statistieken bevatten, gepoolde offline-RCA leaderboards alleen niet voldoende zijn om selectie van methoden op subsystem-niveau te rechtvaardigen.

Meer zoals dit