Technische Samenvatting: Gestagneerd, Bevooroordeeld en Verward: Het Blootleggen van Redeneerfouten in LLM's voor Cloud-gebaseerde Root Cause Analysis

Probleemdefinitie

Root Cause Analysis (RCA) is cruciaal voor het handhaven van de betrouwbaarheid in moderne cloud-native, microservice-gebaseerde systemen. De gedistribueerde en onderling afhankelijke aard van deze systemen bemoeilijkt diagnose echter, met name bij multi-hop foutpropagatie waarbij symptomen ver verwijderd kunnen lijken van hun werkelijke oorzaken. Hoewel Large Language Models (LLM's) veelbelovend zijn voor het automatiseren van RCA door middel van algemene redeneerkracht en tool-gebruik, blijft hun praktische bruikbaarheid onduidelijk.

Bestaande benaderingen lijden onder twee primaire methodologische tekortkomingen:

1. Ondoorzichtige Redenering: Veel frameworks integreren LLM's in complexe multi-agent pipelines of zwaar ontworpen workflows. Deze verstrengeling maakt het moeilijk om te isoleren of fouten voortkomen uit de redeneerkracht van de LLM of uit perifere ontwerpkeuzes (bijv. de afhankelijkheden tussen agenten, systeem-specifieke heuristieken).
2. Gebrek aan Evaluatie van Redenering: Voorgaand werk evalueert doorgaans alleen de uiteindelijke output-accuratesse of vertrouwt op grove menselijke oordelen. Er is geen systematische, reproduceerbare en geautomatiseerde evaluatie van de kwaliteit van intermediaire redeneersporen, wat essentieel is voor het begrijpen van multi-hop foutpropagatie.

Gevolgelijk is er een gebrek aan empirisch begrip over de geïsoleerde redeneerkracht van LLM's in RCA, de factoren die hun prestaties beïnvloeden, en de specifieke redeneerfouten die zij vertonen.

Methodologie

De auteurs presenteren een gecontroleerde empirische evaluatie die is ontworpen om het redeneergedrag van de LLM te isoleren van verstorende factoren. De studie maakt gebruik van een vereenvoudigde experimentele setting die de LLM centraal stelt terwijl de complexiteit van multi-hop redeneren behouden blijft.

Experimenteel Framework

• Datasets: Twee real-world microservice datasets werden gebruikt: GAIA (afgeleid van de MicroSS-applicatie) en OpenRCA (afgeleid van de Online Boutique-applicatie). Deze bieden multi-modale telemetriegegevens (logs, metrics, traces).
• Inputverwerking:
  • Alert Extractie: Ruwe telemetrie wordt verwerkt met behulp van feature fusion. Logs worden geparst (Drain), traces worden geanalyseerd op anomalieën (Isolation Forest), en metrics worden geflagd met de 3-sigma regel.
  • Alert Unificatie: Alerts worden verenigd via tijdgebaseerde of elementgebaseerde strategieën om een consistente inputrepresentatie te creëren.
  • Knowledge Graph (KG): Een expliciete, getypeerde KG wordt geconstrueerd uit architecturale documentatie en manifests, waarbij entiteiten (services, hosts) en relaties (control flow, data flow, deployment) worden gecodeerd. Dit dient als de grondwaarheid voor de systeemtaytopologie.
• Agent Workflows: Zes open-source LLM's (waaronder Llama 3.2/3.3, Qwen 3, Command R+, en DeepSeek-R1) werden geëvalueerd onder drie verschillende paradigma's:
  1. Straight-Shot (Niet-agentisch): De LLM ontvangt alle inputs en geeft in één pass een diagnose terug.
  2. ReAct: De LLM wisselt redeneren af met tool-aanroepen (Thought-Action-Observation loop).
  3. Plan-and-Execute: De LLM genereert een hoogwaardig plan, voert stappen sequentieel uit en plant opnieuw op basis van resultaten.
• Tools: De LLM's kregen toegang tot deterministische, semantisch minimalistische tools voor datainspectie en graaf-traversal (bijv. het ophalen van $r$-hop buren). Directe toegang tot de ruwe KG of code-executie werd beperkt om ervoor te zorgen dat redenering de primaire variabele was.

Evaluatiemetrieken

• Output Kwaliteit: Gemeten via Location Accuracy (LA), Type Accuracy (TA), Hypothesis Accuracy (HA), en Propagation Path Validity (PA) bij top-$k$ ($k=1, 3$).
• Redeneerkwaliteit: Een nieuw LLM-as-a-Judge benadering werd ingezet om inferentie-sporen te annoteren. Een taxonomie van 16 Redeneerfouten (RF's) werd ontwikkeld via open coding en iteratieve verfijning (met deelname van menselijke en LLM-annotatie). Fouten werden gecategoriseerd in:
  • Procedureel: Problemen in de beslissings-tot-actie loop (bijv. falen om overtuiging bij te werken, repetitie).
  • RCA-specifiek: Domeinfouten (bijv. interpretatie van metrics, fouten in herkomst/provenance).
  • Algemeen: Logische drogredenen, ononderbouwde causale verbanden en interne tegenstrijdigheden.
• Schaal: De studie voerde 48.000 gesimuleerde faalscenario's uit, wat in totaal 228 dagen aan executietijd betekende.

Belangrijkste Resultaten

1. Effectiviteit van LLM Agents (RQ1)

• Geen One-Size-Fits-All: Modelprestaties zijn taakspecifiek. Qwen 3 (32B) behaalde de hoogste algehele hypothese-accuratesse, terwijl Llama 3.3 uitblonk in de reconstructie van propagatiepaden. Kleinere modellen (bijv. Llama 3.2, Qwen 3 4B) presteerden competitief in eenvoudige workflows, maar degradeerden significant in complexe agentische settings.
• Verminderde Meeropbrengst van Agentische Workflows: In tegenstelling tot de hypothese dat agentische workflows de prestaties verbeteren, presteerde Straight-Shot vaak gelijk aan of beter dan ReAct en Plan-and-Execute op het gebied van LA, TA en HA. Voor kleinere modellen leidde verhoogde workflowcomplexiteit tot prestatiedalingen, soms zelfs onder het niveau van willekeurige gokken.
• Padvaliditeit: Agentische workflows verbeterden de Propagation Path Validity (PA) voor capabele modellen (bijv. Llama 3.3), wat suggereert dat ze beter geworteld zijn in de systeemcontext, maar dit voordeel was afhankelijk van het vermogen van het model om betrouwbaar tool-aanroepen te plannen en uit te voeren.
• Executiefouten: Kleine modellen leden onder hoge foutpercentages in de uitvoering (bijv. 87,3% voor Qwen 3 4B in Plan-and-Execute) door recursielimieten en herplanningsfouten, wat de end-to-end bruikbaarheid ernstig beperkte.

2. Gevoeligheid voor Alert Modaliteiten (RQ2)

• Metrics zijn Cruciaal voor Lokalisatie: Het achterhouden van metric-data veroorzaakte de grootste daling in lokalisatie-accuratesse (LA), wat aangeeft dat LLM's sterk vertrouwen op metric-anomalieën om foutlocaties te identificeren.
• Logs zijn Cruciaal voor Fouttypering: Het uitsluiten van logs verslechterde primair de fout-type attributie (TA), wat suggereert dat tekstuele alerts essentiële semantische aanwijzingen bieden voor foutclassificatie.
• Traces als Afleiding: Verrassend genoeg verbeterde het uitsluiten van traces vaak de accuratesse. De auteurs stelden vast dat trace-alerts vaak ruisachtig en volumineus waren, waardoor LLM's zich op aanroeprelaties concentreerden terwijl ze andere kritieke afhankelijkheden (bijv. deployment) negeerden. Het verwijderen ervan leidde tot een meer gefocuste analyse, geworteld in de KG.

3. Redeneerfouten (RQ3)

• Alomtegenwoordige Fouten: Redeneerfouten waren wijdverspreid over alle modellen.
• Procedurele Instabiliteit: Procedurele fouten (bijv. falen om overtuiging bij te werken, excessieve speculatie) varieerden aanzienlijk per model en workflow, waarbij kleinere modellen een hogere instabiliteit vertoonden onder agentische controle.
• RCA-specifieke Tekortkomingen: Fouten gerelateerd aan domeinkennis (bijv. interpretatie van metrics, provenance) waren consistent over de modellen heen, wat wijst op een gebrek aan inherente RCA-specifieke redeneerkracht.
• Algemene Zwakheden: Algemene fouten per hypothese (bijv. gefabriceerde bewijslast, onvoldoende bewijs) hadden de hoogste gemiddelde prevalentie, wat suggereert dat hypothese-claims frequent zwak onderbouwd zijn.

4. Impact van Fouten op Correctheid (RQ4)

• Negatieve Voorspellers: De aanwezigheid van specifieke redeneerfouten — met name anchoring bias (RF-13), repetitie/gestagneerde voortgang (RF-12), willekeurige bewijsvoering (RF-07) en falen om overtuiging bij te werken (RF-09) — was sterk geassocieerd met verminderde correctheid (Risk Difference < -0,15).
• Interactie met Workflow: Hoewel agentische workflows een kleinere absolute risk difference per fout lieten zien (wat suggereert dat iteratieve redenering de impact van individuele fouten kan verwateren), droeg de co-occurrence van meerdere fouten en vroege fout-stapeling in agentische sporen bij aan een netto verlies aan accuratesse.
• Verschillen tussen Modellen: "Denkende" modellen (bijv. Qwen) vertoonden een lagere prevalentie van kruisende fouten vergeleken met anderen, wat suggereert dat de trainingsstijl de redeneercoherentie meer beïnvloedt dan de workflowstructuur alleen.

Betekenis en Bijdragen

Het artikel claimt de eerste empirische studie te zijn naar de geïsoleerde redeneerkracht van LLM-gebaseerde RCA-agents en hun specifieke foutmodi. De primaire bijdragen zijn:

1. Een Gecontroleerd Evaluatieframework: Een methodologie die de LLM-redenering isoleert van frameworkcomplexiteit, wat een transparante beoordeling van redeneerkracht mogelijk maakt, onafhankelijk van multi-agent verstrengeling.
2. Een Redeneerfout-Taxonomie: Een gelabelde taxonomie van 16 veelvoorkomende RCA-redeneerfouten, gecategoriseerd in procedurele, RCA-specifieke en algemene typen, afgeleid via een rigoureus mixed-methods proces.
3. Geautomatiseerde Evaluatie van Redenering: Een LLM-as-a-Judge systeem dat in staat is de kwaliteit van RCA-redenering automatisch en reproduceerbaar te beoordelen, gevalideerd door menselijke betrouwbaarheidstests.
4. Empirische Inzichten: Uitgebreide resultaten (48.000 samples) die de gevoeligheid van LLM's voor input-modaliteiten kwantificeren en specifieke redeneerfouten identificeren die de uiteindelijke correctheid voorspellen.

De auteurs concluderen dat hoewel vereenvoudigde settings de RCA-taak niet trivialiseren, huidige open-source LLM's moeite hebben met multi-hop redeneren, vooral in complexe agentische workflows. Vooruitgang in geautomatiseerde RCA zal waarschijnlijk vereisen dat specifieke redeneercapaciteiten worden verbeterd (bijv. checks op bewijsvoering, diversificatie van hypothesen) en dat er expliciete domeingestuurde begeleiding wordt geboden, in plaats van enkel te vertrouals op agentische structuren. Het werk vormt een fundament voor de ontwikkeling van RCA-agents die niet alleen geautomatiseerd zijn, maar ook interpreteerbaar en afgestemd op de praktische eisen van foutdiagnose.