💻 computer science

MARCA: Multi-Agent Root Cause Analysis with Multi-Modal Data

Het artikel stelt MARCA voor, een multi-agent framework dat de uitdagingen van oorzaakanalyse in gedistribueerde systemen aanpakt door een controller-executor-voter architectuur te gebruiken om een hoge nauwkeurigheid en efficiëntie te bereiken, terwijl het tokengebruik wordt verminderd en gegevensprivacy wordt gewaarborgd.

Oorspronkelijke auteurs: Yidan Wang

Gepubliceerd 2026-09-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yidan Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Moderne softwaresystemen zijn niet langer enkele, monolithische machines; het zijn uitgestrekte, complexe steden van kleine, onafhankelijke programma's die microservices worden genoemd, die voortdurend met elkaar communiceren. Wanneer een deel van deze digitale stad struikelt, kan het hele netwerk tot stilstand komen, wat alles kan veroorzaken van vertraagde betalingen tot gecrashte websites. Het uitzoeken welk specifiek klein programma de instorting heeft veroorzaakt, is een taak die bekend staat als Root Cause Analysis (oorzaakanalyse). Decennialang hebben ingenieurs geprobeerd dit zoekproces te automatiseren, maar de enorme hoeveelheid gegevens—logs, prestatiecijfers en foutcodes—maakt het voor traditionele tools moeilijk om bij te blijven. Onlangs hebben krachtige computerprogramma's, bekend als Large Language Models, veelbelovende resultaten laten zien in het lezen en begrijpen van deze rommelige datastromen, vergelijkbaar met hoe een menselijke expert dat zou doen. Deze modellen worden echter geconfronteerd met hun eigen hindernissen: ze kunnen overweldigd raken door te veel informatie tegelijkertijd, ze zijn duur in gebruik, en het versturen van gevoelige bedrijfsgegevens naar externe servers roept ernstige privacyzorgen op.

Een onderzoeker aan de Universiteit van Luxemburg heeft een nieuwe aanpak ontwikkeld om deze problemen op te lossen, genaamd MARCA. In plaats van te vertrouwen op één enkel, massaal computerprogramma dat alles leest en het antwoord raadt, verdeelt MARCA de taak in een klein team van gespecialiseerde digitale werkers. Stel je een rechercheteam voor waarbij één persoon het onderzoek leidt, een ander specifieke aanwijzingen verzamelt en een derde het bewijs weegt om een definitieve beslissing te nemen. Dit team werkt samen in een lus, stelt vragen, verzamelt gegevens en verfijnt hun theorie totdat ze er zeker van zijn dat ze de werkelijke bron van de fout hebben gevonden. Door het werk te verdelen, voorkomt het systeem dat het verzandt in enorme hoeveelheden gegevens, houdt het de gevoelige informatie op lokale servers voor privacy, en gebruikt het minder rekenkracht dan eerdere methoden.

De onderzoeker testte dit multi-agent systeem op een door henzelf gebouwd gesimuleerd betalingsplatform, evenals op publieke benchmarks die door andere wetenschappers worden gebruikt. Ze injecteerden verschillende soorten fouten in het systeem, zoals het overbelasten van de processor, het vullen van het geheugen of het verbreken van netwerkverbindingen, om te zien of MARCA de boosdoener correct kon identificeren. De resultaten waren duidelijk: het nieuwe systeem vond de oorzaak correct in ongeveer 77 procent van de gevallen, een significante verbetering ten opzichte van de beste bestaande methoden, die rond de 62 procent schommelden. Het bleek ook veel beter in het onderscheiden van verschillende soorten fouten, zoals het verschil tussen een netwerkvertraging en een geheugentekort, waarbij het een hoge score in nauwkeurigheid behaalde die suggereert dat het de rommelige, overlappende signalen in echte systemen kan afhandelen.

Wat deze aanpak onderscheidt, is hoe het de informatiestroom beheert. Traditionele methoden proberen vaak alle beschikbare gegevens in één keer in een enkel model te voeren, wat het systeem kan verwarren of het kan dwingen om belangrijke details te negeren om alles binnen de grenzen te laten passen. MARCA werkt daarentegen meer als een gefocuste onderzoeker. Het begint bij het punt waar het probleem werd opgemerkt en controleert vervolgens systematisch de verbindingen die terugleiden naar de bron. Bij elke stap beslist een "controller"-agent waar het eerst naar gekeken moet worden, gebruikt een "executor"-agent gespecialiseerde tools om de relevante logs of prestatiecijfers op te halen, en een "voter"-agent combineert deze bevindingen om de lijst met verdachten bij te werken. Dit proces herhaalt zich totdat het bewijs sterk wijst naar één specifieke service. Deze methode stelt het systeem in staat om irrelevante gegevens te negeren, waardoor de taak beheersbaar en efficiënt blijft.

De studie benadrukte ook dat het simpelweg gebruiken van een krachtiger taalmodel niet voldoende is om het probleem op te lossen. Wanneer de onderzoeker hun teamgerichte aanpak vergeleek met een enkel, krachtig model dat probeert de hele taak alleen uit te voeren, presteerde het teamgerichte systeem nog steeds aanzienlijk beter. Dit suggereert dat de structuur van het onderzoek—de manier waarop de agents samenwerken, ruis wegfilteren en verschillende soorten bewijs wegen—belangrijker is dan de ruwe intelligentie van het individuele model. Het systeem is ook zo ontworpen dat het aanpasbaar is; het kan leren van eerdere fouten om aan te passen hoeveel vertrouwen het aan verschillende soorten gegevens schenkt, zoals of het meer moet vertrouwen op foutcodes of prestatiecijfers, afhankelijk van wat in eerdere scenario's het beste heeft gewerkt.

Hoewel de resultaten veelbelovend zijn, merkte de onderzoeker voorzichtig op dat er grenzen aan hun werk zijn. Het systeem vertrouwt op het hebben van een nauwkeurige kaart van hoe de services met elkaar verbonden zijn; als die kaart ontbreekt of verouderd is, kan het onderzoek van het pad af raken. Bovendien, in gevallen waarin meerdere problemen zich precies tegelijkertijd voordoen, heeft het systeem soms moeite met het scheiden van de overlappende symptomen. Echter, de kernbevinding blijft staan: door de analyse te organiseren in een collaboratief, iteratief proces, is het mogelijk om complexe softwarefouten nauwkeuriger en efficiënter te diagnosticeren dan voorheen. Deze aanpak biedt een praktische weg vooruit om grote digitale systemen soepel te laten draaien, zodat wanneer er iets misgaat, het juiste antwoord snel gevonden kan worden zonder de gegevensbeveiliging in gevaar te brengen of de rekenbronnen te overbelasten.

Technische Samenvatting: MARCA – Multi-Agent Root Cause Analysis met Multi-Modale Data

1. Probleemstelling

Root Cause Analysis (RCA) in grootschalige, gedistribueerde microservice-architecturen staat voor aanzienlijke uitdagingen door de heterogeniteit van observability-data (logs, metrics, traces, return codes) en de complexiteit van service-afhankelijkheden. Hoewel Large Language Models (LLMs) potentieel bieden voor redeneren over ongestructureerde data, wordt hun directe toepassing op RCA belemmerd door:

Contextbeperkingen: Het onvermogen om grootschalige, multi-source diagnostische data te verwerken zonder verlieslatende samenvatting, wat de nauwkeurigheid verslechtert.
Computationele Efficiëntie: Hoge inferentiekosten en latentie bij het verwerken van ruwe systeemlogs en metrics.
Data Privacy: Zorgen over het verzenden van gevoelige enterprise-data naar gesloten commerciële modellen.
Aanpasbaarheid: Bestaande single-agent of regelgebaseerde systemen worstelen met dynamische foutmodi, evoluerende dataformaten en de noodzaak van cross-modale causale redenering.

2. Methodologie

Het paper stelt MARCA voor, een Multi-Agent Root Cause Analysis framework dat RCA formaliseert als een iteratief besluitvormingsproces. Het systeem maakt gebruik van een Controller–Executor–Voter architectuur om complexe diagnostische taken te deconstrueren, waarbij tool-augmented executie wordt geïntegreerd met een gewogen consensusmechanisme.

2.1 Kernarchitectuur

Controller Agent: Fungeert als de orchestratiehub. Het onderhoudt de globale staat (kandidaat-set, traversatiepad) en deconstrueert de RCA-taak in een sequentie van acties (bijv. het initiëren van analyse, het deconstrueren van taken, het beheren van loops). Het construeert een gerichte afhankelijkheidsgraaf $G=(V, E)$ om de zoekruimte te beperken binnen de feitelijke systeemtopologie.
Executor Agents: Gespecialiseerde agents die verantwoordelijk zijn voor data-intensieve extractie. Zij interageren met externe tools om specifieke observability-modaliteiten (logs, metrics, traces, return codes) op te vragen op basis van instructies van de Controller. Zij retourneren gestructureerde bewijs-tuples die bewijsscores, datakwaliteitsscores en tekstuele rationales bevatten.
Voting Agent: Aggregeert multi-modaal bewijs om conflicten tussen concurrerende root-cause hypothesen op te lossen. In plaats van eenvoudige meerderheidsstemming gebruikt het een gewogen consensusmechanisme dat rekening houdt met de betrouwbaarheid van de modaliteit, de huidige datakwaliteit en de sterkte van het bewijs.

2.2 Redeneerworkflow

Het framework werkt in een closed-loop iteratief proces:

Topologie Initialisatie: De Controller identificeert de entry node van een anomalie en construeert de afhankelijkheidsgraaf.
Iteratieve Bewijsverzameling: Het systeem voert een breadth-first traversatie uit langs de afhankelijkheidsgraaf. Bij elke stap stuurt de Controller de Executors aan om naburige services te onderzoeken. Een Causal Correlation Score ( $\xi$ $ξ$ ) wordt berekend om ruis te filteren, waarbij een combinatie wordt gebruikt van temporele metric correlatie ( $\rho$ $ρ$ ) en de semantische consistentie van return codes ($sim$).
- Vergelijking: $\xi(v_i, v_j) = \lambda_1 \rho(x^{metric}_{v_i}, x^{metric}_{v_j}) + \lambda_2 sim(x^{ret}_{v_i}, x^{ret}_{v_j})$
Verenigde Scoring en Convergentie: De Voting Agent werkt de betrouwbaarheidsscores van kandidaten bij met behulp van een gewogen som van bewijs. De loop termineert wanneer de betrouwbaarheid van een kandidaat een dynamische drempel overschrijdt, het verschil tussen de top-kandidaten voldoende is, of wanneer het maximale aantal iteraties is bereikt.

2.3 Adaptieve Redenering en Leren

In-Context Learning (ICL): Agents volgen adaptieve redeneerrichtlijnen (bijv. semantische anomalie identificatie, probabilistische correlatie matching) in plaats van rigide heuristische regels. Few-shot voorbeelden worden dynamisch opgehaald op basis van fouttype en topologie-gelijkenis.
Parameter Leren: Het framework maakt gebruik van een twee-fasen leerparadigma:
- Offline Optimalisatie: Bayesian optimalisatie wordt gebruikt om causale correlatie-gewichten ( $\lambda_1, \lambda_2$ ) en modaliteit-betrouwbaarheidsgewichten ( $w_m$ ) te tunen op historische foutdatasets.
- Online Adaptatie: Modaliteit-gewichten worden bijgewerkt via een Exponential Moving Average (EMA) op basis van real-time diagnostische feedback, waardoor het systeem kan adapteren aan veranderende datakwaliteit of systeemcondities.

2.4 Tool-Augmented Executie

Om contextlengte en efficiëntie aan te pakken, delegeert MARCA laag-niveau dataverwerking aan gespecialiseerde externe tools (log filtering, trace reconstructie, metric anomalie detectie). Dit stelt de LLM-agents in staat om hoog-niveau taakcontexten te behouden terwijl ze resource-intensieve operaties uitbesteden, wat het tokengebruik aanzienlijk vermindert.

3. Belangrijkste Bijdragen

Iteratieve Besluitvormingsformulering: Het paper herformuleert RCA als een iteratief proces over heterogene observability-data, wat stap-voor-stap redeneren mogelijk maakt in plaats van single-pass analyse.
Controller–Executor–Voter Architectuur: Een nieuw multi-agent ontwerp dat RCA deconstrueert in planning-, executie- en validatiefases, wat schaalbare contextverwerking en robuuste besluitvorming faciliteert.
Gewogen Consensusmechanisme: Een methode om de robuustheid te verbeteren tegen ruis of conflicterende diagnostische signalen door bewijs dynamisch te wegen op basis van modaliteit-betrouwbaarheid en datakwaliteit.
Empirische Validatie: Uitgebreide experimenten die significante verbeteringen aantonen ten opzichte van state-of-the-art baselines in zowel root cause lokalisatie als foutclassificatie.

4. Experimentele Resultaten

De auteur evalueerde MARCA op een zelfgebouwd betalingssysteem (met gebruik van Chaos Mesh voor fault injection) en twee publieke microservice benchmarks (TrainTicket en MicroSS).

Prestaties: Op het zelfgebouwde betalingssysteem bereikte MARCA (met gebruik van Llama-2) een 76.87% Top-1 nauwkeurigheid en een 0.7896 F1-score. Dit presteerde aanzienlijk beter dan de sterkste multi-modale baseline (HolisticRCA met 62.15% Acc@1) en single-agent LLM baselines.
Efficiëntie: Het framework verminderde het tokengebruik met ongeveer 60% vergeleken met single-agent benaderingen door gebruik te maken van tool-augmented retrieval en gestructureerde bewijs-samenvattingen, wat de haalbaarheid voor real-time industriële implementatie waarborgt.
Ablatie Studies: Het verwijderen van Topology Guidance veroorzaakte de meest significante prestatiedaling (32.1% relatieve daling in Acc@1), wat het belang benadrukt van het beperken van de zoekruimte met systeemafhankelijkheidsinformatie. Het verwijderen van Multi-Modal Evidence degradeerde ook de F1-score substantieel, wat het belang bevestigt van het integreren van heterogene data.
Generalisatie: MARCA behield een hoge nauwkeurigheid op publieke benchmarks (bijv. 74.56% Acc@1 op TrainTicket), wat een betere generalisatie naar onbekende systeemarchitecturen demonstreert vergeleken met single-agent methoden.

5. Betekenis en Claims

Het paper claimt dat MARCA kritieke knelpunten in bestaande LLM-gebaseerde RCA-benaderingen aanpakt, specifiek met betrekking tot schaalbaarheid, robuustheid en praktische implementatie.

Industriële Haalbaarheid: Door context-afhankelijkheid te verminderen en lokale executie mogelijk te maken, waarborgt MARCA datasoevereiniteit en verlaagt het computationele kosten, wat het geschikt maakt voor enterprise omgevingen.
Aanpasbaarheid: Het dynamische samenwerkingsmechanisme stelt het systeem in staat om te adapteren aan evoluerende doelstellingen en systeemcondities zonder de starheid van statische single-agent architecturen.
Diagnostische Effectiviteit: De integratie van gespecialiseerde agents en cross-modale redenering overwint de beperkingen van monolithische verwerking, wat een meer uitgebreide basis biedt voor het identificeren van root causes in complexe gedistribueerde systemen.

De auteur erkent beperkingen en merkt op dat de diagnostische getrouwheid afhangt van de volledigheid van de topologie-metadata (met name in serverless/ephemeral omgevingen) en de onderscheidbaarheid van modaliteiten in gelijktijdige foutscenario's. Toekomstig werk wordt voorgesteld te focussen op dynamische topologie reconstructie en reinforcement learning-gebaseerde gewicht-kalibratie.