EvoCause: LLM-Guided Evolution of Causal Graphs for Root Cause Analysis

Stel je voor dat je de kapitein bent van een enorm, hoogtechnologisch ruimteschip. Plotseling begint de computer van het schip te gillen met duizenden alarmen: "Motor heet!", "Luchtdruk romp daalt!", "Navigatiefout!" Het is een chaotische storm van lawaai. Jouw taak, bekend als Root Cause Analysis (RCA), is om te achterhalen welk klein, specifiek alarm deze hele bende heeft veroorzaakt, zodat je het kunt oplossen voordat het schip neerstort. In de echte wereld gebeurt dit dagelijs in telecommunicatienetwerken en cloudsystemen. Wanneer één onderdeel breekt, triggert dit een domino-effect van fouten.

Om dit op te lossen, proberen wetenschappers een "kaart" te tekenen van hoe alarmen elkaar triggeren, zoals een stamboom van fouten. Ze gebruiken wiskunde om deze kaart uit het verleden te leren. Maar hier is het probleem: wiskunde is niet perfect. Soms heeft de kaart verkeerde lijnen of ontbrekende verbindingen. Meestal, als de kaart fout is, raakt de computer de weg kwijt. Maar wat als je een menselijke expert zou kunnen vragen: "Hé, je zei de vorige keer dat dit de hoofdoorzaak was, maar je kaart zegt dat het dat niet was," en dan een superintelligente AI zou kunnen gebruiken om de kaart op basis van die feedback te repareren? Dat is precies de vraag die dit artikel aanpakt: hoe neem je een ruwe, door wiskunde gemaakte kaart van fouten en polijst je deze met menselijke wijsheid en een krachtige taal-AI, zodat het een zeer effectieve gids wordt voor het oplossen van toekomstige rampen.

---

Het Probleem: De "Gebroken Kaart" van Chaos

Stel je een enorme, verwarde bal wol voor waarbij elke knoop een alarm is. Wanneer één knoop wordt aangetrokken, trekt hij anderen mee. Om het systeem te repareren, moet je de allereerste knoop vinden die is aangetrokken. Wetenschappers hebben geprobeerd dit te ontwarren door algoritmen te gebruiken om het patroon van de wol uit de geschiedenis te leren. Ze noemen dit een "causaal grafiek" — een chique manier om te zeggen dat het een kaart is die laat zien welk alarm welk ander alarm veroorzaakt.

Deze door wiskunde alleen gemaakte kaarten zijn echter vaak slordig. Ze kunnen een lijn trekken tussen twee alarmen die nooit echt met elkaar communiceren, of ze kunnen een geheime snelkoppeling missen. Erger nog, deze kaarten zijn meestal "vastgezet". Zodra de computer de kaart heeft getekend, houdt hij zich eraan, zelfs als een menselijke expert naar een eerdere ramp kijkt en zegt: "Nee, dat was niet de oorzaak; dit was het!" De oude methoden negeren de stem van de expert.

De Oplossing: EvoCause, de "Kaartverfijner"

De auteurs van dit artikel introduceren een nieuw systeem genaamd EvoCause (Evolve Causal Graph). Zie EvoCause als een briljante redacteur die een ruwe versie van een kaart neemt en deze herschrijft totdat hij zo nauwkeurig mogelijk is voor de taak, met behulp van een speciaal hulpmiddel: een Large Language Model (LLM).

Zo verloopt het verhaal in hun methode:

1. De Eerste Versie (Fase I): Eerst gebruikt het systeem standaard wiskundige tools om een basiskaart te tekenen van hoe alarmen elkaar triggeren. Deze kaart is een goed begin, maar het is niet perfect.
2. De Expertbeoordeling (Fase II): Nu komt de magie. Het systeem kijkt naar een stapel eerdere rampen waarbij menselijke experts al hebben gezegd: "Dit is de ware hoofdoorzaak." Het vergelijkt de antwoorden van de experts met wat de ruwe kaart voorspelde.
   • De Mismatch: Als de kaart zegt "Alarm A veroorzaakte de crash", maar de expert zegt "Nee, Alarm B was de boosdoener", dan weet het systeem dat de kaart fout is.
   • De Taak van de LLM: In plaats van de kaart gewoon te verwijderen, vraagt het systeem een superintelligente AI (de LLM) om verbeteringen voor te stellen. De AI bekijkt de mismatch en de namen van de alarmen (zoals "Server Overload" of "Network Lag") en zegt: "Ah! Misschien moeten we een lijn trekken van B naar A, of de lijn van A naar C verwijderen."
   • De Veiligheidscontrole: De suggesties van de AI zijn wilde gokjes, dus een strikt, regelvolgend computerprogramma controleert ze. Het zorgt ervoor dat de nieuwe kaart geen onmogelijke lussen creëert (zoals A veroorzaakt B, B veroorzaakt C, en C veroorzaakt A) en dat de namen overeenkomen. Als de suggestie veilig is, wordt de kaart bijgewerkt.
3. De Definitieve Kaart: Het systeem herhaalt dit proces en probeert verschillende bewerkingen, totdat het de kaart vindt die het beste overeenkomt met de eerdere diagnoses van de experts. Het is belangrijk om op te merken dat de feedback van experts de mogelijkheden vaak beperkt tot een set goede kaarten in plaats van naar één enkele "perfecte" kaart te wijzen. EvoCause vindt de kaart die het beste werkt voor de taak.

De Resultaten: Een Slimmere Kaart

De auteurs hebben dit idee op twee manieren getest: met nepdata waarbij ze het "ware" antwoord kenden, en met echte data van een massaal telecommunicatienetwerk in Indonesië.

Op de Nepdata:
Ze creëerden 10 verschillende nepwerelden met bekende regels. Toen ze begonnen met een basis wiskundige kaart en EvoCause de kaart lieten verfijnen, waren de resultaten indrukwekkend. Het systeem werd veel beter in het vinden van de ware hoofdoorzaak.

• Het verbeterde de nauwkeurigheid van het vinden van het juiste hoofdalarm met 11,59 procentpunt.
• Het verbeterde de nauwkeurigheid van het vinden van de volledige correcte set hoofdoorzaken voor een specifiek incident met 9,40 procentpunt.
• Het maakte ook de kaart zelf nauwkeuriger, waardoor het aantal foutieve lijnen met een meetbare hoeveelheid afnam.

Op de Echte Data (TeleRCA):
De auteurs hebben ook een nieuwe, enorme dataset uitgebracht genaamd TeleRCA, die 485.681 alarmgebeurtenissen bevat van 194 verschillende alarmtypen verspreid over 5.621 resources. Dit is een echte schatkist van netwerkchaos.

• Toen ze EvoCause op deze echte data toepasten, was de verbetering nog groter. Uitgaande van een basiskaart, verhoogden ze de nauwkeurigheid van het vinden van het juiste hoofdalarm van 65,18% naar 92,58%.
• Ze testten ook of de AI de namen van de alarmen nodig had (zoals "CPU Overheat") of dat alleen nummers zouden werken. Ze ontdekten dat het weten van de namen hielp! Wanneer ze de namen verborgen en anonieme ID's gebruikten, daalde de nauwkeurigheid met 6,12 procentpunt. Dit suggereert dat de AI de betekenis van de alarmnamen gebruikt om slimme aannames te doen over hoe de kaart te repareren.

Wat Dit Betekent

Het artikel laat zien dat we niet hoeven te kiezen tussen "alleen wiskunde" kaarten en "alleen menselijke" gissingen. Door ze te combineren, krijgen we iets beters. De LLM fungeert als een creatieve redacteur die suggesties doet om de kaart te repareren op basis van menselijke feedback, terwijl een strikte computer ervoor zorgt dat de kaart logisch blijft.

Cruciaal is dat zodra de kaart is verfijnd, het systeem de AI of de menselijke experts niet meer nodig heeft. Het gebruikt simpelweg de definitieve, gepolijste kaart om de hoofdoorzaak van nieuwe rampen direct te voorspellen. Het is alsof je een leerling de verkeersregels leert door hem naar eerdere ongelukken te laten kijken; zod�je ze eenmaal geleerd heeft, kunnen ze veilig rijden zonder dat er een leraar naast hen in de auto zit.

De auteurs benadrukken dat ze niet alles hebben "opgelost". Ze ontdekten dat de feedback van experts de mogelijkheden meestal beperkt tot een set goede kaarten, maar dat het niet altijd wijst naar één enkele "perfecte" kaart. Hun methode vindt echter een kaart die ongelooflijk goed werkt voor de taak van het repareren van het netwerk, waardoor het een krachtig nieuw hulpmiddel is om onze verbonden wereld soepel te laten draaien.