KRCA: An Efficient Root Cause Analysis System in Hyper-Scale Microservice Systems via Agentic AI
Dieses Paper präsentiert KRCA, ein End-to-End-Ursachenanalysesystem für hyperskalierte Microservices, das eine mehrstufige Pipeline mit einem speichererweiterten Multi-Agenten-Framework kombiniert, um eine hohe Diagnosegenauigkeit und -effizienz zu erreichen, wie durch seinen erfolgreichen sechsmonatigen Einsatz bei Kuaishou belegt wurde, welcher die Diagnosezeit um 77,3 % reduzierte.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Kapitän eines riesigen, futuristischen Kreuzfahrtschiffes mit 200.000 winzigen, unabhängigen Motoren (Microservices), die zusammenarbeiten, um das Schiff am Laufen zu halten. Jeden Tag werden neue Motoren hinzugefügt, alte werden optimiert, und verschiedene Teams nehmen ständig Änderungen vor.
Eines Morgens ertönt ein Alarm: „Das Schiff wird langsamer!“
In der Vergangenheit war es, um herauszufinden, welcher spezifische Motor die Verlangsamung verursacht hat, so, als würde man nach einer Nadel in einem Heuhaufen von der Größe einer Stadt suchen. Man musste jeden einzelnen Motor einzeln überprüfen, wobei man oft durch den Lärm tausender anderer Motoren verwirrt wurde, die nur auf das Problem reagierten, aber nicht die Ursache waren. Das dauerte Stunden, und das Schiff (oder in diesem Fall eine App wie Kuaishou) erlittte enorme Verluste, während man versuchte, die Ursache zu finden.
KRCA ist ein neues, superintelligentes Detektivsystem, das genau dazu entwickelt wurde, dieses Problem zu lösen. So funktioniert es, unterteilt in drei einfache Schritte:
1. Die „Drill-Down“-Taschenlampe (Die Suche eingrenzen)
Anstatt alle 200.000 Motoren zu überprüfen, beginnt KRCA an der exakten Stelle, an der der Alarm ausgelöst wurde (ein spezifischer API). Es benutzt eine spezielle „Taschenlampe“, um nur die Motoren zu untersuchen, die direkt mit dieser Stelle verbunden sind.
- Die Analogie: Stellen Sie sich einen Detektiv vor, der nicht die ganze Stadt durchsucht. Stattdessen beginnt er am Tatort und folgt nur den Fußabdrücken der Personen, die genau in diesem Moment dort waren.
- Wie es funktioniert: Es überprüft die „Fehlerrate“ und die „Geschwindigkeit“ verbundener Dienste. Wenn ein nachgeschalteter Motor sich seltsam verhält, folgt es diesem Pfad. Wenn ein Motor normal arbeitet, ignoriert es ihn. Dies schrumpft die Suche von 200.000 Verdächtigen auf nur eine Handvoll „verdächtiger“ Einheiten zusammen.
2. Die „Skelett-Karte“ (Hinweise organisieren)
Sobald das System einen verdächtigen Motor gefunden hat, kann dieser Motor hunderte von Sensoren (Metriken) angehängt haben (Temperatur, Druck, Kraftstofffluss usw.). Zu versuchen, herauszufinden, welcher Sensor der wahre Übeltäter ist, indem man nur Rohdaten betrachtet, ist, als würde man versuchen, ein Puzzle mit 400 Teilen zu lösen, die alle völlig durcheinandergewürfelt sind.
- Die Analogie: Anstatt auf einen Haufen durcheinandergewürfelter Puzzleteile zu starren, baut KRCA zuerst ein Skelettgerüst des Puzzles. Es weiß, dass „Kraftstofffluss“ normalerweise Probleme bei der „Motorgeschwindigkeit“ verursacht und „Temperatur“ normalerweise Probleme beim „Druck“ verursacht.
- Wie es funktioniert: Es nimmt die seltsamen Sensorwerte und fügt sie in eine vorgefertigte „Skelett“-Karte ein, die darauf basiert, wie das System normalerweise funktionieren sollte. Dies gibt dem Detektiv einen strukturierten Ausgangspunkt, damit er im Chaos nicht die Orientierung verliert.
3. Das „Team von Spezialisten“ (Die Agentic AI)
Nun, da das System eine kleine Liste von Verdächtigen und eine strukturierte Karte hat, ruft es ein Team von KI-Experten an.
- Die Analogie: Stellen Sie sich einen Hauptdetektiv (den Main Agent) vor, der einen Verkehrsexperten, einen CPU-Experten und einen Datenbank-Experten herbeiruft.
- Der Hauptdetektiv sagt: „Hey, die CPU ist heiß. Experte CPU, prüfe, ob dies ein echtes Problem oder nur ein Schluckauf ist.“
- Der Experte prüft sein eigenes Gedächtnis vergangener Fälle (wie ein erfahrener Detektiv, der sich an einen ähnlichen Fall aus dem letzten Jahr erinnert) und nutzt Werkzeuge, um Beweise zu sammeln.
- Sie sprechen miteinander, gleichen Fakten ab und sagen: „Nein, das ist es nicht“ oder „Ja, das ist definitiv die Ursache“.
- Das Ergebnis: Sie arbeiten zusammen, um einen finalen Bericht zu schreiben, der genau besagt, welcher Motor defekt ist und warum (z. B. „Ein Speicherleck im Speicher-Dienst hat eine Kettenreaktion ausgelöst“).
Warum ist das eine große Sache?
- Geschwindigkeit: Vor KRCA brauchten Ingenieure etwa 52 Minuten, um die Ursache zu finden. Mit KRCA dauert es etwa 11 Minuten. Das ist eine Reduzierung der Zeit um 77 %.
- Genauigkeit: In Tests fand KRCA den richtigen Motor in 88 % der Fälle und identifizierte die Art des Fehlers in 79 % der Fälle korrekt. Dies ist weitaus besser als bisherige Methoden, die sich oft in der massiven Menge an Daten verloren.
- Echter Erfolg: Dies ist nicht nur eine Theorie. KRCA läuft seit über sechs Monaten im tatsächlichen Produktionssystem von Kuaishou, bewältigt tausende von Alarmen pro Tag und spart dem Unternehmen erhebliches Geld, indem es Ausfälle schneller stoppt.
Kurz gesagt: KRCA ist wie ein hochorganisiertes, multidisziplinäres Detektivteam, das eine Taschenlampe benutzt, um die Suche einzugrenzen, eine Skelett-Karte verwendet, um Hinweise zu organisieren, und ein Gedächtnis für vergangene Fälle nutzt, um massive, komplexe Systemfehler in Minuten statt in Stunden zu lösen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.