Holmes: Multimodal Agentic Diagnosis for Mixed-Language Mobile Crashes at Industrial Scale
Holmes ist ein Multi-Agenten-System, das die Ursachenanalyse für gemischtsprachige Mobile-Crashes in ultra-großskaligen Anwendungen automatisiert, indem es multimodale Laufzeitsignale synthetisiert, um Fehlerkontexte ohne Reproduktion zu rekonstruieren, wobei eine Genauigkeit der Fehlersuche von 87,6 % erreicht und die Untersuchungszeit bei realen WeChat-Daten um über 98 % reduziert wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Chefdetektiv einer riesigen, geschäftigen Stadt namens WeChat. Diese Stadt hat Milliarden von Einwohnern und Millionen von Gebäuden (Codezeilen). Jeden Tag stürzen tausende Gebäude plötzlich ein (Crash).
In der Vergangenheit, wenn ein Gebäude einstürzte, musste ein Team menschlicher Detektive Stunden oder sogar Tage damit verbringen, herauszufinden, warum. Sie mussten Berge von Papierkram (Logs) durchforsten, Baupläne (Quellcode) prüfen und versuchen, den exakten Moment des Einsturzes zu rekonstruieren – oft ohne die Möglichkeit, den Unfall in einem Testlabor nachzustellen.
Holmes ist ein neues, superstarkes Detektivteam, das darauf ausgelegt ist, diese Rätsel in Sekundenschnelle zu lösen. So funktioniert es, unter Verwendung einfacher Analogien:
1. Das Problem: Das „Black Box“-Rätsel
Wenn eine mobile App abstürzt, ist das so, als würde ein Gebäude mitten auf einer belebten Straße einstürzen. Man kann nicht in der Zeit zurückgehen, um genau zu sehen, was passiert ist. Man hat nur:
- Die Trümmer: Eine Liste der letzten Dinge, die das Gebäude getan hat (der „Stack Trace“).
- Die Zeugen: Ein Protokoll dessen, was die Leute kurz vor dem Absturz gesagt haben.
- Die Baupläne: Das massive Handbuch für die Stadt (70 Millionen Zeilen Code).
Alte Methoden waren so, als müsste man das gesamte 70-Millionen-Seiten starke Handbuch lesen, um einen einzigen Tippfehler zu finden. Das war zu langsam. Andere Methoden versuchten es mit KI, aber sie mussten den Absturz in einem Testlabor nachstellen, was unmöglich ist, da jedes Benutzerhandy anders und privat ist.
2. Die Lösung: Das Holmes-Detektiv-Squad
Anstatt eines einzelnen Detektivs, der versucht, alles zu erleden, nutzt Holmes ein Team spezialisierter Agenten, die zusammenarbeiten, wie ein hochmodernes Polizeirevier. Sie nutzen einen dreistufigen Prozess:
Schritt 1: Spuren sammeln (Das Ermittlungsteam)
Bevor versucht wird, den Fall zu lösen, sammelt das Team sofort die relevantesten Beweise.
- Der Stack-Code-Retriever: Er betrachtet die „Trümmer“ (die Crash-Liste) und holt sofort die spezifischen Seiten des Bauplans hervor, an denen das Gebäude eingestürzt ist.
- Der Log-Miner: Anstatt die gesamte einstündige Zeugenaussage zu lesen, nutzt er einen intelligenten Filter, um nur die 5 Minuten des Gesprächs zu finden, die tatsächlich zum Absturz geführt haben.
- Der Thread-Inspektor: Er prüft, ob andere Teile der Stadt (andere Threads) sich in das Gebäude eingemischt haben. Hat eine Baustelle im 5. Stock versehentlich einen Stützbalken aus dem 10. Stock gezogen?
Step 2: Das Tiefenprofil (Das Explorations-Team)
Manchmal passiert der Absturz aufgrund eines Fehlers, der viel früher oder in einem anderen Teil des Gebäudes aufgetreten ist.
- Der Code-Explorer: Dieser Agent agiert wie ein Detektiv, der nicht nur den Absturzort betrachtet, sondern der Spur der Hinweise folgt. Er fragt: „Wer hat diese Funktion aufgerufen?“ und „Was passierte davor?“. Er durchsucht die massive Code-Bibliothek dynamisch und ruft dabei nur die spezifischen Seiten ab, die er benötigt, anstatt die gesamte Bibliothek auf einmal zu laden. Dies ermöglicht es ihm, „nicht-lokale“ Defekte (Fehler weit entfernt vom Ort des Absturzes) zu finden.
Schritt 3: Das Urteil (Das Reasoning-Team)
Dies ist der leitende Detektiv, der alles zusammenführt.
- Der Synthese-Agent: Er nimmt die Trümmer, die gefilterten Zeugenprotokolle, die Bauplanseiten und die Berichte über Interferenzen. Er nutzt einen speziellen Trick: Er betrachtet Low-Level-Hinweise (wie CPU-Register, die wie die internen Druckmesser des Gebäudes funktionieren), um die Lücke zwischen der Business-Logik (was die App tun soll) und dem System-Framework (dem Betriebssystem) zu schließen.
- Er erstellt dann einen Abschlussbericht: „Der Absturz geschah, weil zwei Arbeiter gleichzeitig dasselbe Werkzeug benutzen wollten (eine Race Condition). Die Lösung ist, eine Sperre (Lock) hinzuzufügen.“
3. Warum es ein Game Changer ist
Das Paper testete Holmes an echten Abstürzen von WeChat (dem chinesischen Social-Media-Riesen). Hier ist das Ergebnis:
- Geschwindigkeit: Anstatt dass ein Mensch 2–3 Stunden braucht, um einen komplexen Absturz zu lösen, erledigt Holmes dies in etwa 77 Sekunden. Das ist eine Reduktion der Zeit um 98 %.
- Genauigkeit: Er identifizierte die spezifische Funktion (den spezifischen Raum im Gebäude), in der der Fehler auftrat, in 87,6 % der Fälle korrekt.
- Kosten: Es ist unglaublich günstig im Betrieb. Die Kosten, um Holmes auf einen Absturz anzuwenden, liegen bei etwa 13 Cent, verglichen mit den Kosten eines erfahrenen Ingenieurs, der Stunden damit verbringt (was über 70 $ kosten würde).
4. Wie es das „Mixed-Language“-Rätsel löst
Moderne Apps sind wie ein Haus gebaut, das aus verschiedenen Materialien besteht: Einige Wände sind aus Holz (Swift/Objective-C), einige aus Ziegeln (C++) und einige aus Beton (System Frameworks).
- Die Herausforderung: Wenn ein Absturz im „Beton“-Teil passiert, kann der „Holz“-Teil oft nicht sehen, was falsch ist, weil die Anweisungen in einer anderen Sprache vorliegen.
- Der Trick von Holmes: Er nutzt Low-Level-Artefakte (wie Assembly-Code und Speicher-Snapshots) als universellen Übersetzer. Er kann das Problem von der High-Level-App-Logik bis hinunter zur Systemebene zurückverfolgen, selbst wenn der Quellcode für den Systemteil verborgen (Closed-Source) ist.
5. Das Fazate
Holmes verwandelt die Aufgabe eines Entwicklers von einem Detektiv (der stundenlang nach Hinweisen suchen muss) in einen Verifier (der lediglich den Bericht der KI überprüft).
- Vorher: „Ich habe keine Ahnung, warum das abgestürzt ist. Ich muss 50.000 Zeilen Code lesen und raten.“
- Nachher: „Holmes sagt, der Absturz wurde durch eine Race Condition in Datei X, Zeile 149 verursacht. Ich werde das jetzt verifizieren.“
Das Paper kommt zu dem Schluss, dass dieses System auf industriellem Niveau effektiv arbeitet und einen arbeitsintensiven, langsamen Prozess in einen schnellen, effizienten Workflow verwandelt, wodurch Unternehmen Millionen von Dollar und unzählige Stunden Entwicklerzeit spart.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.