Semperf: An LLM-assisted Performance Diagnosis for Extreme-Scale Parallel Programs

Stellen Sie sich eine Welt vor, in der tausende winziger Arbeiter, von denen jeder ein Teil eines riesigen Puzzles hält, versuchen, gemeinsam ein gewaltiges Rätsel zu lösen. So arbeiten Supercomputer: Sie teilen riesige, komplexe Probleme – wie etwa die Vorhersage des Wetters oder die Simulation einer Kernexplosion – auf zehntausende Prozessoren (genannt „Ranks“) auf. Das Ziel ist es, dass alle ihren Teil zur gleichen Zeit fertigstellen, damit das gesamte Bild augenblicklich zusammenkommt. Doch manchmal geht etwas schief. Ein Arbeiter könnte bei einer schweren Aufgabe feststecken, während die anderen nur herumsitzen und warten, oder einige gehen in einem Labyrinth der Kommunikation verloren. Dies wird als „Performance-Engpass“ bezeichnet.

Jahrzehntelang war das Beheben dieser Engpässe so, als versuche man, eine einzelne verlorene Nadel in einem Heuhaufen von der Größe einer Stadt zu finden, und das nur mit einer Taschenlampe. Experten müssen Berge von Rohdaten durchforsten und nach winzigen Hinweisen in den Zahlen suchen, um zu erraten, warum der Computer langsamer wird. Es ist langsam, erschöpfend und erfordert ein Maß an Fachwissen, das nur sehr wenige Menschen besitzen. Stellen Sie sich nun vor, Sie könnten diesen gesamten Heuhaufen einem superintelligenten, neugierigen Detektiv übergeben, der sofort das Muster erkennen, Ihnen genau sagen kann, welcher Arbeiter feststeckt, und dies auf einfache Weise erklärt. Das ist das Versprechen eines neuen Werkzeugs namens Semperf, das eine Art von Künstlicher Intelligenz bekannt als Large Language Model (LLM) nutzt, um als dieser Detektiv zu fungieren.

Das Werkzeugkasten des Detektivs: Semperf

Das Paper stellt Semperf vor, ein neues Toolkit, das darauf ausgelegt ist, Performance-Probleme in diesen extrem skalierbaren parallelen Programmen zu diagnostizieren. Die Forscher Liqiang Cao, Xu Liu und Xiaowen Xu standen vor einem schwierigen Problem: Während LLMs hervorragend im Schlussfolgern und Erklären sind, können sie nicht mit dem schieren Volumen an Daten umgehen, das ein Supercomputer mit 100.000 Prozessoren generiert. Wenn man versuchen würde, die gesamte Menge an Rohdaten direkt in die KI zu speisen, wäre das so, als würde man versuchen, aus einem Feuerwehrschlauch zu trinken; die KI würde an der Informationsflut ersticken.

Um dies zu lösen, agiert Semperf als ein kluger Filter und Übersetzer. Anstatt den gesamten Feuerwehrschlauch an Daten auf die KI zu leiten, organisiert es das Chaos zuerst in eine ordentliche, handhabbare Struktur. Es erstellt das, was die Autoren eine „Rank-Profil-Matrix“ nennen. Stellen Sie sich dies als eine riesige Tabelle vor, in der jede Zeile einen der tausenden Arbeiter (Ranks) repräsentiert und jede Spalte eine bestimmte Aufgabe oder Funktion darstellt, die sie ausgeführt haben. Die Zahlen in den Zellen zeigen, wie viel Zeit jeder Arbeiter mit jeder Aufgabe verbracht hat.

Sobald diese massive Tabelle erstellt ist, nutzt Semperf eine mathematische Technik namens Clustering, um ähnliche Arbeiter zusammenzufassen. Es ist vergleichbar mit dem Sortieren eines Klassenzimmers von Schülern, nicht nach ihren Namen, sondern danach, wie sie sich während eines Tests verhalten. Der Algorithmus könnte feststellen, dass 2.760 Schüler alle in einem stetigen, normalen Tempo arbeiten (Gruppe A), während eine kleine Gruppe von 120 Schülern auf einem anderen Satz von Problemen hektisch und intensiv schreibt (Gruppe B). Durch das Identifizieren dieser Gruppen muss Semperf nicht jeden einzelnen Arbeiter betrachten; es muss lediglich einen „Repräsentanten“ aus jeder Gruppe auswählen, um die Geschichte zu erzählen.

Der KI-Detektiv im Einsatz

Nachdem diese repräsentativen Gruppen identifiziert wurden, bereitet Semperf ein prägnantes „Zeugnis“ für den KI-Detektiv (in diesem Fall das LLM DeepSeek-V4) vor. Dieses Zeugnis enthält die Performance-Muster der Gruppen und bittet die KI, die Detektivarbeit zu übernehmen: „Was verursacht basierend auf diesen Hinweisen die Verlangsamung?“

Die KI rät nicht einfach; sie nutzt Bayessches Schließen, eine Methode, bei der sie ihre Überzeugungen basierend auf Evidenz aktualisiert. Sie betrachtet die Daten und sagt: „Ah, ich sehe, dass die kleine Gruppe 36 % ihrer Zeit mit Geometrie-Berechnungen verbringt, während die große Gruppe 24 % der Zeit in Spin-Locks (einer Art digitalem Warteraum) wartet. Dies deutet darauf hin, dass die kleine Gruppe die ganze schwere Arbeit erledigt und dadurch die große Gruppe zum Stillstand zwingt.“

Die Forscher testeten dieses System in drei verschiedenen Szenarien:

1. JEuler3D.m: Eine komplexe Fluiddynamik-Simulation, die auf 2.880 Prozessoren läuft. Semperf identifizierte korrekt, dass eine kleine Gruppe von Ranks die Arbeit serialisierte (also nacheinander statt parallel ausführte), was den Rest des Systems auszehrte.
2. BT Benchmark: Ein gut ausbalancierter Testfall, der auf 81 Prozessoren läuft. Hier berichtete die KI korrekt, dass es keine signifikanten Engpässe gab, was beweist, dass sie nicht einfach Probleme erfindet, wo keine existieren.
3. JUPITER: Eine massive Simulation, die auf 102.400 Prozessoren läuft. Dies ist der „Extreme-Scale“-Test. Semperf verarbeitete Daten aus über 100.000 Dateien, gruppierte sie in eine winzige Gruppe von 256 und eine massive Gruppe von 102.144 und diagnostizierte einen schweren Kommunikationsengpass, bei dem die winzige Gruppe überlastet war, was das gesamte System zum Stillstand brachte.

Was das Paper ausschließt und beweist

Die Autoren waren sorgfältig darin, zu testen, ob ihre Methode tatsächlich notwendig war. Sie führten „Ablationsstudien“ durch, welche Experimente sind, bei denen man einen Teil der Maschine entfernt, um zu sehen, ob sie weiterhin funktioniert.

Zuerst fragten sie: „Benötigen wir das Clustering der Daten wirklich? Können wir nicht einfach zufällige Arbeiter auswählen?“ Sie versuchten, der KI Daten aus Zufallsstichproben von 1 % oder 2 % der Prozessoren zu füttern. Während die KI manchmal die richtige Antwort erraten konnte, war sie weniger sicher und benötigte viel mehr Daten (größere „Prompts“), um dies zu tun. Das Paper legt nahe, dass Clustering essenziell ist, um eine kompakte, zuverlässige Diagnose zu erstellen, die auf riesige Systeme skalierbar ist.

Zweitens fragten sie: „Benötigen wir die KI wirklich? Können wir nicht einfach einfache mathematische Regeln verwenden?“ Sie verglichen Semperf mit einem regelbasierten System, das lediglich durchschnittliche Wartezeiten berechnete. Das regelbasuche System konnte zwar sehen, dass einige Arbeiter warteten, konnte aber nicht erklären, warum. Es übersah den tieferen Zusammenhang, dass eine kleine Gruppe Geometrie-Arbeiten ausführte, die die anderen zum Warten zwangen. Das Paper zeigt, dass strukturierte Merkmale allein nicht ausreichen; man benötigt die Fähigkeit der LLM, über die Beziehungen zwischen den Datenpunkten zu schlussfolgern, um eine menschenlesbare Erklärung zu generieren.

Das Urteil

Das Paper kommt zu dem Schluss, dass Semperf ein skalierbares und interpretierbares Verfahren zur Diagnose von Performance-Problemen ist. Es hat erfolgreich die Kombination aus strukturierter Datenreduktion und KI-Schlussfolgerung genutzt, um Anwendungen mit bis zu 102.400 Prozessen zu handhaben. Die Autoren schlagen vor, dass dieser Ansatz die Lücke zwischen rohen, überwältigenden Daten und menschlichem Verständnis schließt. Sie sind jedoch ehrlich bezüglich der Einschränkungen: Sie haben nicht jedes mögliche KI-Modell getestet, und sie räumen ein, dass die Diagnose der Performance oft ein iterativer Prozess ist, bei dem Menschen und KI zusammenarbeiten. Sie behaupten nicht, die Performance-Analyse für immer „gelöst“ zu haben, sondern dass sie einen leistungsstarken neuen Assistenten geschaffen haben, der Experten helfen kann, Nadeln im Heuhaufen viel schneller zu finden als je zuvor.

Kurz gesagt: Semperf verwandelt einen Berg verwirrender Zahlen in eine klare, handlungsrelevante Geschichte und hilft Supercomputern, reibungsloser und schneller zu laufen, selbst wenn sie mit mehr Prozessoren arbeiten, als es Menschen in einer großen Stadt gibt.