Semperf: An LLM-assisted Performance Diagnosis for Extreme-Scale Parallel Programs

Stel je een wereld voor waar duizenden kleine werkers, die elk een stukje van een gigantische puzzel vasthouden, samen proberen een enorme puzzel op te lossen. Dit is hoe supercomputers werken: ze verdelen enorme, complexe problemen—zoals het voorspellen van het weer of het simuleren van een kernexplosie—over tienduizenden processors (genaamd "ranks"). Het doel is dat iedereen zijn deel tegelijkertijd af heeft, zodat het hele plaatje direct tot stand komt. Maar soms gaat er iets mis. Eén werker kan vast komen te zitten met een zware taak, terwijl de anderen zitten te wachten, of een paar werkers raken verdwaald in een doolhof van communicatie. Dit wordt een "performance bottleneck" (prestatieknelpunt) genoemd.

Decennialang was het oplossen van deze knelpunten alsof je probeerde een enkele verloren naald te vinden in een hooiberg zo groot als een stad, met slechts een zaklamp. Experts moeten naar bergen ruwe data staren, zoekend naar kleine aanwijzingen in de cijfers om te raden waarom de computer vertraagt. Het is traag, uitputtend en vereist een niveau van expertise dat slechts zeer weinig mensen bezitten. Stel je nu voor dat je die hele hooiberg kunt overhandigen aan een super-slimme, nieuwsgierige detective die direct patronen kan herkennen, je precies kan vertellen welke werker vastzit, en dit in begrijpelijke taal kan uitleggen. Dat is de belofte van een nieuwe tool genaamd Semperf, die een type kunstmatige intelligentie bekend als een Large Language Model (LLM) gebruikt om als die detective te fungeren.

De Gereedschapskist van de Detective: Semperf

Het artikel introduceert Semperf, een nieuwe toolkit die is ontworpen om prestatieproblemen in deze extreme schaal parallelle programma's te diagnosticeren. De onderzoekers, Liqiang Cao, Xu Liu en Xiaowen Xu, stonden voor een lastig probleem: hoewel LLM's geweldig zijn in redeneren en dingen uitleggen, kunnen ze de enorme hoeveelheid data niet aan die gegenereerd wordt door een supercomputer die draait op 100.000 processors. Als je al die ruwe data direct naar de AI zou voeren, zou het zijn alsof je probeert te drinken uit een brandslang; de AI zou stikken in de informatie.

Om dit op te lossen, fungeert Semperf als een slim filter en vertaler. In plaats van de hele brandslang aan de AI te dumpen, organiseert het eerst de chaos in een nette, beheersbare structuur. Het creëert wat de auteurs een "rank-profile matrix" noemen. Denk aan dit als een gigantisch spreadsheet waar elke rij een van de duizenden werkers (ranks) vertegenwoordigt, en elke kolom een specifieke taak of functie die zij hebben uitgevoerd. De getallen in de cellen laten zien hoeveel tijd elke werker aan elke taak heeft besteed.

Zodra dit enorme spreadsheet is gebouwd, gebruikt Semperf een wiskundige techniek genaamd clustering om vergelijkbare werkers bij elkaar te groeperen. Het is alsof je een klas leerlingen sorteert, niet op basis van hun namen, maar op basis van hoe ze zich tijdens een toets gedragen. Het algoritme kan ontdekken dat 2.760 leerlingen allemaal op een gestaag, normaal tempo werken (Groep A), terwijl een kleine groep van 120 leerlingen razendsnel op een andere set problemen aan het schrijven is (Groep B). Door deze groepen te identificeren, hoeft Semperf niet naar elke individuele werker te kijken; het hoeft alleen maar één "vertegenwoordiger" uit elke groep te kiezen om het verhaal te vertellen.

De AI-detective aan het werk

Met deze geïdentificeerde representatieve groepen bereidt Semperf een beknopt "rapportcijfer" voor de AI-detective (in dit geval de LLM DeepSeek-V4). Dit rapportcijfer bevat de prestatiepatronen van de groepen en vraagt de AI om de detective te spelen: "Wat is op basis van deze aanwijzingen de oorzaak van de vertraging?"

De AI raadt niet zomaar; het gebruikt Bayesiaanse redenering, een methode om overtuigingen bij te stellen op basis van bewijs. Het kijkt naar de data en zegt: "Ah, ik zie dat de kleine groep 36% van hun tijd besteedt aan geometrische berekeningen, terwijl de grote groep 24% van de tijd wacht op spin locks (een soort digitale wachtkamer). Dit suggt dat de kleine groep al het zware werk doet, waardoor de grote groep stilstaat."

De onderzoekers testten dit systeem op drie verschillende scenario's:

1. JEuler3D.m: Een complexe vloeistofdynamica-simulatie die draait op 2.880 processors. Semperf identificeerde correct dat een kleine groep ranks het werk aan het serialiseren was (het één voor één uitvoeren in plaats van parallel), waardoor de rest van het systeem uitgehongerd werd.
2. BT Benchmark: Een goed gebalanceerde testcase die draait op 81 processors. Hier rapporteerde de AI correct dat er geen significante bottlenecks waren, wat bewees dat het niet zomaar problemen verzint waar ze niet zijn.
3. JUPITER: Een enorme simulatie die draait op 102.400 processors. Dit is de "extreme-scale" test. Semperf verwerkte data van meer dan 100.000 bestanden, clusterde ze in een kleine groep van 256 en een enorme groep van 102.144, en diagnosticeerde een ernstige communicatie-bottleneck waarbij de kleine groep overweldigd werd, wat de gehele systeem tot stilstand bracht.

Wat het artikel uitsluit en bewijst

De auteurs waren zorgvuldig in het testen of hun methode daadwerkelijk noodzakelijk was. Ze voerden "ablatie-studies" uit, wat experimenten zijn waarbij je een onderdeel van de machine verwijdert om te zien of deze nog steeds werkt.

Eerst vroegen ze: "Hebben we de clustering van de data echt nodig? Kunnen we niet gewoon willekeurige werkers kiezen?" Ze probeerden de AI data te voeren van willekeurige steekproeven van 1% of 2% van de processors. Hoewel de AI soms het juiste antwoord kon raden, was deze minder zelfverzekerd en had het veel meer data (grotere "prompts") nodig om dat te doen. Het artikel suggereert dat clustering essentieel is voor het creëren van een compacte, betrouwbare diagnose die schaalt naar enorme systemen.

Ten tweede vroegen ze: "Hebben we de AI echt nodig? Kunnen we niet gewoon eenvoudige wiskundige regels gebruiken?" Ze vergeleken Semperf met een op regels gebaseerd systeem dat simpelweg gemiddelde wachttijden berekende. Het op regels gebaseerde systeem kon zien dat sommige werkers wachtten, maar kon niet uitleggen waarom. Het miste de diepere connectie dat een kleine groep geometrisch werk deed dat de anderen dwong te wachten. Het artikel demonstreert dat gestructureerde kenmerken alleen niet genoeg zijn; je hebt het vermogen van de LLM nodig om te redeneren over de relaties tussen de datapunten om een menselijk leesbare uitleg te genereren.

Het eindoordeel

Het artikel concludeert dat Semperf een schaalbare en interpreteerbare manier is om prestatieproblemen te diagnosticeren. Het slaagde erin om gestructureerde datareductie te combineren met AI-redenering om applicaties met tot wel 102.400 processen te verwerken. De auteurs suggereren dat deze aanpak de kloof overbrugt tussen ruwe, overweldigende data en menselijk begrip. Ze zijn echter eerlijk over de beperkingen: ze hebben niet elk mogelijk AI-model getest, en ze erkennen dat prestatiediagnose vaak een iteratief proces is waarbij mensen en AI samenwerken. Ze beweren niet dat ze de prestatieanalyse voor altijd hebben "opgelost", maar eerder dat ze een krachtige nieuwe assistent hebben gebouwd die experts kan helpen om veel sneller naalden in hooibergen te vinden dan voorheen.

Kortom, Semperf verandert een berg verwarrende cijfers in een helder, actiegericht verhaal, waardoor supercomputers soepeler en sneller draaien, zelfs wanneer ze werken met meer processors dan er mensen in een grote stad wonen.