Architecture-Aware LLM Inference Optimization on AMD Instinct GPUs: A Comprehensive Benchmark and Deployment Study

Deze studie presenteert een uitgebreide benchmark van LLM-inferentie op AMD Instinct MI325X-GPU's, waarbij wordt aangetoond dat architectuurbewuste optimalisaties, zoals het selectief toepassen van de AITER-runtime en het aanpassen van blokgroottes, essentieel zijn voor het maximaliseren van de doorvoer en stabiliteit van diverse modelarchitecturen.

De kern

🚀 De AMD Instinct MI325X: Een Testrit voor de Slimste Computers ter Wereld

Stel je voor dat je een gigantisch, supersnel racepark hebt gebouwd. Dit is de AMD Instinct MI325X, een nieuwe generatie computerchips (GPU's) die speciaal is ontworpen om de slimste kunstmatige intelligentie (AI) ter wereld aan te sturen.

De auteurs van dit rapport hebben een grote test gedaan: ze hebben vier verschillende soorten "super-AI's" op dit racepark gereden om te zien hoe snel ze kunnen gaan en of ze het racepark kunnen verpletteren.

Hier zijn de belangrijkste ontdekkingen, vertaald naar begrijpelijke termen:

1. Niet elke auto heeft dezelfde brandstof (De Architectuur)

De vier AI's die ze testten, lijken allemaal op een auto, maar ze zijn gebouwd volgens heel verschillende ontwerpen:

• De Dichte AI (Llama-3.1): Een zware, krachtige limousine. Alles werkt tegelijk.
• De Expert-AI's (DeepSeek & Kimi): Dit zijn als een team van specialisten. Voor elke vraag kiezen ze alleen de experts die nodig zijn (Mixture of Experts). Ze zijn lichter, maar complexer.
• De Visuele AI's (Qwen & Kimi): Deze kunnen niet alleen tekst lezen, maar ook naar foto's kijken.

De les: Je kunt niet voor elke auto dezelfde brandstoftank of hetzelfde rijgedrag gebruiken. Wat voor de limousine werkt, zorgt ervoor dat de expert-auto's vastlopen. Je moet de instellingen per model aanpassen.

2. De "Snelweg" is het probleem, niet de motor (Geheugenbandbreedte)

Je zou denken dat de snelheid van een AI wordt bepaald door hoe snel de rekenkracht (de motor) is. Maar dit rapport ontdekt iets verrassends: het is de snelheid van de weg (het geheugen) die telt.

Stel je voor dat de AI een kok is die een enorme maaltijd moet koken. De kok (de processor) is supersnel, maar de ingrediënten moeten via een smalle gang (het geheugen) naar de keuken worden gebracht.

• Als er maar één kok is, is de gang breed genoeg.
• Maar als je 500 koks tegelijk probeert te voeden (hoge drukte), wordt de gang een knelpunt. De koks staan te wachten op ingrediënten, in plaats van te koken.

De ontdekking: Op de AMD-chips stopt de snelheid van alle AI's ongeveer bij hetzelfde punt (ongeveer 500 gelijktijdige gebruikers), ongeacht hoe slim of groot de AI is. De "gang" is gewoon vol. Het maakt niet uit hoe krachtig de motor is; als de weg vastzit, gaat niemand sneller.

3. De "Sleutel" die niet past (AITER en MLA)

AMD heeft een speciale versneller genaamd AITER. Dit is als een turbo voor de AI.

• Voor sommige AI's (zoals DeepSeek) is deze turbo verplicht. Zonder turbo rijden ze zo langzaam dat het niet bruikbaar is.
• Voor andere AI's (zoals Llama) helpt de turbo een beetje, maar maakt het de rit soms onvoorspelbaar (de snelheid schommelt).
• Voor de grootste AI (Kimi-K2.5) past de turbo helemaal niet. De motorblokken zijn te groot of de vorm is verkeerd. Als je hem probeert te gebruiken, crasht de auto. Je moet hem dan uitschakelen en met de standaard motor rijden.

De les: Je moet altijd eerst kijken welk type auto je hebt voordat je de turbo aanzet. "One size fits all" werkt hier niet.

4. De Grootte van de Auto telt minder dan het Gewicht (Actieve Parameters)

Er is een grote misvatting: "Hoe meer parameters (hersencellen) een AI heeft, hoe trager hij is."
Het rapport laat zien dat dit niet klopt. Wat echt telt, is hoeveel "hersencellen" er actief zijn op het moment dat de AI een woord schrijft.

• DeepSeek heeft 685 miljard parameters (een gigantische auto), maar gebruikt er per woord maar 37 miljard (hij draagt een lichte rugzak).
• Llama heeft 405 miljard parameters en gebruikt ze allemaal (hij draagt een zware koffer).

Toch rijden ze even snel! De AI met de lichte rugzak (DeepSeek) haalt het net als de zware limousine. Dit betekent dat slimme architectuur (alleen de juiste experts gebruiken) net zo belangrijk is als pure kracht.

5. De 1 Triljoen-Paradepaard (Kimi-K2.5)

De grootste uitdaging was Kimi-K2.5, een AI met 1 triljoen parameters. Dit is zo groot dat hij normaal gesproken niet op één server past.

• De onderzoekers hebben hem op de AMD-chips laten draaien door de AI te "verkleinen" (kwantisatie) zonder zijn intelligentie te verliezen.
• Resultaat: Het werkte! De AI reed stabiel, zelfs onder extreme druk (1000 mensen tegelijk), zonder ooit vast te lopen of fouten te geven. Dit is een wereldprestatie: het is de eerste keer dat zo'n enorme AI succesvol op deze specifieke AMD-chips is getest.

🏁 Conclusie voor de Gemiddelde Gebruiker

Dit rapport vertelt ons drie belangrijke dingen voor de toekomst van AI:

1. AMD is klaar voor de grote show: De nieuwe chips kunnen de grootste AI's ter wereld aan, zelfs die van 1 triljoen parameters.
2. Geen standaardoplossingen: Als je AI draait, moet je weten wat voor "soort" AI het is. Je kunt niet zomaar dezelfde instellingen gebruiken voor elke AI. Je moet de "sleutel" (instellingen) precies laten passen.
3. De weg is de beperking: Zolang we niet snellere "wegen" (geheugenbandbreedte) bouwen, zullen AI's bij een bepaald aantal gebruikers even snel blijven, ongeacht hoe krachtig de chips worden.

Kortom: De technologie is er, de auto's zijn er, maar we moeten leren hoe we ze het beste op de weg moeten rijden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het rapport "Architecture-Aware LLM Inference Optimization on AMD Instinct GPUs" in het Nederlands.

Titel: Architectuur-bewuste optimalisatie van LLM-inferentie op AMD Instinct GPU's: Een uitgebreide benchmark en implementatiestudie

Auteur: Athos Georgiou
Datum: 23 februari 2026
Platform: AMD Instinct MI325X (CDNA 3)

---

1. Het Probleem

De inferentie van Large Language Models (LLM's) op schaal vereist een zorgvuldige co-optimatie van modelarchitectuur, hardwarecapaciteiten en de configuratie van het serversysteem. Hoewel er veel aandacht is voor trainingsalgoritmen, is er een gebrek aan systematische benchmarkstudies voor AMD-accelerators, vooral voor frontier-modellen (modellen met honderden miljarden tot biljoenen parameters).

De uitdagingen zijn tweeledig:

1. Verscheidenheid aan architecturen: Moderne modellen gebruiken verschillende mechanismen zoals Dense (dicht), Mixture-of-Experts (MoE), Grouped-Query Attention (GQA) en Multi-head Latent Attention (MLA). Een configuratie die werkt voor een dicht GQA-model, kan suboptimaal of zelfs onwerkbaar zijn voor een MoE-model met MLA.
2. AMD-ecosysteem: Hoewel het ROCm-softwarestack (inclusief vLLM) volwassen is, ontbreken er gedetailleerde benchmarks voor de nieuwste AMD Instinct MI325X-chips (CDNA 3) met specifieke aandacht voor de beperkingen en optimalisaties per architectuur.

2. Methodologie

De auteurs hebben een systematische cross-architectuur evaluatie uitgevoerd op een 8-GPU cluster met AMD Instinct MI325X accelerators (totaal 2 TB HBM3e geheugen).

• Hardware: 8x AMD Instinct MI325X (CDNA 3, 256 GB HBM3e per GPU, 6.0 TB/s bandbreedte).
• Software Stack: ROCm 6.4.2, vLLM v0.14.1, Docker.
• Geëvalueerde Modellen: Vier frontier-modellen die drie architecturale families vertegenwoordigen:
  1. Kimi-K2.5: 1 Triljoen parameters (MoE + MLA).
  2. DeepSeek V3.2: 685B parameters (MoE + MLA).
  3. Llama-3.1-405B: 405B parameters (Dense + GQA).
  4. Qwen3-VL-235B: 235B parameters (MoE + GQA, Vision-Language).
• Belastingprofielen: Testen variëren van single-request latency tot 1.000 gelijktijdige gebruikers (concurrentie), inclusief tekst-only en visuele werklasten.
• Optimalisaties: Gebruik van kwantisatie (FP8, BF16, INT4 QAT), KV-cache management, en de AMD AI Tensor Engine for ROCm (AITER).

3. Belangrijkste Bijdragen

Het rapport levert vijf cruciale bijdragen:

1. Eerste academische cross-architectuur benchmark op MI325X: Een gedetailleerde evaluatie van vier modellen (235B tot 1T parameters) met specifieke configuratie-eisen per architectuur.
2. Architectuur-bewuste optimalisatie is essentieel: Er wordt aangetoond dat er geen "one-size-fits-all" configuratie bestaat.
   • MLA-modellen vereisen een block size van 1 en zijn incompatibel met KV-cache offloading op de huidige ROCm-stack.
   • GQA-modellen profiteren van offloading en standaard block sizes.
   • AITER: De AMD AITER-runtime is noodzakelijk voor competitieve MLA-inferentie. Voor GQA-modellen levert AITER slechts een bescheiden snelheidswinst (3-5%) maar verhoogt het de meetvariabiliteit aanzienlijk.
3. Implementatie van een triljoen-parameter model: Succesvolle deploy van Kimi-K2.5 (1T parameters) op 4 MI325X GPU's (vanwege beperkingen) met INT4 QAT, met 100% betrouwbaarheid.
4. Actieve parameters drijven doorvoer: De doorvoer wordt meer bepaald door het aantal actieve parameters per token dan door het totale aantal parameters.
5. Werklast-afhankelijke verzadiging: Alle modellen vertonen een gemeenschappelijk verzadigingspunt (bottleneck) dat afhankelijk is van de werklast, wat wijst op een geheugenbandbreedte-beperking.

4. Resultaten en Analyse

Prestaties en Doorvoer

• Tekst-werklasten: Llama-3.1-405B (Dense, 405B actief) en DeepSeek V3.2 (MoE, 37B actief) bereiken vergelijkbare piek-doorvoer (~15.900 tok/s), ondanks een orde van grootte verschil in actieve parameters. Dit suggereert dat de voordelen van MoE-sparsiteit op de huidige ROCm-stack worden gecompenseerd door MLA-beperkingen.
• Visuele werklasten: Qwen3-VL-235B (MoE+GQA, 22B actief) bereikt een piek van 47.873 tok/s, wat 6,5x hoger is dan Kimi-K2.5 (MoE+MLA, 32B actief, ~7.327 tok/s). Het verschil wordt veroorzaakt door GQA-flexibiliteit, AITER-ondersteuning en een hogere tensor parallelism (TP=8 vs TP=4).
• Betrouwbaarheid: Alle modellen behielden een 100% HTTP-successrate (valid response structure) tot 1.000 gelijktijdige gebruikers, zonder enkele mislukte request.

Architecturale Beperkingen en AITER

• MLA (DeepSeek, Kimi): Vereisen --block-size 1 en kunnen geen KV-cache offloading gebruiken.
  • Kimi-K2.5 Specifiek: Kan geen AITER gebruiken vanwege hardware-eisen (MXFP4 vereist CDNA 4) en head-count beperkingen (64 heads is niet compatibel met AITER MLA backend). Dit dwong tot TP=4 (gebruik van slechts 4 van de 8 GPU's).
  • DeepSeek V3.2: Vereist AITER voor prestaties; een Triton-fallback is te traag voor productie.
• GQA (Llama, Qwen): Profiteren van standaard block sizes (16) en KV-cache offloading.
• AITER Impact: Een ablatiestudie op Llama-3.1-405B toonde aan dat AITER bij hoge concurrentie slechts 3-5% doorvoerwinst geeft, maar de meetvariabiliteit (coëfficiënt van variatie) met 2-16x verhoogt. De grote snelheidswinsten (2-3x) van AMD zijn specifiek voor MoE en MLA-kernen.

Verzadiging en Bottlenecks

• Alle modellen vertonen een verzadigingspunt bij ongeveer 500 gelijktijdige verzoeken voor korte werklasten (500 tokens input). Bij langere werklasten (2048+ tokens) treedt verzadiging eerder op (100-200 verzoeken).
• Geheugenbandbreedte: De lage FLOPs-gebruik (vaak <15%, soms <1%) in combinatie met hoge geheugengebruik bevestigt dat inferentie op deze schaal geheugenbandbreedte-gedreven is, niet rekenkracht-gedreven. De 48 TB/s aggregate bandbreedte van het cluster is de limiet.

5. Betekenis en Conclusie

Deze studie demonstreert dat AMD Instinct MI325X een zeer krachtig platform is voor frontier-scale LLM-inferentie, maar dat architectuur-bewuste configuratie cruciaal is voor succes.

• Geen standaardinstellingen: Deployers moeten de attention-mechanismen (MLA vs. GQA) en expert-structuur detecteren om de juiste vLLM-flags (block size, AITER, TP) te kiezen. Een verkeerde configuratie kan leiden tot crashes of dramatische prestatieverlies.
• Productie-klaar: Ondanks softwarematige beperkingen (zoals de noodzaak van nightly builds voor Kimi-K2.5 en specifieke AITER-werkarounds), kan het platform modellen tot 1 triljoen parameters betrouwbaar bedienen met 100% succesratio.
• Toekomstperspectief: De bevindingen onderstrepen dat geheugenbandbreedte de primaire bottleneck blijft. Optimalisaties die het geheugenverkeer verminderen (zoals MoE-sparsiteit en kwantisatie) zijn effectiever dan pure rekenkrachtverhoging.

Het rapport biedt een blauwdruk voor het deployen van de nieuwste generatie AI-modellen op AMD-hardware en benadrukt de noodzaak van gespecialiseerde engineering voor verschillende modelarchitecturen.