Architecture-Aware LLM Inference Optimization on AMD Instinct GPUs: A Comprehensive Benchmark and Deployment Study

Diese Studie präsentiert eine umfassende Benchmark- und Deployment-Analyse der LLM-Inferenz auf AMD Instinct MI325X-GPUs, die zeigt, dass architekturspezifische Optimierungen wie die selektive Nutzung des AITER-Runtimes und angepasste Blockgrößen entscheidend für die Leistung sind, während alle getesteten Modelle bei hohen Parallelitätsgraden an eine Speicherbandbreitenbegrenzung stoßen, aber dennoch eine hohe Zuverlässigkeit aufweisen.

Das Wesentliche

Hier ist eine einfache, bildhafte Erklärung der technischen Studie auf Deutsch:

🚀 Der große AMD-Test: Wie KI-Riesen auf neuen Chips laufen

Stellen Sie sich vor, Sie betreiben eine riesige Bibliothek, in der die klügsten Bücher der Welt (die sogenannten "Large Language Models" oder KI-Modelle) stehen. Diese Bücher sind so dick, dass sie ganze Gebäude füllen. Die Aufgabe dieser Studie war es herauszufinden, wie man diese Bücher am besten auf AMD Instinct MI325X-Chips liest – eine neue Art von Computer-Hardware, die als Alternative zu den bekannten NVIDIA-Chips dient.

Die Forscher haben vier verschiedene "Bücher" getestet, von einem dicken Roman bis hin zu einer riesigen Enzyklopädie mit einer Billion Seiten. Hier ist, was sie herausfunden, übersetzt in Alltagssprache:

1. Nicht jeder Schlüssel passt zu jedem Schloss (Die Architektur-Falle)

Das Wichtigste, was die Studie zeigt: Es gibt keine "Einheitslösung".

• Die Analogie: Stellen Sie sich vor, Sie haben vier verschiedene Autos (die KI-Modelle). Ein Sportwagen (ein Modell mit "MLA"-Technik) braucht spezielle Reifen und darf nicht auf einer bestimmten Straße fahren. Ein Familienkombi (ein Modell mit "GQA"-Technik) hingegen braucht normale Reifen und kann sogar ein Dachgepäckträger (den "KV-Cache") mitnehmen.
• Das Ergebnis: Wenn Sie versuchen, den Sportwagen mit den Reifen des Kombis zu fahren, passiert nichts oder er fährt sehr langsam. Die Forscher mussten für jedes Modell ganz spezifische Einstellungen vornehmen. Ein Modell brauchte zum Beispiel eine spezielle Software-Beschleunigung (AITER), die für ein anderes Modell sogar gefährlich war und abgeschaltet werden musste.

2. Die Größe zählt nicht – die "aktiven" Teile zählen

Viele denken: "Je größer das Modell, desto langsamer ist es." Das stimmt hier nicht ganz.

• Die Analogie: Stellen Sie sich ein riesiges Orchester mit 1.000 Musikern vor (das Gesamtmodell). Aber bei jedem Lied spielen nur 30 Musiker (die "aktiven Parameter").
• Das Ergebnis: Es ist egal, ob das Orchester 1.000 oder 100.000 Musiker hat. Wenn nur 30 Musiker spielen, dauert das Lied gleich lange.
  • Ein riesiges Modell mit einer Billion Parametern (Kimi-K2.5) war fast genauso schnell wie ein kleineres Modell, weil bei beiden nur etwa 30-40 Milliarden "Musiker" gleichzeitig aktiv waren.
  • Ein Modell mit "GQA"-Technik (Qwen3-VL) war sogar noch schneller, weil es sehr effizient arbeitete und viele Bilder gleichzeitig verarbeiten konnte.

3. Der Flaschenhals ist der Verkehr, nicht die Rechenkraft

Warum gibt es eine Obergrenze, wie viele Anfragen gleichzeitig bearbeitet werden können?

• Die Analogie: Stellen Sie sich einen riesigen Supermarkt vor (der Chip). Die Kassen (die Rechenleistung) sind extrem schnell. Aber der Gang, in dem die Kunden (die Daten) laufen, ist nur so breit wie eine normale Straße.
• Das Ergebnis: Sobald zu viele Kunden gleichzeitig in den Gang drängen (ca. 500 Anfragen), staut es sich. Es ist egal, wie schnell die Kassen sind – wenn der Gang voll ist, kommen keine neuen Kunden durch.
  • Bei kurzen Texten konnten etwa 500 Kunden gleichzeitig bedient werden.
  • Bei langen Texten (die mehr Platz im Gang brauchen) war die Grenze schon bei 100–200 Kunden erreicht.
  • Wichtig: Das System hat trotzdem funktioniert! Es hat keine Kunden abgewiesen, sondern sie einfach etwas länger warten lassen. Das ist wie ein Stau: Niemand wird rausgeworfen, aber alle kommen später an.

4. Die AMD-Chips sind mächtige Lastwagen

Die neuen AMD-Chips (MI325X) haben einen riesigen Laderaum (256 GB Speicher pro Chip).

• Die Analogie: Früher musste man für große KI-Modelle die Bücher in den Keller (den langsamen Arbeitsspeicher des Computers) auslagern, weil der Laderaum zu klein war. Das machte das Lesen langsam.
• Das Ergebnis: Dank des riesigen Laderaums der AMD-Chips passen alle getesteten Modelle – sogar der 1-Billion-Parameter-Riese – komplett in den Laderaum. Kein Keller nötig! Das macht alles viel schneller und einfacher.

5. Ein kleiner Haken bei der Software

Die Software, die diese Chips antreibt (ROCm und AITER), ist wie ein neuer, sehr schneller Motor.

• Das Problem: Bei manchen Modellen (den "MLA"-Typen) ist dieser Motor so stark, dass er fast zu schnell für die aktuellen Bremsen ist. Man muss ihn manchmal manuell drosseln oder umkonfigurieren, damit er nicht überhitzt oder abstürzt.
• Die Lösung: Die Forscher haben gelernt, wann man den Motor voll aufdrehen darf und wann man vorsichtig sein muss.

Fazit für den Alltag

Diese Studie sagt uns: AMD-Chips sind bereit für die Zukunft der KI. Sie können die größten und komplexesten Modelle der Welt verarbeiten. Aber man kann sie nicht einfach "einstecken und laufen lassen". Man muss wie ein erfahrener Mechaniker genau wissen, welches Modell man hat, um die richtigen Einstellungen (Reifen, Gangschaltung, Software) zu wählen.

Wenn man das richtig macht, kann man auf einem einzigen Server-Cluster (8 Chips) Tausende von KI-Anfragen pro Sekunde bearbeiten – eine Leistung, die für die Zukunft von Chatbots, Übersetzern und kreativen KI-Assistenten entscheidend ist.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Berichts „Architecture-Aware LLM Inference Optimization on AMD Instinct GPUs" auf Deutsch.

Titel

Architektur-bewusste Optimierung der LLM-Inferenz auf AMD Instinct GPUs: Eine umfassende Benchmark- und Deployment-Studie

1. Problemstellung

Der Einsatz von Large Language Models (LLMs) im Produktionsumfeld erfordert eine sorgfältige Co-Optimierung von Modellarchitektur, Hardware-Fähigkeiten und Systemkonfiguration. Trotz der wachsenden Bedeutung von AMD-Hardware (insbesondere der MI325X-GPUs) fehlen systematische Benchmark-Studien, die verschiedene Modellarchitekturen auf dieser Plattform vergleichen.
Die Herausforderungen liegen in der Diversität der modernen Architekturen:

• Dense-Modelle mit Grouped-Query Attention (GQA).
• Mixture-of-Experts (MoE)-Modelle mit Multi-head Latent Attention (MLA).
• Multimodale Modelle (Vision-Language).

Diese Architekturen stellen völlig unterschiedliche Anforderungen an Speicherhierarchie, Parallelisierungsstrategien und Kernel-Optimierungen. Eine Konfiguration, die für ein dichtes GQA-Modell optimal ist, kann bei einem MoE-MLA-Modell zu suboptimaler Leistung oder sogar Fehlern führen. Zudem ist die Software-Stack-Unterstützung (ROCm, vLLM, AITER) für diese neuen Architekturen noch nicht vollständig standardisiert.

2. Methodik

Die Studie führt einen systematischen Cross-Architecture-Benchmark auf einem 8-GPU-Cluster mit AMD Instinct MI325X durch (insgesamt 2 TB HBM3e-Speicher, 48 TB/s Bandbreite).

• Evaluierte Modelle: Vier Frontier-Modelle (235 Mrd. bis 1 Billion Parameter) aus drei Architekturfamilien:
  1. Kimi-K2.5: 1T Parameter, MoE + MLA (32B aktiv).
  2. DeepSeek V3.2: 685B Parameter, MoE + MLA (37B aktiv).
  3. Llama-3.1-405B: 405B Parameter, Dense + GQA.
  4. Qwen3-VL-235B: 235B Parameter, MoE + GQA (22B aktiv).
• Inferenz-Engine: vLLM v0.14.1 (mit Nightly-Builds für Kimi-K2.5).
• Workloads: Von einzelnen Anfragen bis zu 1.000 gleichzeitigen Nutzern (Concurrency). Unterscheidung zwischen reinen Text-Workloads und Vision-Workloads (mit Bild-Token).
• Optimierungen: Untersuchung von Quantisierung (FP8, BF16, INT4 QAT), KV-Cache-Management (Offloading, Block-Größen), Tensor-Parallelismus (TP) und der Nutzung des AMD AI Tensor Engine for ROCm (AITER).
• Statistik: Mehrere unabhängige Runs (n=5) zur Messung der Variabilität und Reproduzierbarkeit.

3. Schlüsselbeiträge

1. Erster Cross-Architecture-Benchmark auf MI325X: Die Studie liefert die erste akademische Bewertung von Produktions-LLMs auf AMD MI325X-Hardware, die drei verschiedene Architekturfamilien abdeckt und Konfigurationsbeschränkungen detailliert charakterisiert.
2. Architektur-bewusste Optimierung ist essenziell: Es wird gezeigt, dass keine „One-Size-Fits-All"-Konfiguration existiert.
   • MLA-Modelle (DeepSeek, Kimi) benötigen auf ROCm zwingend Block-Größe 1 und sind inkompatibel mit KV-Cache-Offloading.
   • GQA-Modelle profitieren von Offloading und Standard-Block-Größen.
   • AITER (AMD AI Tensor Engine): Für MLA-Modelle ist AITER zwingend erforderlich für wettbewerbsfähige Durchsatzraten (Triton-Fallback ist deutlich langsamer). Für GQA-Modelle bringt AITER nur marginale Vorteile (3–5%), erhöht aber die Messvariabilität erheblich (2–16×).
3. Deployment eines 1-Billion-Parameter-Modells: Erfolgreicher Betrieb von Kimi-K2.5 (1T Parameter) auf 4 MI325X-GPUs mittels INT4 QAT-Quantisierung, was den ersten veröffentlichten Inference-Benchmark eines solchen Modells auf CDNA 3 darstellt.
4. Aktive Parameter als Treiber: Die Studie bestätigt empirisch, dass die Anzahl der aktiven Parameter pro Token (nicht die Gesamtzahl) den Durchsatz bestimmt, wobei dies durch andere Variablen (Quantisierung, AITER) beeinflusst wird.
5. Workload-abhängige Sättigung: Alle Modelle erreichen bei einem bestimmten Workload einen gemeinsamen Durchsatz-Sättigungspunkt, der durch die Speicherbandbreite limitiert ist (ca. 500 gleichzeitige Anfragen für kurze Sequenzen, 100–200 für lange Sequenzen).

4. Ergebnisse

• Durchsatz-Leistung:
  • Text-Workload: Llama-3.1-405B (Dense, 405B aktiv) und DeepSeek V3.2 (MoE, 37B aktiv) erreichen nahezu identischen Spitzen-Durchsatz (~15.900 tok/s), obwohl DeepSeek nur 9 % der aktiven Parameter nutzt. Dies zeigt die Effizienz von MoE, wird aber durch MLA-Beschränkungen auf ROCm teilweise kompensiert.
  • Vision-Workload: Qwen3-VL-235B (MoE+GQA, 22B aktiv) erreicht mit 47.873 tok/s einen 6,5-fach höheren Durchsatz als Kimi-K2.5 (MoE+MLA, 32B aktiv, 7.327 tok/s). Dies liegt an der GQA-Architektur (Offloading, AITER-Unterstützung) und dem höheren Tensor-Parallelismus (TP=8 vs. TP=4 bei Kimi).
• Konfigurationsbeschränkungen:
  • Kimi-K2.5: Musste mit TP=4 und deaktiviertem AITER laufen, da die MLA-Köpfe (64 Köpfe) nicht mit den AITER-Unterstützungswerten (16 oder 128 Köpfe pro Rank) übereinstimmen und MXFP4 (nur CDNA 4) benötigt wird.
  • AITER-Ablation: Bei Llama-3.1-405B (GQA) zeigte AITER bei hoher Konkurrenz einen Durchsatzvorteil von 3–5 %, erhöhte aber die Messunsicherheit (Coefficient of Variation) von <0,5 % auf bis zu 4,7 %.
• Zuverlässigkeit: Alle Modelle erreichten eine 100 % Erfolgsrate (HTTP 200) bis zu 1.000 gleichzeitigen Nutzern, ohne dass Anfragen abgelehnt wurden (vLLM-Queuing).
• Ressourcennutzung: Die MI325X-GPUs sind primär speicherbandbreitenlimitiert (Memory-Bandwidth Bound), nicht rechenlimitiert. Die FLOPs-Auslastung liegt oft unter 15 % (bei MoE-Modellen sogar <1 %), während die Speicherbandbreite gesättigt ist.

5. Bedeutung und Implikationen

• Für AMD Instinct MI325X: Die Plattform ist hervorragend für Frontier-Modelle geeignet, insbesondere dank der hohen HBM3e-Kapazität (256 GB pro GPU), die KV-Cache-Offloading in den meisten Szenarien überflüssig macht. Die hohe Speicherbandbreite (48 TB/s im Cluster) ermöglicht hohe Token-Durchsätze.
• Für Deployment-Praktiken:
  • Deployment-Guides müssen architekturspezifische Logik implementieren (z. B. Erkennung von MLA vs. GQA), um Block-Größen, AITER-Flags und Parallelismus korrekt zu setzen.
  • Die Annahme, dass AITER immer eine pauschale Beschleunigung bietet, ist falsch; für GQA-Modelle kann es die Stabilität verschlechtern, während es für MLA unverzichtbar ist.
  • Die Wahl der Quantisierung (FP8 vs. BF16) wird oft durch Architekturmerkmale (z. B. Vision-Encoder-Dimensionen) erzwungen, nicht nur durch Präzisionswünsche.
• Zukunftsausblick: Die Studie identifiziert Speicherbandbreite als den kritischen Engpass. Zukünftige Optimierungen sollten auf die Reduzierung von Speicherzugriffen abzielen (z. B. durch MoE-Sparsity, Quantisierung, MLA-Kompression) statt auf reine Rechenleistung.

Fazit: Die Studie demonstriert, dass AMD Instinct MI325X-GPUs in der Lage sind, state-of-the-art LLMs (bis zu 1 Billion Parametern) effizient zu betreiben, sofern die Konfiguration strikt an die spezifische Modellarchitektur angepasst wird. Ein „Standard-Setup" führt zu signifikanten Leistungseinbußen oder Fehlern.