🤖 machine learning

GQLA: Group-Query Latent Attention for Hardware-Adaptive Large Language Model Decoding

Das Papier schlägt Group-Query Latent Attention (GQLA) vor, eine hardwareadaptive Modifikation von DeepSeeks Multi-head Latent Attention, die es ermöglicht, dass ein einziger Gewichtssatz dynamisch zwischen einem MQA-absorb-Pfad für H100-klassige GPUs und einem GQA-Pfad für handelsübliche GPUs wie die H20 wechselt, wodurch die Inferenzeffizienz optimiert und Multi-Token-Vorhersage unterstützt wird, ohne dass ein Nachtraining oder benutzerdefinierte Kernel erforderlich sind.

Ursprüngliche Autoren: Fanxu Meng

Veröffentlicht 2026-05-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Fanxu Meng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreiben eine riesige Bibliothek (ein Large Language Model), in der ein Bibliothekar bei jedem neuen Satz, den er schreibt, in jedes einzelne Buch zurückblicken muss, das er je gelesen hat, um sicherzustellen, dass der neue Satz Sinn ergibt. Dieses „Zurückblicken" ist der teuerste Teil des Prozesses und erfordert einen hohen Speicherverkehr.

Lange Zeit war der beste Weg, dies zu handhaben, eine Methode namens MLA (Multi-head Latent Attention). Betrachten Sie MLA als ein super-effizientes „Zusammenfassungsnotiz"-System. Anstatt jedes Detail jedes Buches zu behalten, komprimiert der Bibliothekar alle wichtigen Informationen in einen winzigen, niedrigrangigen „Spickzettel" (einen latenten Vektor).

Das Problem mit dem alten System (MLA):
Die Arbeit argumentiert, dass dieses Spickzettel-System zwar brillant ist, aber speziell für einen sehr teuren, leistungsstarken Computer (die NVIDIA H100) entwickelt wurde.

Die H100-Passung: Auf diesem teuren Computer funktioniert das System perfekt, weil der Computer schnell in Mathematik ist, aber eine begrenzte Speichergeschwindigkeit hat. Der Spickzettel hält den Speicherverbrauch niedrig und passt sich den Stärken des Computers an.
Die H20-Fehlanpassung: Es gibt jedoch einen günstigeren, exportbeschränkten Computer (die H20), der viel Speichergeschwindigkeit hat, aber bei der Durchführung von Mathematik viel langsamer ist. Für diese Maschine ist das alte Spickzettel-System eine Katastrophe. Es zwingt den Computer, zu viel Mathematik für die Menge an Daten zu betreiben, die er bewegt, was dazu führt, dass er ins Stocken gerät.
Steifheit: Das alte System ist wie ein Anzug, der auf eine bestimmte Person zugeschnitten ist. Man kann ihn nicht tragen, wenn man seine Form ändert. Es verhindert auch, dass die Bibliothek mehrere Mitarbeiter (Tensor Parallelism) effizient nutzt, und hindert sie daran, die nächsten paar Wörter auf einmal zu erraten (Multi-Token Prediction), ohne die Geschwindigkeit zu verringern.

Die neue Lösung: GQLA (Group-Query Latent Attention)
Die Autoren schlagen ein neues System namens GQLA vor. Betrachten Sie dies nicht als einen neuen Anzug, sondern als einen transformierbaren Anzug, der zwei verschiedene Körpertypen perfekt mit dem exakt gleichen Stoff (denselben trainierten Gewichten) passt.

So funktioniert es mit einer Analogie:

Die zwei Pfade:
- Pfad A (Der „Super-kompakte" Modus): Dies ist der ursprüngliche MLA-Stil. Er behält den winzigen Spickzettel bei. Dies ist perfekt für den teuren, mathematikintensiven H100-Computer. Er minimiert den Speicherverkehr.
- Pfad B (Der „Gruppierte" Modus): Dies ist der neue Trick. Anstatt alles in eine winzige Notiz zu komprimieren, gruppiert er die Notizen in 8 separate „Ordner". Dies erzeugt einen etwas größeren Cache, erlaubt dem Computer jedoch, weniger Mathematik pro Schritt zu betreiben. Dies ist perfekt für den günstigeren H20-Computer, der bei Mathematik langsam, aber beim Bewegen von Daten schnell ist.
Der magische Schalter:
Das Beste ist, dass die Bibliothek nicht neu aufgebaut werden muss. Der „Anzug" (die Modellgewichte) ist derselbe. Wenn Sie das Modell bereitstellen:
- Wenn Sie auf einer H100 sind, schalten Sie um, um Pfad A zu nutzen.
- Wenn Sie auf einer H20 sind, schalten Sie um, um Pfad B zu nutzen.
- Kein erneutes Training erforderlich: Sie müssen dem Bibliothekar nichts Neues beibringen. Sie ändern nur, wie er seine Notizen liest.
- Keine benutzerdefinierten Tools: Es verwendet Standardtools, die bereits im Werkzeugkasten des Computers existieren.
Warum es besser ist:
- Hardware-adaptiv: Es findet den „Sweet Spot" sowohl für teure als auch für günstige Computer und maximiert die Geschwindigkeit auf beiden.
- Teamarbeit: Im Gegensatz zum alten System ermöglicht der neue „Gruppierte" Pfad eine effiziente Zusammenarbeit mehrerer Mitarbeiter (Tensor Parallelism), was zuvor blockiert war.
- Zukunftssicherheit: Es unterstützt auch das „Erraten mehrerer Wörter auf einmal" (Multi-Token Prediction) auf den günstigeren Computern, was das alte System nicht ohne Absturz leisten konnte.

Der „TransGQLA"-Trick:
Die Arbeit zeigt auch, wie man eine bestehende Bibliothek (ein Modell, das bereits mit dem alten Gruppierten System trainiert wurde) sofort in diesen neuen „transformierbaren Anzug" umwandelt, ohne von vorne zu beginnen. Es ist wie das Hinzufügen eines versteckten Reißverschlusses zu einer Standardjacke, der es ermöglicht, sie sofort in die super-kompakte Version zu verwandeln.

Die Ergebnisse:

Auf der H100 funktioniert es genauso gut wie das ursprüngliche System.
Auf der H20 ist es 3,4-mal schneller als das ursprüngliche System, weil es den Computer daran hindert, Zeit mit unnötiger Mathematik zu verschwenden.
Sie testeten dies an einem Standardmodell (LLaMA-3-8B) und stellten fest, dass die Umwandlung in dieses neue Format seine Intelligenz kaum veränderte, wobei nur sehr wenig an Fähigkeiten verloren ging, während auf günstigerer Hardware massive Geschwindigkeitsgewinne erzielt wurden.

Zusammenfassung:
Die Arbeit stellt einen flexiblen Aufmerksamkeitsmechanismus vor, der wie ein „universeller Adapter" funktioniert. Es ermöglicht einem einzelnen KI-Modell, sowohl auf hochpreisigen, teuren Chips als auch auf günstigeren, beschränkten Chips mit maximaler Effizienz zu laufen, einfach indem es ändert, wie es seinen Speicher organisiert, ohne dass das Modell neu trainiert oder neue Software erstellt werden muss.

Technische Zusammenfassung: GQLA – Group-Query Latent Attention für hardwareadaptive Decodierung großer Sprachmodelle

1. Problemstellung

Die moderne autoregressive Decodierung großer Sprachmodelle (LLM) ist grundlegend durch den Key-Value (KV) Cache-Datenverkehr limitiert, da jeder generierte Token den gesamten Verlauf der zwischengespeicherten Schlüssel und Werte aus dem außerhalb des Chips befindlichen Speicher lesen muss. Während neuere Architekturen wie Multi-head Latent Attention (MLA), verwendet in DeepSeek-V2/V3, durch die gemeinsame Komprimierung von Schlüsseln und Werten in einen niedrigrangigen Latent-Zustand den KV-Cache-Verbrauch auf dem Stand der Technik reduzieren, leiden sie bei dem Einsatz auf unterschiedlicher Inferenz-Hardware unter drei gekoppelten hardwarebedingten Nachteilen:

Hardware-Kopplung: Die trainierten Gewichte von MLA exponieren nur einen einzigen Decodierungspfad (eine „absorbierte" Form der Multi-Query Attention oder MQA). Dieser Pfad ist perfekt auf das Verhältnis von Rechenleistung zu Bandbreite von High-End-GPUs wie der NVIDIA H100 abgestimmt (Ridge $\approx$ 295 FLOPs/Byte). Auf exportbeschränkten oder Commodity-GPUs wie der H20 (die die Bandbreite beibehält, aber die Rechenleistung um $\sim$ 7-fach reduziert und den Ridge auf $\approx$ 37 FLOPs/Byte senkt), wird dieser Pfad jedoch stark rechenlimitiert, was zu einer schlechten Durchsatzleistung führt.
Verlust der Tensor-Parallelität (TP): Die absorbierte MQA-Form leitet alle Query-Köpfe durch einen einzigen gemeinsamen latenten KV-Zustand. Diese Struktur verhindert Tensor-Parallelität entlang der Kopf-Achse, da jedes Gerät den gesamten latenten Zustand replizieren muss, was die Skalierbarkeit begrenzt.
Kein Gewinn durch Multi-Token-Vorhersage (MTP): MTP, das mehrere Tokens pro Schritt generiert, um die arithmetische Intensität zu erhöhen, drückt die ohnehin rechenlimitierte H20-Decodierung noch weiter über ihren Effizienz-Ridge hinaus, was zu keinem Durchsatzgewinn führt. Umgekehrt überschreitet MTP auf der H100 den Ridge, was die Effizienz des Gewinns reduziert.

2. Methodik: Group-Query Latent Attention (GQLA)

Die Autoren schlagen Group-Query Latent Attention (GQLA) vor, eine minimale architektonische Modifikation von MLA, die die gemeinsame niedrigrangige latente Komprimierung bewahrt, während zwei algebraisch äquivalente Decodierungspfade über dieselben trainierten Parameter exponiert werden.

Architektur

GQLA indiziert die Up-Projektionsmatrizen ( $W_{UK}, W_{UV}$ ) durch $g$ Gruppen anstatt sie über alle $h_q$ Query-Köpfe zu replizieren. Dieses Design ermöglicht zwei unterschiedliche Ausführungspfade:

MQA-Absorb-Pfad (Speicherfreundlich):
- Mechanismus: Identisch zu MLA. Die Up-Projektionen werden in die Query- und Output-Projektionen absorbiert. Alle $h_q$ Köpfe achten direkt auf den kompakten latenten Cache ($cKV$).
- Cache: Speichert nur den Latent-Zustand ( $r_{kv}$ ) und einen gemeinsamen RoPE-Schlüssel ( $d^R_h$ ).
- Zielhardware: Optimiert für H100-klassige Hardware, bei der die arithmetische Intensität ( $\approx$ 242 FLOPs/Byte für $s_q=1$ ) knapp unter dem Speicher-Rechen-Ridge liegt.
GQA-Pfad (Rechenfreundlich):
- Mechanismus: Der Latent-Zustand wird in $g$ Schlüssel/Wert-Gruppen expandiert. Die Decodierung führt eine herkömmliche Grouped-Query Attention (GQA) ohne schrittweise Latent-Expansion durch.
- Cache: Speichert pro Gruppe expandierte Schlüssel und Werte ( $2gd_h$ ) sowie den gemeinsamen RoPE-Schlüssel.
- Zielhardware: Optimiert für H20-klassige Hardware. Durch Anpassung der Gruppenanzahl ( $g$ ) und der Anzahl der Query-Tokens pro Schritt ( $s_q$ ) kann die arithmetische Intensität auf den H20-Ridge ( $\approx$ 37 FLOPs/Byte) fixiert werden.
- Skalierbarkeit: Unterstützt bis zu 8-fache Zero-Redundancy-Tensor-Parallelität entlang der Gruppenachse.

Pfadauswahl

Die Laufzeit wählt den Pfad basierend auf der Zielhardware ohne Neutraining oder benutzerdefinierte Kernel aus:

H100: Verwendet den MQA-Absorb-Pfad ( $s_q=1$ ).
H20: Verwendet den GQA-Pfad (z. B. $g=8, s_q=2$ oder $g=4, s_q=1$ ).
MTP: Auf der H20 stellt der GQA-Pfad mit $s_q=2$ nahezu ideale Durchsatzgewinne wieder her, wohingegen MLA keinerlei Gewinn erzielt.

TransGQLA: Konvertierung von vortrainierten Modellen

Um ein Training von Grund auf zu vermeiden, stellen die Autoren TransGQLA vor, eine Erweiterung der TransMLA-Pipeline. Sie konvertiert einen vortrainierten GQA-Checkpoint in ein GQLA-Modell durch eine einzige gezielte Modifikation:

Kopf-Zusammenführung: Anstatt gruppierte Köpfe in einen einzigen Latent-Zustand zu mergen und die Up-Projektionen über alle Query-Köpfe zu replizieren (wie bei TransMLA), behält TransGQLA die Up-Projektionen gruppenindiziert bei.
Ergebnis: Das Modell behält strukturell den GQA-Ausführungspfad bei, ermöglicht jedoch den MQA-Absorb-Pfad über den Standard-Absorptionsvorgang. Dies bewahrt die Tensor-Parallelität entlang der Gruppenachse.

Sparse GQLA

Das Design erstreckt sich auf fein granulare sparse Attention. Da die kanonische GQLA-Konfiguration ( $h_q/g = 16$ ) der Tensor-Core MMA-Fliesendimension ( $m=16$ ) entspricht, kann sparse GQLA den GQA-Pfad auf H20-klassiger Hardware bewahren. Im Gegensatz dazu ist sparse MLA aufgrund von Flieseneinschränkungen strukturell auf den absorbierten MQA-Pfad festgelegt und erbt dieselben Probleme mit dem Rechenoverhead.

3. Hauptbeiträge

Identifikation von MLA-Nachteilen: Die Arbeit identifiziert, dass das Einpfad-Design von MLA es an H100-klassige Verhältnisse koppelt, die Tensor-Parallelität entlang der Kopf-Achse aufopfert und auf Commodity-GPUs keine MTP-Gewinne erzielt.
GQLA-Architektur: Eine minimale Variante von MLA, die zwei algebraisch äquivalente Pfade (MQA-Absorb und GQA) über dieselben Gewichte exponiert. Eine einzige Konfiguration ( $h_q=128, g=8$ ) mit einem MTP-Kopf fixiert die Rooflines sowohl für H100 als auch für H20 gleichzeitig.
TransGQLA-Pipeline: Eine Konvertierungsmethode, die vortrainierte GQA-Checkpoints in GQLA-Modelle mit minimalen architektonischen Änderungen transformiert, Tensor-Parallelität bewahrt und einen nahtlosen Übergang zur latenten Form ermöglicht.
Roofline-Analyse: Eine theoretische Verifikation, die zeigt, dass GQLA-Gewichte durch Pfadwechsel nahezu Spitzen-Durchsatz auf sowohl H100 als auch H20 erreichen können, wohingegen MLA auf H20 ineffizient ist.

4. Ergebnisse

Die Autoren evaluierten TransGQLA am LLaMA-3-8B-Modell:

Erhalt der Fähigkeiten: Die Konvertierung der GQA-Gewichte in die GQLA-Latent-Form (ohne weiteres Training) führte im Vergleich zum ursprünglichen, mit 15 Billionen Token vortrainierten Modell zu einem Verlust von nur $\sim$ 9,7 durchschnittlichen Punkten auf Benchmarks für gesunden Menschenverstand (MMLU, ARC, etc.).
Cache-Komprimierung: Auf dem MQA-Absorb-Pfad wurde der KV-Cache pro Token auf 28,125 % des ursprünglichen GQA-Baselines komprimiert (eine Reduktion um 71,875 %).
Durchsatzprojektionen:
- H100: Der MQA-Absorb-Pfad erreicht 354.000 Tokens/Sekunde.
- H20: Der GQA-Pfad (mit $g=8, s_q=2$ ) erreicht 221.000 Tokens/Sekunde, eine 3,4-fache Verbesserung gegenüber MLA auf demselben Gerät (das aufgrund der Rechenlimitierung bei 65.000 Tokens/Sekunde stecken bleibt).
Weiteres Vortraining: Die Autoren projizieren, dass weiteres Vortraining (nach der TransMLA-Trajektorie) die verlorenen Fähigkeiten nach 30 Milliarden Token auf einen Abstand von 0,5 Punkten zum Originalmodell zurückgewinnen wird, während die KV-Cache-Komprimierung erhalten bleibt.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass GQLA ein praktisches, hardwareagnostisches Designprinzip für die LLM-Inferenz bietet. Durch die Exposition mehrerer algebraisch äquivalenter Decodierungspfade über einen einzigen Satz trainierter Gewichte ermöglicht GQLA einem Modell, sich zur Bereitstellungszeit an verschiedene Hardwarebeschränkungen (rechenreich vs. speicherreich) anzupassen, ohne Neutraining oder benutzerdefinierte Kernel.

Die Autoren positionieren GQLA als Lösung für das Problem der „Hardware-Kopplung" und ermöglichen einen effizienten Einsatz sowohl auf Flaggschiff-Beschleunigern (H100) als auch auf Commodity/exportbeschränkter Hardware (H20). Sie betonen, dass dieser Ansatz Multi-Token-Vorhersage und Tensor-Parallelität auf Hardware unterstützt, auf der MLA dies nicht effizient leisten kann.

Eingeschränkte Behauptungen:

Hardware-Behauptungen basieren auf Roofline-Modellierung; vollständige Benchmarks auf Kernel-Ebene auf tatsächlicher H20/H100-Hardware stehen noch aus.
Ergebnisse zum weiteren Vortraining für TransGQLA sind derzeit im Gange und in der Arbeit noch nicht finalisiert.
Die Evaluation ist derzeit auf den LLaMA-3-8B-Rückgrat und Benchmarks für gesunden Menschenverstand beschränkt.
Sparse GQLA wird strukturell beschrieben, aber noch nicht gegenüber bestehenden sparse-Attention-Methoden getestet.