🤖 machine learning

Grouped Query Experts: Mixture-of-Experts on GQA Self-Attention

Das Papier schlägt Grouped Query Experts (GQE) vor, eine Mixture-of-Experts-Schicht, die auf Grouped-Query-Attention angewendet wird und pro Token dynamisch eine Teilmenge von Query-Head-Experten auswählt, während die Key-Value-Heads dicht bleiben, wodurch die aktive Berechnung reduziert und die Effizienz verbessert wird, ohne die Genauigkeit bei Downstream-Aufgaben zu opfern.

Ursprüngliche Autoren: Vishesh Tripathi, Abhay Kumar

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Vishesh Tripathi, Abhay Kumar

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine riesige Bibliothek vor (ein Transformer-KI-Modell), in der jedes Buch (ein Token eines Textes) mit jedem anderen Buch abgeglichen werden muss, um die Geschichte zu verstehen. So funktioniert „Self-Attention“.

Das Problem: Der „Einheits-Bibliothekar“
In Standard-KI-Modellen gibt es ein Team von 116 spezialisierten Bibliothekaren (sogenannte „Attention Heads“). Egal, welches Buch Sie aus dem Regal ziehen, alle 16 Bibliothekare müssen es lesen, analysieren und einen Bericht darüber schreiben.

Wenn das Buch ein einfaches Wort wie „der“ oder ein Komma ist, brauchen Sie nicht 16 Experten; einer oder zwei würden ausreichen.
Wenn es sich um einen komplexen wissenschaftlichen Begriff handelt, benötigen Sie vielleicht alle 16.
Aber derzeit zwingt das System alle 16 Bibliothekare dazu, jedes einzelne Wort zu bearbeiten. Wenn die Geschichte länger wird (langer Kontext), wird dies unglaublich langsam und teuer – als würde man ein ganzes Orchester engagieren, um nur eine einzige Note zu spielen.

Die bestehende Lösung: Grouped Query Attention (GQA)
Vor dieser Arbeit versuchten Forscher, Kosten zu sparen, indem sie die Bibliothekare gruppierten. Anstatt 16 einzigartiger Teams gab es 8 Teams, bei denen zwei Bibliothekare dieselben „Key and Value“-Notizen (das Referenzmaterial) teilten. Dies sparte etwas Speicherplatz, aber alle 16 Bibliothekare mussten immer noch jedes Wort lesen. Es war wie ein kleineres Archiv, aber die Mitarbeiter mussten immer noch durch das gesamte Gebäude laufen, um ihre Arbeit zu erleden.

Die neue Lösung: Grouped Query Experts (GQE)
Die Autoren schlagen ein intelligenteres System namens Grouped Query Experts (GQE) vor. Stellen Sie sich das so vor, als würde man diese 16 Bibliothekare in ein „Mixture of Experts“-System verwandeln, aber mit einem Twist.

Der Aufbau: Sie behalten die 8 Gruppen von Referenznotizen (die KV-Heads) genau gleich bei. Dieser Teil ist immer „dicht“ (voll aktiv), da das Referenzmaterial kostengünstig abrufbar ist.
Der Router: Innerhalb jeder Gruppe gibt es mehrere „Expert“-Bibliothekare (Query Heads). Für jedes einzelne Wort fragt ein intelligenter „Router“ (ein Verkehrspolizist): „Brauchen wir wirklich alle 4 Experten in dieser Gruppe, um dieses Wort zu lesen?“
Die Auswahl: Der Router wählt nur die Top-1 oder 2 Experten (k=1 oder k=2) aus, die die eigentliche Arbeit für dieses spezifische Wort erledigen. Die anderen Experten in der Gruppe machen eine Kaffeepause.
Das Sicherheitsnetz: Um sicherzustellen, dass das System nicht verwirrt oder träge wird, fügen sie zwei spezielle Funktionen hinzu:
- Der Shared Head: Ein Bibliothekar ist immer im Dienst und liest jedes Wort, um das Team stabil zu halten.
- Die gewichtete Zusammenfassung: Das System erstellt einen „Konsensbericht“, der die Arbeit der ausgewählten Experten vermischt. Dies ist entscheidend, da es dem Router ein klares Signal gibt, wie gut er seine Arbeit gemacht hat, sodass er lernen kann, welcher Experte am besten für welches Wort geeignet ist.

Die Ergebnisse: Schneller, ohne an Intelligenz zu verlieren
Die Autoren testeten dies an einem kleinen Modell (250 Millionen Parameter), das auf 30 Milliarden Wörtern trainiert wurde.

Genauigkeit: Das GQE-Modell schnitt genauso gut ab wie das alte Modell, das für jedes Wort alle 16 Bibliothekare einsetzte. Es wurde nicht „dümmer“, indem es Leute übersprang.
Geschwindigkeit: Da es etwa die Hälfte der Query-Head-Arbeit übersprang, wurde es schneller.
- Bei kurzen Geschichten war es etwas schneller (1,15x).
- Bei sehr langen Geschichten (wie einem ganzen Roman) war es 1,7- bis 1,8-mal schneller.

Warum das wichtig ist
Die Arbeit behauptet, dass man durch das „bedingt“ Gestalten des „Lesens“ (nur die Arbeit tun, wenn sie benötigt wird), während der „Referenz“-Teil konstant bleibt, lange Konversationen oder Dokumentanalysen signifikant beschleunigen kann, ohne die Qualität der Antworten zu opfern.

Der Haken (Einschränkungen)
Die Autoren weisen vorsichtig darauf hin, dass dies an einem relativ kleinen Modell getestet wurde. Sie haben noch nicht bewiesen, dass es auch bei den massiven Modellen mit Billionen von Parametern funktioniert. Zudem muss der „Router“ sehr sorgfältig trainiert werden; wenn man einfach nur Experten zufällig auswählt, ohne das „Sicherheitsnetz“ (den Shared Head und die gewichtete Zusammenfassung), wird das Modell tatsächlich schlechter.

Kurz gesagt: GQE ist wie das Einstellen eines Teams von Spezialisten, bei denen nur die richtigen für die jeweilige Aufgabe erscheinen, was den gesamten Prozess für lange Aufgaben viel schneller macht, ohne die Qualität der Arbeit zu mindern.

Technisches Resümee: Grouped Query Experts (GQE)

Problemstellung

Self-Attention ist der Rechenengpass in Transformer-Architekturen, insbesondere bei Sequenzen mit langem Kontext, bei denen die paarweisen Token-Interaktionen quadratisch skalieren. Standardmäßige dichte Attention-Mechanismen wenden denselben Satz von Attention-Heads auf jeden Token an, unabhängig vom Informationsgehalt oder dem Schwierigkeitsgrad des Tokens. Diese uniforme Aktivierung führt zu einer ineffizienten Computernutzung, da Tokens mit geringem Informationsgehalt (z. B. Interpunktion, Stoppwörter) die gleichen Ressourcen verbrauchen wie bedeutungstragende Wörter. Während Mixture-of-Experts (MoE) erfolgreich die bedingte Berechnung in den Feed-Forward-Blöcken (MLP) von Transformern eingeführt hat, bleibt die Anwendung einer ähnlichen Sparsity auf den Attention-Mechanismus eine offene Herausforderung. Bestehende Grouped-Query Attention (GQA) reduziert die Speicherbandbreite und die KV-Cache-Größe durch das Teilen von Key-Value (KV)-Heads über Gruppen von Query-Heads hinweg, evaluiert jedoch dennoch alle Query-Heads für jeden Token.

Methodik: Grouped Query Experts (GKG)

Die Autoren schlagen Grouped Query Experts (GQE) vor, eine Methode, die MoE-Prinzipien in den Attention-Block von GQA-Modellen integriert. Die Kernphilosophie des Designs besteht darin, die Query-Head-Berechnung bedingt zu gestalten und gleichzeitig die Vorteile eines dichten KV-Caches von GQA zu bewahren.

Architektur und Routing

Grouped Expert Pool: Innerhalb jeder festen GQA-Gruppe (in der mehrere Query-Heads einen einzelnen KV-Head teilen) werden die Query-Heads als ein Pool von „Experten“ behandelt.
Bedingte Aktivierung: Für jeden Token wählt ein Router eine spärliche Teilmenge von $k$ Query-Head-Experten aus jeder GQA-Gruppe aus.
Dichter KV-Pfad: Entscheidend ist, dass die Key-Value-Projektionen und der KV-Cache dicht bleiben und unverändert bleiben. Die Sparsity wird nur auf die Query-seitige Berechnung angewendet.
Ausgabe-Konstruktion: Die Ausgabe wird durch einen spezifischen Mechanismus konstruiert, um eine stabile Trainingsphase zu gewährleisten:
- Harte Konkatenation: Die Ausgaben der ausgewählten $k$ Experten pro Gruppe werden konkateniert.
- Renormierte gewichtete Summe: Eine gewichtete Summe der ausgewählten Experten-Ausgaben wird unter Verwendung der Router-Wahrscheinlichkeiten berechnet. Dies bietet einen differenzierbaren Pfad, damit der Language-Modeling-Loss den Router erreicht, was das Problem der Nicht-Differenzierbarkeit der diskreten Top- $k$ -Selektion löst.
- Immer aktive Shared Head: Ein zusätzlicher Attention-Head wird für jeden Token berechnet, unabhängig vom Routing. Dieser fungiert als stabiler Anker während des Trainings, verhindert, dass der Router zu einem einzelnen Experten kollabiert, und stellt sicher, dass stets ein Basis-Attention-Muster verfügbar ist.

Training und Loss

Zusätzlich zum Standard-Language-Modeling-Loss verwendet GQE einen Load-Balancing-Hilfs-Loss (Auxiliary Loss), um den Router zu ermutigen, die Tokens gleichmäßig über den Experten-Pool innerhalb jeder Gruppe zu verteilen und so einen „Expert Collapse“ zu verhindern.

Zentrale Beiträge

Formulierung von MoE in GQA: Das Paper formuliert MoE spezifisch innerhalb von GQA-Gruppen, wobei $k$ Experten pro Token aktiviert werden, während alle KV-Heads dicht bleiben. Dies richtet den Vergleich an die zugrunde liegende GQA-Konfiguration aus und bewahrt das Speicherprofil von GQA.
Rechenreduktion ohne Qualitätsverlust: Die Autoren zeigen, dass GQE die Downstream-Genauigkeit eines voll-aktiven GQA-Baselines erreichen kann, während nur eine spärliche Teilmenge von Query-Head-Experten aktiviert wird.
Stabilisierungsmechanismen: Das Paper identifiziert, dass erfolgreiches spärliches Routing in der Attention zwei spezifische Komponenten erfordert: einen renormierten gewichteten-Summen-Slot, um ein korrektes Lernsignal an den Router zu liefern, und eine immer aktive Shared Head, um die Schicht zu verankern.

Experimentelle Ergebnisse

Die Experimente wurden mit einem festen 30B-Token-Budget auf der 250M-Parameter-Skala unter Verwendung des FineWeb-Edu-Datensatzes durchgeführt.

Genauigkeit: In der Hauptkonfiguration (16 Query-Heads, 8 KV-Gruppen, $k=1$ ) aktiviert GQE 8 geroutete Experten plus 1 Shared Head, was insgesamt 9 aktive Query-Attention-Berechnungen aus 16 ergibt. Trotz dieser Reduktion (Aktivierung von ~56 % der gesamten Query-Operationen) erreicht GQE die Genauigkeit der voll-aktiven GQA-Baseline (HellaSwag, PIQA, ARC-Easy) und erzielt einen Durchschnittswert von 56,04 im Vergleich zu 55,86 der Baseline.
Ablationsstudien: Das Paper zeigt, dass das Entfernen des renormierten gewichteten-Summen-Slots oder der Shared Head zu einer verschlechterten Leistung führt (Abfall auf ~55,18 bzw. 55,43), was bestätigt, dass Sparsity allein ohne die spezifischen architektonischen Stabilisatoren nicht ausreicht.
Durchsatz und Beschleunigung: GQE demonstriert signifikante Beschleunigungen in Long-Context-Regimen.
- Bei kurzen Sequenzen (2k Tokens) ist die Beschleunigung moderat (~1,15×) aufgrund des Routing-Overheads.
- In Long-Context-Regimen (4k bis 1024k Tokens) erreicht GQE eine 1,67× bis 1,80× Beschleunigung gegenüber der GQA-Baseline. Dies liegt daran, dass die Methode unnötige Query-Berechnungen überspringt, und die Ersparnisse mit der Sequenzlänge skalieren, da die Attention-Kosten quadratisch wachsen.

Bedeutung und Behauptungen

Das Paper behauptet, dass GQE einen praktikablen Weg bietet, um die Rechenkosten der Self-Attention in Long-Context-Transformern zu senken, ohne die Modellqualität zu beeinträchtigen. Die Bedeutung liegt in:

Effizienz: Es reduziert die aktiven Query-Head-Berechnungen um etwa die Hälfte in der getesteten Konfiguration, während es die Leistungsfähigkeit der dichten GQA beibehält.
Skalierbarkeit: Die Beschleunigung wird mit zunehmender Kontextlänge immer wertvoller und adressiert den quadratischen Skalierungsengpass der Attention.
Design-Erkenntnis: Die Arbeit hebt hervor, dass der Transfer von MoE auf die Attention eine sorgfältige architektonische Gestaltung erfordert (insbesondere die Shared Head und das renormierte Routing-Signal), um die Genauigkeitseinbußen zu vermeiden, die oft bei naiven Versuchen spärlicher Attention auftreten.

Die Autoren bleiben bescheiden und merken an, dass die Ergebnisse auf der 250M-Skala basieren und auf größeren Skalen bestätigt werden sollten. Sie rahmen das Ergebnis eher als ein „Match“ zur Baseline denn als eine klare Verbesserung ein, wobei sie betonen, dass das Ziel die Erzielung reduzierter Rechenleistung bei gleichwertiger Performance ist.