🤖 machine learning

Do Transformers Need Three Projections? Systematic Study of QKV Variants

Dieses Paper zeigt systematisch auf, dass das Teilen von Query-, Key- und Value-Projektionen in Transformern – insbesondere der Q-K=V-Variante – den Speicherbedarf bei der Inferenz sowie die Anforderungen an den KV-Cache signifikant reduziert und dabei eine wettbewerbsfähige Leistung über Vision- und Sprachaufgaben hinweg beibehält, wodurch ein effizienter Einsatz auf Geräten ermöglicht wird.

Ursprüngliche Autoren: Ali Kayyam, Anusha Madan Gopal, M Anthony Lewis

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ali Kayyam, Anusha Madan Gopal, M Anthony Lewis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Transformer-Modell (das Gehirn hinter moderner KI) wie einen hocheffizienten Bibliothekar vor, der eine Frage basierend auf einem riesigen Buch beantworten möchte. Um dies zu tun, verwendet der Bibliothekar für jedes Wort im Buch drei spezifische Werkzeuge:

Die Abfrage (Query - Q): Eine Fragekarte mit der Aufschrift: „Wonach suche ich?“
Der Schlüssel (Key - K): Ein Etikett auf dem Buchrücken, um zu sehen, ob es zur Frage passt.
Der Wert (Value - V): Der eigentliche Seiteninhalt, den man liest, wenn die Übereinstimmung gut ist.

Traditionell erstellt der Bibliothekar für jeden einzelnen Schritt ein brandneues, einzigartiges Werkzeug für jedes Wort. Dies ist das Standard-„QKV“-Setup. Es funktioniert großartig, ist aber schwerfällig. Der Bibliothekar muss für jedes Wort drei schwere Werkzeugkästen tragen, was viel Platz in seinem Rucksack (Speicher) einnimmt und ihn verlangsamt.

Diese Arbeit stellt eine einfache, kühne Frage: „Brauchen wir wirklich drei separate Werkzeuge, oder können wir sie kombinieren?“

Die Forscher testeten drei Wege, um das Werkzeugset des Bibliothekars zu vereinfachen:

Die drei Experimente

1. Der „Gleiche Fragen, gleiches Etikett“-Ansatz (Q = K - V)

Die Idee: Der Bibliothekar verwendet dasselbe Werkzeug, um die Frage zu stellen und das Etikett zu prüfen. Er besitzt jedoch weiterhin ein separates Werkzeug, um die Seite zu lesen.
Das Ergebnis: Dies ist der große Gewinner. Es stellt sich heraus, dass die „Frage“- und die „Etikett“-Werkzeuge so ähnlich sind, dass sie dasselbe Objekt sein können, ohne die Leistung zu beeinträchtigen.
Der Vorteil: Der Bibliothekar muss nun nur noch zwei Werkzeuge tragen statt drei. Dies halbiert den Speicherbedarf für die „Etiketten“ und „Seiten“. Es ist, als würde man erkennen, dass man die linke Hand sowohl halten als auch auf das Ziel zeigen kann, wodurch man spart, eine zweite Karte tragen zu müssen.

2. Der „Gleiche Fragen, gleiche Seite“-Ansatz (Q - K = V)

Die Idee: Der Bibliothekar verwendet das selbe Werkzeug für das Etikett und den Seiteninhalt, behält aber ein separates Werkzeug für die Frage bei.
Das Ergebnis: Dies funktioniert ebenfalls gut, ist aber für Sprachaufgaben etwas weniger effizient als die erste Option. Es ist, als würde man denselben Schlüssel benutzen, um die Tür zu entriegeln und den Tresor zu öffnen – das ist clever, aber das „Frage“-Werkzeug muss dennoch einzigartig bleiben, um die Richtung der Suche korrekt beizubehalten.

3. Der „Ein Werkzeug für alles“-Ansatz (Q = K = V)

Die Idee: Der Bibliothekar versucht, nur ein einziges Werkzeug zu verwenden, um eine Frage zu stellen, ein Etikett zu prüfen und eine Seite zu lesen.
Das Ergebnis: Dies ist eine Katastrophe für Sprachaufgaben. Es ist, als würde man versuchen, einen Hammer zu benutzen, um eine Frage zu stellen, ein Etikett zu prüfen und ein Buch zu lesen, alles gleichzeitig. Die KI wird verwirrt, weil sie die Fähigkeit verliert, „was ich suche“ von „was ich gefunden habe“ zu unterscheiden. Die Leistung sinkt erheblich.

Warum das wichtig ist: Das „Rucksack-Problem“

Der spannendste Teil dieser Arbeit ist nicht nur, die KI intelligenter zu machen, sondern sie leichter zu machen.

Wenn eine KI Text generiert (wie das Schreiben einer Geschichte oder das Beantworten eines Chats), muss sie sich an alles erinnern, was sie bisher geschrieben hat. Dieser Speicher wird KV-Cache genannt.

Standard-KI: Trägt einen schweren Rucksack mit separaten Fächern für „Etiketten“ und „Seiten“.
Neue KI (Q-K=V): Trägt einen Rucksack, bei dem die „Etiketten“ und „Seiten“ in einem einzigen Fach vereint sind.

Die Auswirkungen in der realen Welt:

Doppelter Speicher: Da der Rucksack leichter ist, können Sie doppelt so viele Wörter in den Speicher der KI packen, ohne dass der Platz ausgeht.
Günstigere Server: Wenn Sie ein Unternehmen betreiben, das KI nutzt, können Sie auf der gleichen Anzahl von Computern doppelt so viele Kunden bedienen. Die Arbeit berechnet, dass dies Unternehmen monatlich Tausende von Dollar sparen kann.
Laufen auf Handys: Diese Effizienz macht es viel realistischer, leistungsstarke KI-Modelle direkt auf Ihrem Handy oder einem kleinen Edge-Gerät laufen zu lassen, anstatt einen riesigen Supercomputer in einem Rechenzentrum zu benötigen.

Der „Double Dip“-Bonus

Die Arbeit entdeckte auch, dass dieser neue „leichterer Rucksack“-Trick perfekt mit einem anderen bestehenden Trick namens Head Sharing (verwendet von Modellen wie Llama 2 und Mistral) zusammenarbeitet.

Head Sharing ist wie weniger Bibliothekare zu haben, die aber härter arbeiten.
Projection Sharing (dieser Ansatz aus der Arbeit) ist wie das kleinere Werkzeugset für jeden einzelnen Bibliothekar zu machen.

Wenn man beide kombiniert, erzielt man einen massiven Gewinn. Die Forscher zeigten, dass man durch die Kombination dieser beiden Methoden den benötigten Speicher um 97 % senken kann. Das ist der „Heilige Gral“, um KI auf kleinen Geräten laufen zu lassen.

Zusammenfassung

Die Arbeit beweist, dass das Standard-KI-Design etwas überdimensioniert ist. Indem wir die „Frage“- und „Etikett“-Werkzeuge zu einem einzigen zusammenführen, können wir die Speicherkosten halbieren, fast ohne an Intelligenz einzubüßen. Es ist eine einfache Anpassung, die KI schneller, günstiger und bereit für den Einsatz auf Ihrem Mobilgerät macht.

Technisches Resümee: Benötigen Transformer drei Projektionen?

Problemstellung

Seit der Einführung der Transformer-Architektur ist der Query-, Key- und Value-Mechanismus (QKV) der Attention-Mechanismus der Standard zur Aggregation von Informationen über Sequenzen hinweg. Die Notwendigkeit, jedoch drei unterschiedliche, unabhängige lineare Projektionen für diese Komponenten beizubehalten, bleibt eine offene Frage. Während andere Architekturen wie CNNs und State Space Models (SSMs) oft eher vereinheitlichte interne Repräsentationen nutzen, verharren Transformer in einer tripartiten Struktur. Da sich die Kontextfenster erweitern und die Anforderungen an die Echtzeit-Inferenz steigen, konzentriert sich die Forschungsgemeinschaft auf die architektonische Effizienz, um den quadratischen Flaschenhals der Self-Attention zu mildern. Dieses Paper untersucht, ob die drei Projektionen wirklich notwendig sind oder ob sie eine Redundanz darstellen, die reduziert werden kann, um sowohl die Parameteranzahl als auch – weitaus kritischer – den Inferenz-Speicher-Overhead ohne signifikante Leistungseinbußen zu senken.

Methodik

Die Autoren schlagen drei „Projektions-Sharing“-Beschränkungen vor und evaluieren diese systematisch, welche die Anzahl der gelernten Transformationen im Attention-Mechanismus progressiv reduzieren:

Q=K-V (Vereinheitlichter Query-Key): Die Query- und Key-Projektionen werden vereinheitlicht ( $Q=K$ ), während die Value-Projektion separat bleibt. Dies führt zu einer symmetrischen Attention-Matrix ( $KK^T$ ). Um die Einschränkungen der Symmetrie bei sequentiellen Aufgaben zu adressieren, führen die Autoren eine Variante $(Q=K-V)^+$ ein, die durch 2D-Positionskodierungen Asymmetrie injiziert.
Q-K=V (Vereinheitlichter Key-Value): Die Key- und Value-Projektionen werden vereinheitlicht ( $K=V$ ), während die Query separat bleibt. Dies bewahrt asymmetrische Attention-Maps ( $QK^T$ ) und erzwingt eine Form der Gewichtsbindung (Weight Tying) zwischen Keys und Values.
Q=K=V (Einzelne Projektion): Alle drei Rollen teilen sich eine einzige Projektionsmatrix. Dies kombiniert die Symmetrie der ersten Variante mit dem repräsentativen Engpass der zweiten.

Die Studie untersucht zudem die Orthogonalität dieser Projektions-Sharing-Strategien mit bestehenden „Head-Sharing“-Techniken wie Grouped Query Attention (GQA) und Multi-Query Attention (MQA). Die Autoren hypothetisieren, dass die Kombination von Projektions-Sharing (Beschränkung von $K=V$ ) mit Head-Sharing (Reduzierung der Anzahl der KV-Heads) kumulative Gewinne in der Speichereffizienz erzielen kann.

Die Experimente wurden über 12 diverse Aufgaben durchgeführt:

Synthetisches Schließen: Fünf Aufgaben zur Listenmanipulation (Reverse, Sort, Sub, Swap, Copy).
Computer Vision: Bildklassifizierung auf MNIST, FashionMNIST, CIFAR-10, CIFAR-100 und TinyImageNet sowie Set-Anomalieerkennung und semantische Segmentierung.
Sprachmodellierung: Pre-Training von GPT-ähnlichen Modellen mit 300 Mio. und 1,2 Mrd. Parametern auf 10 Milliarden Token aus dem SlimPajama-Datensatz.

Kernergebnisse

1. Performance- vs. Effizienz-Trade-offs

Q-K=V (Optimales Gleichgewicht): Diese Variante erwies sich als klarer Gewinner. In der Sprachmodellierung erreichte sie eine 50%ige Reduktion der KV-Cache-Größe bei nur 3,1% Degradation der Perplexität (bei 300M-Modellen) bzw. 2,48% (bei 1,2B-Modellen). Sie behielt eine wettbewerbsfähige Leistung bei Vision- und synthetischen Aufgaben bei.
Q=K-V (Symmetrie-Limitierung): Obwohl diese Variante eine Trainingsqualität vergleichbar mit dem Baseline-Modell erreichte, bot sie keinerlei Vorteile beim Inferenz-Speicher, da sie immer noch separate K- und V-Tensoren cachen muss. Zudem limitierten die symmetrischen Attention-Maps die Effektivität im kausalen Sprachmodellierung, was zu einer Perplexitäts-Degradation von 4,9% führte.
Q=K=V (Übermäßig restriktiv): Diese aggressive Vereinfachung verursachte einen katastrophalen Leistungsverlust (25,4% Perplexitäts-Degradation in der Sprachmodellierung), was darauf hindeutet, dass das Erzwingen einer einzigen Projektion für alle drei Rollen für komplexe Aufgaben zu restriktiv ist.

2. Synergie mit Head-Sharing

Die Studie zeigt, dass Projektions-Sharing und Head-Sharing strikt komplementär sind.

Die Kombination von Q-K=V mit GQA-4 (4 Gruppen) resultierte in einer 87,5%igen Cache-Reduktion bei einer Perplexitäts-Degradation von 3,9%.
Die Kombination von Q-K=V mit MQA (1 Gruppe) erreichte eine 96,9%ige Cache-Reduktion bei einer Perplexitäts-Degradation von 4,8%.
Auf der 1,2B-Skala reduzierte die Q-MQA-Konfiguration den KV-Cache um das 67-fache (von 5,9 GB auf 8-8 MB pro Nutzer bei 32k Kontext), während sie eine nahezu identische Genauigkeit im Vergleich zur Baseline bei Downstream-Aufgaben beibehielt.

3. Skalierungsverhalten

Die relativen Rankings der Varianten blieben stabil, während die Modellgröße von 300 Mio. auf 1,2 Mrd. Parameter anstieg. Bemerkenswerterweise schienen größere Modelle etwas robuster gegenüber den Projektionsbeschränkungen zu sein, wobei die Perplexitäts-Degradation für Q-K=V von 3,1% bei 300M auf 2,48% bei 1,2B sank.

Bedeutung und Ansprüche

Das Paper behauptet, dass Projektions-Sharing eine unterexplorierte Instanz des Weight Tying ist, die direkte, quantifizierbare Vorteile für den Inferenz-Speicher bietet, welche besonders wertvoll für Edge-Deployment und Long-Context-Anwendungen sind.

Warum Q-K=V funktioniert: Die Autoren argumentieren, dass Keys und Values ähnliche Repräsentationsräume besetzen können und Attention effektiv in einem Low-Rank-Regime operiert, in dem die Unterscheidung zwischen K und V weniger kritisch ist als die Asymmetrie zwischen Q und der geteilten K-V-Repräsentation. Die empirische Analyse zeigte eine hohe Kosinus-Ähnlichkeit (0,73) zwischen den Standard-K- und V-Projektionsmatrizen, was auf eine inhärente Redundanz hindeutet.
Warum Q=K-V scheitert: Das Erzwingen von $Q=K$ erzeugt symmetrische Attention-Maps, was die für kausale Abhängigkeiten in der Sprachmodellierung erforderliche Richtungsabhängigkeit bricht.
Praktische Auswirkungen: Der primäre Beitrag ist nicht nur die Reduktion der Parameteranzahl (die moderat ist, ~7-14% Reduktion der Gesamtmodellgröße), sondern die 50%ige Reduktion des KV-Cache-Speichers. Dies ermöglicht:
- 2× längere Kontextfenster für das gleiche Speicherbudget.
- 2× höheren Durchsatz (gleichzeitige Nutzer pro GPU).
- Signifikante Kostensenkungen (z. B. eine projizierte 43%ige Reduktion der Serving-Kosten für ein Code-Completion-Modell).

Die Autoren kommen zu dem Schluss, dass, obwohl keine einzelne Architektur über alle Domänen hinweg gewinnt, die Q-K=V-Konfiguration das beste Qualitäts-Effizienz-Verhältnis für sequentielle Aufgaben bietet und ihre Kombination mit Head-Sharing-Techniken ein praktisches On-Device-Inference für Milliarden-Parameter-Modelle ermöglicht. Der Code ist öffentlich zugänglich, um die weitere Forschung zu fördern.