💬 NLP

Do Value Vectors in Deep Layers Need Context from the Residual Stream?

Das Papier schlägt „Bank of Values“ (BoV) vor, einen neuartigen Attention-Mechanismus für tiefe Transformer-Schichten, der kontextfreie, tokenspezifische Value-Vektoren nutzt, die in einer Lookup-Tabelle gespeichert sind, und zeigt eine verbesserte Leistung und Effizienz gegenüber standardmäßigen kontextabhängigen Value-Vektoren über mehrere Modellgrößen und Benchmarks hinweg auf.

Ursprüngliche Autoren: Muyu He, Yuchen Liu, Qingya Huang, Li Zhang

Veröffentlicht 2026-06-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Muyu He, Yuchen Liu, Qingya Huang, Li Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine riesige Bibliothek vor, in der jedes Buch (ein Wort oder „Token“) eine spezifische Anweisung enthält, wie es in einer Geschichte zu verstehen ist. In moderner KI (Large Language Models) werden diese Bücher von einem Team von Bibliothekaren (den „Attention-Layern“) gelesen, die entscheiden, wie viel Aufmerksamkeit sie jedem Buch basierend auf dem bisherigen Kontext der Geschichte schenken sollen.

Normalerweise nehmen diese Bibliothekare das Buch, betrachten den Kontext der aktuellen Geschichte und schreiben dann eine neue Menge an Notizen (einen sogenannten „Value-Vektor“) für dieses Buch, bevor sie es weitergeben. Dieser Prozess ist vergleichbar damit, dass ein Bibliothekar die Zusammenfassung eines Buches jedes Mal neu schreibt, wenn er es liş, basierend darauf, was auf den vorherigen Seiten passiert ist.

Die große Entdeckung
Die Forscher in dieser Arbeit haben etwas Überraschendes herausgefunden: Für die Bibliothekare, die in den hinteren Räumen der Bibliothek (den tieferen Layern) arbeiten, müssen sie die Notizen eigentlich gar nicht basierend auf dem Kontext der Geschichte umschreiben.

Stattdessen arbeiten diese Tiefen-Layer-Bibliothekare am besten, wenn sie einfach eine vorgeschriebene, perfekte Zusammenfassung des Buches greifen, die sich nie ändert, egal welche Geschichte gerade erzählt wird. Es stellt sich heraus, dass für diese spezifischen Schichten die „ursprüngliche, kontextfreie“ Information über das Wort wertvoller ist als die „kontextabhängigen“ Notizen, die sie normalerweise erstellen.

Die Lösung: Die „Bank der Werte“ (Bank of Values)
Basierend darauf haben die Autoren ein neues System namens Bank of Values (BoV) entwickelt.

Der alte Weg (Standard-Attention): Jedes Mal, wenn die KI ein Wort liest, berechnet sie einen neuen, komplexen Satz von Notizen für dieses Wort, wobei sie die gesamte bisherige Geschichte berücksichtigen. Dies ist rechenintensiv und erfordert viel Speicher, um diese temporären Notizen zu speichern.
Der neue Weg (BoV): Für die tiefen Layer hört die KI auf, diese Notizen während des Prozesses („on the fly“) zu berechnen. Stattdessen besitzt sie eine riesige, statische „Bank“ (eine Nachschlagetabelle), in der für jedes mögliche Wort im Vokabular die perfekte, vorab berechnete Notiz dauerhaft gespeichert ist.
- Wenn die KI die Notiz für ein Wort benötigt, schlägt sie diese einfach in der Bank nach.
- Es ist, als hätte man ein Wörterbuch, in dem die Definition bereits geschrieben und gedruckt ist, anstatt dass ein Team von Autoren jedes Mal, wenn man nach einem Wort fragt, eine neue Definition verfasst.

Warum ist das besser?

Es ist schneller und günstiger: Da die KI in den tiefen Layern nicht die schwere Mathematik des „Umschreibens“ der Notizen durchführen muss, spart sie eine massive Menge an Rechenleistung (FLOPs).
Es spart Speicher: Auf dem alten Weg musste die KI einen „Cache“ (einen temporären Zwischenspeicher) aller bisher für die aktuelle Geschichte geschriebenen Notizen mitführen. Im neuen Weg muss die KI diesen schweren Cache nicht mit sich herumtragen, da die Notizen dauerhaft in der „Bank“ gespeichert sind. Sie greift einfach nur das, was sie braucht, aus dem Regal.
Es funktioniert besser: Die Forscher haben dies an KI-Modellen verschiedener Größen getestet. Sie fanden heraus, dass die Verwendung dieser „Bank“-Methode die KI tatsächlich intelligenter (geringere Fehlerraten) und effizienter machte, obwohl sie weniger Arbeit verrichtete.

Der Haken (und die Lösung)
Die Arbeit stellt fest, dass man dies nicht für jeden Bibliothekar in der Bibliothek tun kann. Die Bibliothekare an der vordersten Front (die flachen/shallow Layers) müssen immer noch den Kontext der Geschichte betrachten, um die Wörter zu verstehen. Aber für die Bibliothekare tief im Hintergrund ist die „Bank“-Methode ein Wendepunkt.

Zusammenfassend
Die Arbeit argumentet, dass in den tiefen Teilen eines KI-Gehirns Wörter nicht basierend auf der Geschichte neu interpretiert werden müssen; sie benötigen lediglich ihre ursprüngliche, reine Identität. Indem man diese Identitäten in einer permanenten „Bank“ speichert und sie nachschlägt, anstatt sie zu berechnen, wird die KI schneller, verbraucht weniger Speicher und arbeitet besser.

Technisches Resümee: Bank of Values (BoV)

Problemstellung
Die Transformer-Architektur, das Rückgrat moderner Large Language Models (LLMs), basiert auf Attention-Layern, in denen Query-, Key- und Value-Vektoren aus dem Residual Stream berechnet werden. Während der Residual Stream effektiv Kontext für Queries und Keys akkumuliert, bleibt die Notwendigkeit von Kontext für Value-Vektoren in tiefen Layern unteruntersucht. Standardmäßige Attention berechnet Value-Vektoren ( $V = x_i W_V$ ) unter Verwendung des Residual Streams ( $x_i$ ), welcher die ursprünglichen Token-Informationen mit dem akkumulierten Kontext vermischt. Jüngste Arbeiten, die versuchen, kontextfreie Token-Informationen in Value-Vektoren zu injizieren (z. B. Value Residual Learning, SVFormer), zeigten gemischte Ergebnisse, da sie oft entweder daran scheitern, den spezifischen Beitrag kontextfreier Komponenten zu isolieren, oder diese ineffizient über alle Layer hinweg anwenden. Das Kernproblem ist die Frage, ob tiefe Layer tatsächlich kontextabhängige Value-Vektoren benötigen oder ob sie mehr davon profitieren würden, die ursprünglichen, kontextfreien Token-Informationen ohne den Rechenaufwand der Projektion des Residual Streams zu bewahren.

Methodik
Die Autoren schlagen eine systematische Untersuchung der Zusammensetzung von Value-Vektoren vor, gefolgt von einem neuartigen Architekturdesign namens Bank of Values (BoV).

Systematische Ablationsstudie:
Unter Verwendung eines 12-lagigen Modells mit 135 Mio. Parametern führten die Autoren Experimente entlang von vier Achsen durch, um die optimale Zusammensetzung von Value-Vektoren in tiefen Layern zu bestimmen:
- Additiv vs. Substitutiv: Vergleich des vollständigen Ersatzes des Standard-Value-Vektors durch eine kontextfreie Quelle gegenüber einer linearen Kombination von beidem.
- Koeffizienten: Testen von lernbaren (unbeschränkten) Koeffizienten gegenüber festen Koeffizienten.
- Quelle der kontextfreien Information: Vergleich einer layerspezifischen Projektion des initialen Embeddings ( $x_0 W_V$ ) mit einem geteilten Value-Vektor aus dem ersten Layer ( $V_1$ ).
- Ziel-Layer: Evaluierung der Auswirkungen der Anwendung dieser Änderungen auf alle Layer, jedes zweite Layer oder nur das letzte Drittel der Layer.
Wichtigste Erkenntnisse aus der Ablation:
- Tiefe Layer bevorzugen stark kontextfreie Komponenten ( $\tilde{V}$ ) gegenüber kontextabhängigen Komponenten ( $V$ ). In additiven Varianten waren die gelernten Koeffizienten für $\tilde{V}$ signifikant größer (oft >10) als die für $V$ (oft gegen 0 getrieben).
- Der Ersatz von $V$ durch $\tilde{V}$ führt nur im letzten Drittel der Layer zu signifikanten Leistungssteigerungen; die Anwendung auf flache Layer verschlechtert die Leistung.
- Sob sobald tiefe Layer Zugang zu einer hochwertigen kontextfreien Komponente haben, bietet das Hinzufügen der kontextabhängigen Komponente keinen nennenswerten Nutzen mehr.
- Layerspezifische kontextfreie Vektoren ( $x_0 W_V$ ) übertreffen geteilte Vektoren ( $V_1$ ), da sie es jedem Layer ermöglichen, den Token in einen einzigartigen Subraum zu projizieren.
Bank of Values (BoV) Architektur:
Basierend auf der Erkenntnis, dass tiefe Layer von kontextfreien Value-Vektoren profitieren, die deterministisch und unabhängig von der Eingabesequenz sind, schlagen die Autoren BoV vor.
- Mechanismus: In dem letzten Drittel der Layer wird die Standard-Projektion der dichten Value-Matrix ( $x_i W_V$ ) durch eine dünnbesetzte Lookup-Tabelle ( $E_V$ ) ersetzt.
- Implementierung: Für einen Token mit der ID $i$ wird der Value-Vektor direkt als $v_i = \gamma_v E_V[i]$ abgerufen, wobei $E_V \in \mathbb{R}^{|V| \times d}$ eine lernbare Parameter-Tabelle ist, die vorberechnete Value-Vektoren für jeden Token des Vokabulars speichert, und $\gamma_v$ ein lernbarer Skalierungskoeffizient ist.
- Inferenz-Effizienz: Im Gegensatz zur Standard-Attention, die Value-Vektoren für alle vorherigen Tokens zwischenspeichert (was $O(Td)$ Speicher pro Layer erfordert), speichert BoV keine Werte im Cache. Stattdessen führt es während des Forward-Passes eine $O(Td)$ Gather-Operation aus einer statischen Parameter-Tabelle $E_V$ durch. Die Tabelle $E_V$ kann in den Host-Speicher ausgelagert werden, wobei nur die benötigten Einträge vorab geladen werden.

Wichtigste Beiträge

Erkenntnis: Die Arbeit zeigt, dass Value-Vektoren in tiefen Transformer-Layern primstär von kontextfreien, ursprünglichen Token-Informationen profitieren und dass die kontextabhängige Komponente, die aus dem Residual Stream abgeleitet wird, in diesen Layern weitgehend redundant ist.
Architektur: Einführung von Bank of Values (BoV), einer Methode, die die Berechnung von Value-Vektoren in tiefen Layern durch einen statischen Lookup aus einer Token-spezifischen Tabelle ersetzt.
Effizienz: BoV eliminiert die Notwendigkeit, Value-Vektoren für tiefe Layer zu berechnen und zu speichern, was den Speicherbedarf für die Long-Context-Inferenz reduziert und die FLOPs pro Token senkt.

Ergebnisse
Die Autoren evaluierten BoV auf Modellen mit 135 Mio. und 780 Mio. Parametern, die unter rechenkontrollierten Budgets ( $1,50 \times 10^{18}$ bzw. $3,91 \times 10^{19}$ FLOPs) trainiert wurden.

Validierungsverlust: BoV erreichte einen niedrigeren Validierungsverlust im Vergleich zu Standard-Attention-Baselines auf einem Hold-out-Split des ClimbMix-Datensatzes bei beiden Modellskalierungen.
Benchmark-Leistung: Bei der 780M-Skala verbesserte BoV die durchschnittliche Punktzahl über 21 DCLM CORE Benchmarks im Vergleich zur Standard-Attention-Baseline.
Vergleich: BoV erreichte oder übertraf bestehende Methoden, die Token-Informationen in Value-Vektoren injizieren (z. B. Value Residual Learning), während es weniger Speicher und weniger FLOPs verbrauchte. Insbesondere übertraf es Methoden, die Token-Informationen zusätzlich zum Residual-Stream-Berechnungsprozess hinzufügen, welche dennoch den Aufwand für die Berechnung und das Caching der kontextabhängigen Werte verursachen.

Bedeutung
Die Arbeit behauptet, dass BoV eine effizientere Alternative zur Standard-Attention für tiefe Layer bietet, indem sie die Erkenntnis nutzt, dass diese Layer keinen Kontext benötigen, um Value-Vektoren zu berechnen. Indem BoV die Value-Vektoren als dünnbesetzte Modellparameter statt als dynamische Berechnungen persistiert, reduziert BoV den Speicherbedarf für die Long-Context-Inferenz und die Rechenkosten, ohne die Modellleistung zu beeinträchtigen (und in einigen Fällen sogar zu verbessern). Dies stellt das Standard-Paradigma infrage, alle Attention-Vektoren aus dem Residual Stream zu berechnen, und deutet einen Weg zu effizienteren Transformer-Architekturen auf.

Technisches Resümee: Bank of Values (BoV)

Mehr davon