💬 NLP

Do Value Vectors in Deep Layers Need Context from the Residual Stream?

Het artikel stelt "Bank of Values" (BoV) voor, een nieuw aandachtmechanisme voor diepe transformerlagen dat gebruikmaakt van contextvrije, tokenspecifieke waardevectoren die zijn opgeslagen in een lookup-tabel, waarbij een verbeterde prestatie en efficiëntie ten opzichte van standaard contextafhankelijke waardevectoren wordt aangetoond over meerdere modelgroottes en benchmarks.

Oorspronkelijke auteurs: Muyu He, Yuchen Liu, Qingya Huang, Li Zhang

Gepubliceerd 2026-06-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Muyu He, Yuchen Liu, Qingya Huang, Li Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een gigantische bibliotheek voor waar elk boek (een woord of "token") een specifieke set instructies heeft over hoe het begrepen moet worden in een verhaal. In moderne AI (Large Language Models) worden deze boeken gelezen door een team van bibliothecarissen (de "attention layers") die beslissen hoeveel aandacht ze aan elk boek moeten schenken op basis van de context van het verhaal tot nu toe.

Normaal gesproken nemen deze bibliothecarissen het boek, kijken ze naar de huidige context van het verhaal, en schrijven dan een nieuwe set aantekeningen (een "value vector" genoemd) voor dat boek voordat ze het doorgeven. Dit proces is als een bibliothecaris die de samenvatting van een boek telkens opnieuw schrijft terwijl hij het leest, gebaseerd op wat er op de voorgaande pagina's is gebeurd.

De Grote Ontdekking
De onderzoekers in dit artikel ontdekten iets verrassends: voor de bibliothecarissen die werken in de achterkamers van de bibliotheek (de diepere lagen van de AI), hoeven ze eigenlijk geen aantekeningen meer te herschrijven op basis van de context van het verhaal.

In plaats daarvan werken deze diepe lagen het beste als ze gewoon een vooraf geschreven, perfecte samenvatting van het boek pakken die nooit verandert, ongeacht welk verhaal er verteld wordt. Het blijkt dat voor deze specifieke lagen de "originele, contextvrije" informatie over het woord waardevoller is dan de "contextafhankelijke" aantekeningen die ze normaal gesproken maken.

De Oplossing: De "Bank of Values"
Op basis hiervan hebben de auteurs een nieuw systeem ontwikkeld genaamd Bank of Values (BoV).

De Oude Manier (Standaard Attention): Elke keer dat de AI een woord leest, berekent het een nieuwe, complexe set aantekeningen voor dat woord, rekening houdend met het hele verhaal tot nu toe. Dit is rekentechnisch duur en vereist veel geheugen om deze tijdelijke aantekeningen op te slaan.
De Nieuwe Manier (BoV): Voor de diepe lagen stopt de AI met het on-the-fly berekenen van deze aantekeningen. In plaats daarvan heeft het een gigantische, statische "Bank" (een tabel met een opzoektabel) waar voor elk mogelijk woord in de woordenschat een perfect, vooraf berekende aantekening permanent is opgeslagen.
- Wanneer de AI de aantekening voor een woord nodig heeft, zoekt hij deze simpelweg op in de bank.
- Het is alsof je een woordenboek hebt waar de definitie al geschreven en gedrukt staat, in plaats van dat er een team van schrijvers moet gaan zitten om elke keer een nieuwe definitie samen te stellen wanneer je om een woord vraagt.

Waarom is dit beter?

Het is Sneller en Goedkoper: Omdat de AI niet de zware wiskunde hoeft te doen om de aantekeningen te "herschrijven" voor diepe lagen, bespaart het een enorme hoeveelheid rekenkracht (FLOPs).
Het Bespaart Geheugen: In de oude manier moest de AI een "cache" (een tijdelijk opslaggebied) bijhouden van alle aantekeningen die tot nu toe voor het huidige verhaal zijn geschreven. In de nieuwe manier, aangezien de aantekeningen permanent in de "Bank" zijn opgeslagen, hoeft de AI die zware cache niet mee te slepen. Hij pakt gewoon wat hij nodig heeft van de plank.
Het Werkt Beter: De onderzoekers hebben dit getest op AI-modellen van verschillende groottes. Ze ontdekten dat het gebruik van deze "Bank"-methode de AI daadwerkelijk slimmer maakte (lagere foutmarges) en efficiënter dan de standaardmethode, ook al deed het minder werk.

Het Nadeel (en de Oplossing)
Het artikel merkt op dat je dit niet voor elke bibliothecaris in de bibliotheek kunt doen. De bibliothecarissen aan de voorkant (de ondiepe lagen) moeten nog steeds naar de context van het verhaal kijken om de woorden te begrijpen. Maar voor de bibliothecarissen diep in de achterkamers is de "Bank"-methode een game-changer.

Samenvattend
Het artikel betoogt dat in de diepe delen van het brein van een AI, woorden niet opnieuw geïnterpreteerd hoeven te worden op basis van het verhaal; ze hebben alleen hun originele, pure identiteit nodig. Door deze identiteiten in een permanente "Bank" op te slaan en ze op te zoeken in plaats van ze te berekenen, wordt de AI sneller, gebruikt hij minder geheugen en presteert hij beter.

Technische Samenvatting: Bank of Values (BoV)

Probleemstelling
De transformer-architectuur, de ruggengraat van moderne Large Language Models (LLM's), leunt op attention-lagen waarbij query-, key- en value-vectoren worden berekend vanuit de residual stream. Terwijl de residual stream effectief context accumuleert voor queries en keys, blijft de noodzaak van context voor value-vectoren in diepe lagen onderbelicht. Standaard attention berekent value-vectoren ( $V = x_i W_V$ ) met behulp van de residual stream ( $x_i$ ), wat de originele token-informatie mengt met geaccumuleerde context. Recente werken die proberen context-vrije token-informatie in value-vectoren te injecteren (bijv. Value Residual Learning, SVFormer), hebben gemengde resultaten laten zien, waarbij ze vaak falen in het isoleren van de specifieke bijdrage van context-vrije componenten of deze inefficiënt toepassen over alle lagen. Het kernprobleem dat wordt geadresseerd is of diepe lagen werkelijk context-afhankelijke value-vectoren nodig hebben, of dat ze meer baat zouden hebben bij het behoud van de originele, context-vrije token-informatie zonder de computationele overhead van het projecteren van de residual stream.

Methodologie
De auteurs stellen een systematische onderzoek naar de compositie van value-vectoren voor, gevolgd door een nieuw architecturaal ontwerp genaamd Bank of Values (BoV).

Systematische Ablatie-studie:
Gebruikmakend van een model met 12 lagen en 135 miljoen parameters, voerden de auteurs experimenten uit over vier assen om de optimale compositie van value-vectoren in diepe lagen te bepalen:
- Additief vs. Substitutief: Het vergelijken van het volledig vervangen van de standaard value-vector door een context-vrije bron versus het lineair combineren van deze twee.
- Coëfficiënten: Het testen van leerbare (onbegrensde) coëfficiënten tegenover vaste coëfficiënten.
- Bron van Context-Vrije Informatie: Het vergelijken van een laag-specifieke projectie van de initiële embedding ( $x_0 W_V$ ) met een gedeelde value-vector van de eerste laag ( $V_1$ ).
- Doel-lagen: Het evalueren van de impact van het toepassen van deze wijzigingen op alle lagen, elke andere laag, of alleen op het laatste derde deel van de lagen.
Belangrijkste bevindingen uit de ablatie:
- Diepe lagen geven sterk de voorkeur aan context-vrije componenten ( $\tilde{V}$ ) boven context-afhankelijke componenten ( $V$ ). In additieve varianten waren de geleerde coëfficiënten voor $\tilde{V}$ aanzienlijk groter (vaak >10) dan die voor $V$ (vaak gedreven naar 0).
- Het substitueren van $V$ door $\tilde{V}$ levert significante prestatiewinst op in slechts het laatste derde deel van de lagen; het toepassen hiervan op ondiepe lagen verslechtert de prestaties.
- Zodra diepe lagen toegang hebben tot een hoogwaardige context-vrije component, biedt het toevoegen van de context-afhankelijke component een verwaarloosbaar voordeel.
- Laag-specifieke context-vrije vectoren ( $x_0 W_V$ ) presteren beter dan gedeelde vectoren ( $V_1$ ), omdat ze elke laag in staat stellen de token in een unieke subspace te projecteren.
Bank of Values (BoV) Architectuur:
Op basis van de bevinding dat diepe lagen baat hebben bij context-vrije value-vectoren die deterministisch en onafhankelijk zijn van de input-sequentie, stellen de auteurs BoV voor.
- Mechanisme: In het laatste derde deel van de lagen wordt de standaard dichte value-matrix projectie ( $x_i W_V$ ) vervangen door een sparse lookup table ( $E_V$ ).
- Implementatie: Voor een token met ID $i$ , wordt de value-vector direct opgehaald als $v_i = \gamma_v E_V[i]$ , waarbij $E_V \in \mathbb{R}^{|V| \times d}$ een leerbare parametertabel is die de vooraf berekende value-vectoren voor elk token in de vocabulaire opslaat, en $\gamma_v$ een leerbare schalingscoëfficiënt is.
- Inference Efficiëntie: In tegenstelling tot standaard attention, die value-vectoren voor alle voorgaande tokens cacheert (wat $O(Td)$ geheugen per laag vereist), cacheert BoV geen waarden. In plaats daarvan voert het een $O(Td)$ gather-operatie uit vanuit de statische parametertabel $E_V$ tijdens de forward pass. De tabel $E_V$ kan naar het hostgeheugen worden verplaatst, waarbij alleen de benodigde entries worden vooraf gehaald (prefetched).

Belangrijkste Bijdragen

Inzicht: Het artikel toont aan dat value-vectoren in diepe transformer-lagen primair baat hebben bij context-vrije, originele token-informatie, en dat de context-afhankelijke component afgeleid van de residual stream grotendeels redundant is in deze lagen.
Architectuur: Introductie van Bank of Values (BoV), een methode die de berekening van value-vectoren in diepe lagen vervangt door een statische lookup uit een token-specifieke tabel.
Efficiëntie: BoV elimineert de noodzaak om value-vectoren te berekenen en te cachen voor diepe lagen, wat het geheugengebruik voor long-context inference vermindert en de FLOPs per token verlaagt.

Resultaten
De auteurs evalueerden BoV op modellen van 135M en 780M parameters, getraind onder compute-gecontroleerde budgetten ( $1.50 \times 10^{18}$ en $3.91 \times 10^{19}$ FLOPs, respectievelijk).

Validatieverlies: BoV behaalde een lager validatieverlies vergeleken met standaard attention-baselines op een hold-out split van de ClimbMix dataset bij beide model-schalen.
Benchmark Prestaties: Op de 780M schaal verbeterde BoV de gemiddelde score over 21 DCLM CORE benchmarks vergeleken met de standaard attention-baseline.
Vergelijking: BoV kwam overeen met of overtrof bestaande methoden die token-informatie in value-vectoren injecteren (bijv. Value Residual Learning), terwijl het minder geheugen en minder FLOPs gebruikte. Specifiek presteerde het beter dan methoden die token-informatie toevoegden bovenop de residual stream-berekening, die nog steeds de kosten met zich meebrachten van het berekenen en cachen van de context-afhankelijke waarden.

Betekenis
Het artikel beweert dat BoV een efficiënter alternatief biedt voor standaard attention voor diepe lagen door gebruik te maken van het inzicht dat deze lagen geen context nodig hebben om value-vectoren te berekenen. Door value-vectoren te bestendigen als sparse modelparameters in plaats van dynamische berekeningen, vermindert BoV de geheugenvoetafdruk voor long-context inference en de computationele kosten, zonder de modelprestaties op te offeren (en in sommige gevallen zelfs te verbeteren). Dit daagt het standaard paradigma uit om alle attention-vectoren vanuit de residual stream te berekenen en suggereert een pad naar efficiëntere transformer-architecturen.

Technische Samenvatting: Bank of Values (BoV)

Meer zoals dit