💬 NLP

Patches of Nonlinearity: Instruction Vectors in Large Language Models

Dit onderzoek onderzoekt mechanistisch hoe taalmodellen instructies verwerken door de ontdekking van 'Instruction Vectors' (IVs), die als niet-lineaire circuit-selectoren fungeren om specifieke informatiepaden in latere lagen te activeren.

Oorspronkelijke auteurs: Irina Bigoulaeva, Jonas Rohweder, Subhabrata Dutta, Iryna Gurevych

Gepubliceerd 2026-02-10

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Irina Bigoulaeva, Jonas Rohweder, Subhabrata Dutta, Iryna Gurevych

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een Large Language Model (zoals ChatGPT) een gigantische, hypermoderne bibliotheek is. De bibliothecaris is ongelooflijk slim, maar hij werkt in een enorme, donkere hal met miljoenen gangen.

Tot nu toe dachten wetenschappers dat als je de bibliothecaris een opdracht gaf (bijvoorbeeld: "Vertaal dit naar het Frans"), hij gewoon een rechte lijn liep naar het juiste vak met Franse boeken. Maar dit nieuwe onderzoek, "Patches of Nonlinearity", laat zien dat het in de hersenen van de AI veel spannender en ingewikkelder zit dan dat.

Hier is de uitleg in begrijpelijke taal:

1. De "Instructie-Zak": De AI maakt een snelle samenvatting

Normaal gesproken denken we dat een AI een opdracht stap voor stap verwerkt terwijl hij leest. Maar deze onderzoekers ontdekten dat de AI eigenlijk een soort "mentale spiekbriefje" maakt.

Zodra de AI de instructie heeft gelezen (bijvoorbeeld: "Geef de tegenstelling van dit woord"), maakt hij direct een compact pakketje informatie aan, een Instruction Vector (IV). Zie het als een kleine, digitale envelop die hij in zijn zak steekt voordat hij aan de eigenlijke vraag begint. Hij hoeft de hele instructie niet meer steeds opnieuw te lezen; hij heeft de "essentie" al in zijn zak.

2. De "Superkracht van Samenwerking": Niet 1+1=2, maar 1+1=5

Dit is het meest verrassende deel van het onderzoek. Wetenschappers dachten altijd dat de verschillende lagen van een AI-brein als losse schakels in een ketting werkten: laag 1 doet dit, laag 2 doet dat, en samen vormen ze een resultaat.

Maar de onderzoekers ontdekten "Superadditiviteit".

De analogie: Stel je voor dat je een team hebt van twee muzikanten.

Als de drummer alleen speelt, is het oké.
Als de gitarist alleen speelt, is het ook oké.
Maar zodra ze samen spelen, ontstaat er ineens een magische symfonie die veel groter en krachtiger is dan de som van de twee losse muzikanten.

In de AI werkt het ook zo: bepaalde lagen in het model lijken op zichzelf misschien niet zo belangrijk, maar zodra ze tegelijkertijd samenwerken, "ontploft" de intelligentie van het model en begrijpt het de opdracht ineens perfect. Dit noemen ze niet-lineaire interactie. Het is geen simpele optelsom, het is een samenspel.

3. De "Schakelaar": De instructie bepaalt de route

De onderzoekers ontdekten ook dat die "spiekbriefjes" (de Instruction Vectors) fungeren als een soort verkeersregelaar of schakelaar.

Zodra de AI het spiekbriefje uit zijn zak haalt, zegt het briefje tegen de rest van het brein: "Hey, we gaan nu niet rekenen, we gaan nu taal vertalen! Gebruik de 'taal-route' en negeer de 'reken-route'!" De instructie bepaalt dus welk specifiek "circuit" of welke route in de enorme bibliotheek van de AI wordt geactiveerd om de vraag te beantwoorden.

Waarom is dit belangrijk?

Als we willen dat AI veiliger, betrouwbaarder en slimmer wordt, moeten we begrijpen hoe hij denkt.

Tot nu toe probeerden we de AI te begrijpen door naar losse onderdelen te kijken (zoals een motor uit elkaar halen). Dit onderzoek zegt eigenlijk: "Ho stop! Je kunt de magie van een symfonie niet begrijpen door alleen naar de trommel en de gitaar apart te kijken; je moet kijken naar hoe ze samen de muziek maken."

Kortom: De AI is geen simpele rekenmachine die stap voor stap een lijstje afwerkt, maar een creatieve dirigent die razendsnel samenvattingen maakt en complexe, samenwerkende netwerken van informatie gebruikt om jouw vragen te beantwoorden.

Technische Samenvatting: Patches of Nonlinearity

1. Probleemstelling (The Problem)

Hoewel instruction tuning (zoals SFT en DPO) essentieel is voor de huidige generatie Large Language Models (LLM's), is het mechanistische proces achter het volgen van instructies nog onvoldoende begrepen. De centrale vraag is: hoe representeren en verwerken modellen instructies intern?

Bestaande theorieën gaan vaak uit van de linear representation hypothesis, die stelt dat concepten worden opgeslagen in lineaire subruimtes. Bovendien vertrouwen veel methoden voor circuit discovery op additieve interacties tussen componenten (zoals attention heads of MLP-lagen). Dit onderzoek stelt dat deze aannames tekortschieten wanneer het gaat om de complexe, synergetische interactie die nodig is voor instructievolging.

2. Methodologie (Methodology)

De auteurs onderzoeken de interne mechanismen van de OLMo-2 modellen (zowel 1B als 7B parameters) via verschillende post-training stadia (Base, SFT en DPO).

Causale Mediatie & Activation Patching: Om te bepalen waar instructie-informatie is gelokaliseerd, gebruiken ze activation patching. Ze vergelijken de activaties van een model dat een volledige instructie krijgt met een model dat alleen de query krijgt, en "patchen" ze specifieke lagen om te zien welke informatie essentieel is voor het juiste antwoord.
Superadditiviteit Test: Ze testen of de gecombineerde invloed van twee lagen groter is dan de som van hun individuele invloeden ( $f(x_i \cup x_j) \geq f(x_i) + f(x_j)$ ).
Locally-Linear Surrogate Maps: Om de beperkingen van lineaire aannames te omzeilen, stellen ze een nieuwe methode voor. Ze modelleren de Transformer als een verzameling van lokaal-lineaire, token-naar-token kaarten. Hierbij worden niet-lineaire operaties (zoals ReLU in MLP's of LayerNorm) benaderd met lokale lineaire surrogaten.
Pad-tracing (Path Tracing): Ze volgen de informatiestromen (paden) van de instructie-tokens ( $T_{inst}$ ) naar de output-tokens om te zien hoe deze paden de verwerking van de query sturen.

3. Belangrijkste Bijdragen (Key Contributions)

Identificatie van Instruction Vectors (IVs): De ontdekking dat modellen "neural digests" (samenvattingen) van instructies vormen direct na het verwerken van de instructiecontext.
Ontkrachting van de Lineaire Hypothese: Het aantonen dat instructie-representaties weliswaar lineair scheidbaar zijn in de ruimte, maar dat hun causale interactie superadditief (niet-lineair) is.
Nieuwe Interpretatiemethode: Een methode voor het lokaliseren van informatieverwerking die vrij is van de impliciete additieve aannames van traditionele patching-technieken.
Concept van 'Circuit Selectors': De ontdekking dat IV's fungeren als selectors die bepalen welk specifiek computationeel circuit in de latere lagen wordt geactiveerd om de taak op te lossen.

4. Resultaten (Results)

Lokalisatie: Instructie-informatie is geconcentreerd in specifieke lagen (vaak in de vroege tot middenlagen) direct na het laatste token van de instructie ( $T_{inst}$ ).
Superadditiviteit: De resultaten van de T-tests bevestigen met een zeer lage p-waarde dat de combinatie van lagen een grotere causale impact heeft dan de som van de delen. Dit betekent dat de interactie tussen lagen synergetisch is.
Circuit Selectie: De pad-analyse laat zien dat instructie-tokens ( $T_{inst}$ ) de meest dominante paden vormen naar de output. Verschillende instructies activeren verschillende patronen van attention heads in de latere lagen.
Eager Computation: Modellen berekenen de instructie-representatie "eagerly" (proactief) tijdens het lezen van de instructie, in plaats van "just-in-time" (pas wanneer de query komt).

5. Betekenis (Significance)

Dit onderzoek heeft diepgaande implicaties voor de mechanistische interpreteerbaarheid:

Kritiek op huidige modellen: Het waarschuwt dat huidige methoden voor circuit discovery (die uitgaan van een Directed Acyclic Graph met additieve relaties) de werkelijke invloed van componenten kunnen onderschatten als de interactie synergetisch is.
Robuustheid & Alignment: Het begrijpen van de "information bottleneck" in instructie-verwerking kan helpen bij het ontwikkelen van modellen die robuuster zijn tegen adversarial attacks in instructies.
Post-training inzicht: Het toont aan dat terwijl een basismodel de taak-informatie al kan bevatten, instruction tuning (SFT/DPO) essentieel is om de capaciteit te ontwikkelen om die informatie te gebruiken als een "circuit selector".