💬 NLP

Task Vectors, Learned Not Extracted: Performance Gains and Mechanistic Insight

Deze studie introduceert 'Learned Task Vectors' (LTVs) als een superieur alternatief voor geëxtraheerde task vectors, wat niet alleen de prestaties van in-context learning verbetert maar ook inzicht biedt in de onderliggende mechanische processen, zoals de rol van specifieke attentiehoofden en de lineaire propagatie van taakrepresentaties.

Oorspronkelijke auteurs: Haolin Yang, Hakaze Cho, Kaize Ding, Naoya Inoue

Gepubliceerd 2026-04-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haolin Yang, Hakaze Cho, Kaize Ding, Naoya Inoue

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een groot taalmodel (zoals een slimme chatbot) een enorme bibliotheek is, vol met kennis, maar die kennis is opgeslagen in een taal die wij niet begrijpen. Normaal gesproken moet je deze "bibliotheek" opnieuw leren (trainen) om een nieuwe taak te doen, zoals het vertalen van tekst of het analyseren van gevoelens.

Maar deze modellen hebben een superkracht: In-Context Learning. Als je ze een paar voorbeelden geeft in de chat ("Dit is een slechte film: negatief. Dit is een goede film: positief"), kunnen ze direct de rest van de zin afmaken zonder dat ze opnieuw getraind zijn.

De vraag is: Hoe doen ze dat precies?

Dit paper, getiteld "Task Vectors, Learned Not Extracted", geeft een antwoord en een nieuwe manier om die superkracht te gebruiken. Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen.

1. Het oude probleem: De sleutel vinden in een rommelige kast

Vroeger dachten onderzoekers dat het model tijdens het lezen van de voorbeelden een soort "taakvector" (een compacte instructie) creëerde. Ze probeerden deze instructie uit het model te halen (extraheren) door te kijken naar de interne gedachten van het model.

De analogie: Stel je voor dat je probeert een recept te vinden door de keuken van een chef-kok te doorzoeken terwijl hij kookt. Je pakt een kom, een lepel en wat restjes, en hoopt dat je daarmee het recept kunt reconstrueren.
Het probleem: Dit was lastig, onnauwkeurig en het werkte niet goed als je de instructie ergens anders in het proces wilde gebruiken. Het was alsof je een sleutel probeerde te maken van een sleutelgat dat je niet helemaal zag.

2. De nieuwe oplossing: De "Lerende Taakvector" (LTV)

De auteurs van dit paper zeggen: "Waarom proberen we die sleutel te ontdekken uit de rommel? Laten we de sleutel gewoon ontwerpen."

Ze trainen een nieuwe, perfecte instructie (de Lerende Taakvector of LTV) van scratch. Ze voegen een wiskundig getal toe aan het model en laten het model zelf leren welke instelling werkt om de juiste antwoorden te geven.

De analogie: In plaats van te zoeken naar een sleutel in een rommelige lade, laten we een 3D-printer een perfecte sleutel maken die precies in het slot past.
Het resultaat: Deze zelfontworpen sleutel werkt veel beter dan de oude, gehaalde sleutels. Hij werkt op elk moment in het proces (in elke "laag" van het model) en zelfs als je de instructie in een ander deel van de zin plakt.

3. Hoe werkt het van binnen? (De Mechanische Uitleg)

De auteurs kijken ook diep in de "buik" van het model om te zien wat er gebeurt als je zo'n vector toevoegt. Ze ontdekten twee belangrijke dingen:

A. De "Hoofden" van het model (Low-level)

Het model bestaat uit duizenden kleine onderdelen die "aandachtskoppen" (attention heads) heten.

De analogie: Stel je voor dat het model een groot kantoor is met honderden medewerkers. Als je een nieuwe instructie geeft, reageren niet alle medewerkers. Slechts een kleine groep "key heads" (de belangrijkste medewerkers) pakt de instructie op en doet er iets mee.
Wat ze deden: Ze ontdekten dat als je die specifieke "key heads" uitschakelt, de instructie niet meer werkt. Het is alsof je de enige mensen in het kantoor die de sleutel kunnen gebruiken, uit het kantoor haalt. De rest doet alsof er niets gebeurd is.

B. De Reis door het Model (High-level)

Hoe reist die instructie door het model van begin tot einde?

De analogie: Stel je voor dat de instructie een bal is die je door een reeks trampoline-zalen stuurt.
- Aan het begin (Early layers): De bal wordt eerst geroteerd. Hij draait om zich zo te oriënteren op de juiste richting. Het model zegt: "Oké, we moeten gaan denken over 'gevoelens', niet over 'wiskunde'."
- Aan het einde (Late layers): De bal wordt niet meer gedraaid, maar versterkt (uitgerekt). De richting is al goed, maar nu wordt de kracht erachter gezet zodat het antwoord duidelijk naar voren komt.
De verrassing: Ondanks dat het model heel complex en niet-lineair is (veel bochten en krommen), werkt dit proces eigenlijk heel lineair (rechtlijnig). Het is alsof je een simpele rechte lijn tekent door een wirwar van straten.

4. Waarom is dit belangrijk?

Betere prestaties: De nieuwe methode werkt beter dan alles wat we eerder hadden.
Flexibiliteit: Je kunt de instructie op elk moment toevoegen, niet alleen op het einde.
Begrip: We begrijpen nu waarom het werkt. Het is geen magie; het is een kwestie van de juiste "medewerkers" (attention heads) te activeren en de instructie op het juiste moment te draaien en versterken.

Samenvatting in één zin

In plaats van te proberen een sleutel te vinden in de rommelige gedachten van een AI, hebben de onderzoekers een perfecte, zelfontworpen sleutel gemaakt die precies weet hoe hij de juiste "medewerkers" in het model moet activeren om de juiste antwoorden te geven, en ze hebben ontdekt dat dit proces eigenlijk heel simpel en lineair verloopt.

Dit maakt het niet alleen makkelijker om AI's slim te maken voor nieuwe taken, maar geeft ons ook een helder inzicht in hoe die AI's eigenlijk "denken".

1. Het Probleem

Grote Taalmodellen (LLMs) kunnen nieuwe taken uitvoeren door voorbeelden in de context (In-Context Learning of ICL) te gebruiken, zonder dat ze opnieuw getraind hoeven te worden. Recent onderzoek suggereert dat deze voorbeelden worden gecomprimeerd tot Task Vectors (TVs): compacte vectorrepresentaties van de taak die in de verborgen staten van het model worden opgeslagen.

Echter, bestaande methoden om deze TVs te extraheren (bijvoorbeeld door het aftrekken van verborgen staten van ICL-prompten of het optellen van output van specifieke attention heads) hebben twee belangrijke beperkingen:

Ondoorzichtigheid en inefficiëntie: De extractieprocessen zijn vaak complex, afhankelijk van de kwaliteit van de modelrepresentaties en leiden tot suboptimale vectors.
Gebrek aan mechanistisch inzicht: Bestaande studies tonen wel aan dat het injecteren van TVs de prestaties verbetert, maar leggen niet uit hoe deze vectors de berekening van het model beïnvloeden op microscopisch (lage niveau) en macroscopisch (hoge niveau) niveau.

2. Methodologie

De auteurs stellen een nieuwe aanpak voor die de beperkingen van extractie omzeilt door Learned Task Vectors (LTVs) direct te trainen.

Directe Training van LTVs: In plaats van TVs te distilleren uit ICL-verborgen staten, wordt een vector $\theta$ direct geoptimaliseerd via gradient descent. Het doel is om de log-probabiliteit van het juiste label $y_q$ voor een zero-shot query $x_q$ te maximaliseren wanneer $\theta$ wordt geïnjecteerd op specifieke lagen $L$ en token-posities $P$ .
- Formule: Minimaliseer $-\log p(y_q | x_q, \theta, L, P)$ .
- Dit maakt de TV onafhankelijk van de kwaliteit van de ICL-representaties en laat toe om de vector op willekeurige lagen en posities te injecteren.
Mechanistische Analyse: De auteurs analyseren hoe deze LTVs interageren met het model door:
1. Lage niveau: Het identificeren van welke componenten (attention heads) de TV verwerken. Ze reconstrueren het effect van de TV via de OV-circuits (Value en Output matrices) van attention heads.
2. Hoge niveau: Het analyseren van de propagatie van de TV door de lagen van het Transformer-model om te zien of de transformaties lineair of niet-lineair zijn.

3. Belangrijkste Bijdragen en Resultaten

A. Superieure Prestaties van LTVs

Accuracy: LTVs overtreffen geëxtraheerde TVs (zoals "Vanilla TV" en "Function Vectors") consistent in nauwkeurigheid op diverse datasets (SST-2, TREC, Capital, etc.), ongeacht de injectie-laag. Ze bereiken prestaties die gelijk zijn aan of zelfs beter zijn dan volledige ICL.
Flexibiliteit: LTVs werken effectief op willekeurige lagen en token-posities (niet alleen het laatste token). Ze kunnen ook op meerdere lagen tegelijk worden geïnjecteerd en verbeteren zelfs de prestaties wanneer ze in ICL-prompten zelf worden gebruikt.
Efficiëntie: Als Parameter-Efficient Fine-Tuning (PEFT) methode is LTV zeer efficiënt, met slechts $d$ trainbare parameters (waarbij $d$ de hidden dimension is), wat lager is dan veel bestaande PEFT-methoden zoals LoRA of Prefix Tuning.

B. Mechanistische Inzichten (Lage Niveau)

OV-Circuits zijn cruciaal: De auteurs tonen aan dat het effect van een TV voornamelijk wordt gemedieerd door de OV-circuits (Value en Output projectiematrices) van attention heads. Door het effect van de TV te reconstrueren via deze circuits, kan een groot deel van de prestatieverbetering worden hersteld.
Kern-Attention Heads: Niet alle attention heads zijn even belangrijk. Een kleine subset van "key heads" (voornamelijk direct na de injectie-laag en in de laatste lagen) is verantwoordelijk voor het grootste deel van het effect. Deze heads vertonen minder "attention sink" (focus op het eerste token) en richten zich meer op de laatste tokenposities.

C. Mechanistische Inzichten (Hoge Niveau)

Grotendeels Lineaire Propagatie: Ondanks de niet-lineariteiten in Transformer-lagen, blijkt de propagatie van een geïnjecteerde TV door het netwerk grotendeels lineair te zijn. Een lineaire operator kan het effect van de TV op de uiteindelijke output bijna volledig voorspellen.
Rotatie en Stretch: De auteurs ontleden de lineaire transformatie in twee componenten:
1. Rotatie: Vooral bij vroege lagen wordt de TV grotendeels gerooteerd om uit te lijnen met de subruimte van taak-relevante labels (label unembeddings). Dit zorgt ervoor dat de vector betekenis krijgt voor de taak.
2. Stretch (Schaling): Bij latere lagen domineert de schaling (vergroting van de magnitude) van de vector. De richting is al vastgesteld; de latere lagen versterken alleen het signaal.
Dynamiek: Vroege TV's hebben een langere latentie voordat ze effect hebben (ze moeten eerst worden gerooteerd), terwijl late TV's direct effect hebben op de output-logits.

D. Generalisatie en Compositionaliteit

Labelruimte Afhankelijkheid: De generalisatie van een TV naar een andere taak hangt sterk af van de overlap in de labelruimte (bijv. SNLI en RTE delen 'true/false' labels en hebben vergelijkbare TV's).
Compositionaliteit: LTVs vertonen "word2vec"-achtige compositionaliteit. Het optellen van een TV voor "Engels -> Frans" en een TV voor "Mannelijk -> Vrouwelijk" resulteert in een effectieve TV voor "Engels Mannelijk -> Frans Vrouwelijk".

4. Betekenis en Impact

Dit paper biedt een dubbele doorbraak:

Praktisch: Het introduceert een efficiënte, flexibele en superieure methode (LTV) om taak-specifieke gedragingen in LLMs te activeren zonder zware fine-tuning. Dit is een krachtig instrument voor het sturen van modellen (steering) en PEFT.
Theoretisch: Het levert een diepgaand mechanistisch inzicht in hoe ICL werkt. Het paper onthult dat LLMs ICL-voorbeelden verwerken via een lineair proces van rotatie (richting vinden) en schaling (kracht geven) door attention-head circuits. Dit verlegt het begrip van ICL van een "black box" naar een interpreteerbaar mechanistisch fenomeen.

Samenvattend bewijst dit werk dat we Task Vectors niet hoeven te extraheren uit complexe modelstaten, maar dat we ze beter kunnen leren, en dat dit proces ons een helder raamwerk geeft om de interne werking van In-Context Learning te begrijpen.