💬 NLP

Instruction Following by Principled Boosting Attention of Large Language Models

Dit paper introduceert InstABoost, een eenvoudige inferentie-tijd interventie die door het systematisch verhogen van de aandacht voor instructie-tokens de instructie-opvolging van grote taalmodellen verbetert zonder de vloeiendheid of contextintegratie te schaden.

Oorspronkelijke auteurs: Vitoria Guardieiro, Avishree Khare, Adam Stein, Eric Wong

Gepubliceerd 2026-03-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Vitoria Guardieiro, Avishree Khare, Adam Stein, Eric Wong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een groot taalmodel (zoals een slimme chatbot) een chef-kok is in een drukke keuken. Deze chef is getraind om heerlijke maaltijden te bereiden (antwoorden geven) op basis van de ingrediënten die je hem geeft (je vraag en context).

Soms geef je de chef echter een heel specifieke instructie, zoals: "Maak een vegetarisch gerecht, en gebruik geen zout." Dit is de instructie.

Het probleem is dat als je de chef ook een enorme berg andere ingrediënten geeft (de context of de rest van je vraag), hij soms de instructie vergeet. Hij denkt misschien: "Oh, ik zie hier veel vlees in de pan, ik ga gewoon vlees gebruiken," en negeert je verzoek om vegetarisch te zijn. Of hij wordt zo verward door de chaos in de keuken dat hij een onzin-gerechtje maakt.

Dit artikel introduceert een nieuwe, slimme manier om ervoor te zorgen dat de chef altijd luistert naar zijn instructies, zonder dat je de hele keuken moet verbouwen (het model opnieuw trainen).

Het Probleem: De Luie Chef en de Verwarde Keuken

In de wereld van kunstmatige intelligentie noemen we dit instructie-opvolging. Soms luistert het model niet goed, vooral als de context lang is of als de gebruiker probeert het model te "hacken" (bijvoorbeeld door te vragen om iets gevaarlijks).

Bestaande methoden om dit op te lossen zijn als volgt:

De "Hardnekkige Chef" (Latent Steering): Je duwt de chef fysiek in de richting van de instructie door zijn hersenen (de interne staten) te manipuleren. Het probleem? Dit maakt de chef vaak stom en onzinnig. Hij begint te stotteren of zegt dingen die geen zin hebben, alsof hij in een droom is.
De "Blindstarende Chef" (PASTA & SpotLight): Je forceert de chef om alleen naar de instructie te kijken en alles anders te negeren. Het probleem? Hij vergeet dan de belangrijke ingrediënten die je wel nodig hebt voor het gerecht. Hij maakt een vegetarisch gerecht, maar vergeet dat je ook tomaten wilde, omdat hij alleen naar het woord "vegetarisch" keek.

De Oplossing: INSTABOOST (De "Gouden Knoop")

De auteurs van dit paper hebben een nieuwe methode bedacht die ze INSTABOOST noemen.

Stel je voor dat de chef een aandachtsschijf heeft. Deze schijf bepaalt waar hij naar kijkt terwijl hij kookt.

Normaal gesproken kijkt hij naar alles: de instructie, de vraag, en de rest van de tekst.
Met INSTABOost doen we iets heel simpels: we draaien een kleine, constante gouden knop op de schijf.

Deze knop geeft de instructie een kleine, constante boost. Het is alsof je een klein lichtje op de instructie zet. De chef kijkt nu iets meer naar de instructie dan naar de rest, maar hij kijkt niet blind naar de instructie. Hij ziet nog steeds de tomaten en de andere ingrediënten.

Waarom werkt dit zo goed?
De auteurs hebben een wiskundige theorie bedacht (een soort "receptboek voor logica") die laat zien dat instructies en context eigenlijk rivalen zijn die om de aandacht van de chef vechten.

Als je de instructie een beetje meer gewicht geeft (de boost), wint de instructie de strijd tegen de verwarrende context.
Maar als je de knop te hard omdraait (te veel boost), wordt de chef zo geobsedeerd door de instructie dat hij de rest van de wereld negeert (hij wordt "over-focus").
INSTABOOST vindt precies de juiste balans. Het is als het instellen van het volume op een radio: je zet de instructie net iets harder dan de ruis, zodat je de zender duidelijk hoort, maar je hoort nog steeds de muziek eronder.

Wat hebben ze bewezen?

Ze hebben dit getest op 15 verschillende taken, van het beantwoorden van vragen tot het voorkomen van giftige antwoorden.

Resultaat: INSTABOOST werkt net zo goed als de beste bestaande methoden, maar zonder de nadelen.
- Het maakt de antwoorden niet onzin (in tegenstelling tot de "duw-methode").
- Het vergeet niet de context (in tegenstelling tot de "blindstarende methoden").
- Het is simpel en snel: je hoeft geen complexe selecties te maken van welke delen van het model je moet aanpassen. Je doet het gewoon overal, op dezelfde manier.

Samenvatting in één zin

INSTABOOST is als het geven van een zachte, constante duw aan een chef-kok om naar zijn instructies te luisteren, zodat hij de juiste maaltijd maakt zonder te vergeten wat er in de pan zit of zonder dat hij in de war raakt. Het is een slimme, simpele manier om AI's gedrag te sturen zonder de kwaliteit van hun antwoorden te verpesten.

Probleemstelling

Grote Taalmodellen (LLMs) worden vaak ingezet als algemene assistenten waarbij betrouwbare instructie-opvolging cruciaal is. Dit omvat het naleven van systeemprompts, veiligheidsbeperkingen (zoals weigeringsgrenzen), privacyregels en tool-gebruik. In de praktijk blijken deze beperkingen echter vaak te worden geschonden, vooral in lange contexten of wanneer de door de gebruiker aangeleverde context in conflict raakt met de instructies. Dit creëert risico's voor betrouwbaarheid en veiligheid.

Bestaande methoden om instructie-opvolging te verbeteren zonder het model opnieuw te trainen (inference-time interventions) hebben beperkingen:

Latente sturing (Latent Steering): Methoden die de interne representaties (hidden states) van het model manipuleren, leiden vaak tot een verslechtering van de vloeiendheid (fluency collapse), waarbij de output repetitief of onzin wordt.
Aandachtsturing (Attention Steering): Bestaande methoden zoals PASTA en SpotLight proberen de aandacht (attention) naar instructie-tokens te verplaatsen. PASTA vereist echter een kostbare selectie van specifieke "heads" (koppen) in het model, terwijl SpotLight een statische, rigide verdeling van aandacht afdwingt die kan leiden tot het negeren van relevante taakcontext (over-focusing op instructies).

Methodologie en Theoretisch Kader

De auteurs introduceren een unificerend theoretisch kader om instructie-opvolging te formaliseren als een rule-based competitie (regelgebaseerde competitie), gebaseerd op de Logicbreaks-abstractie.

Theorie van Aandacht:
- In dit kader worden instructies gezien als een set regels ( $\Gamma$ ) en de gebruikersvraag/context als een concurrerende set regels ( $\Delta$ ).
- De aandachtmechaniek bepaalt welke regels domineren.
- De auteurs bewijzen dat het toevoegen van een constante bias $B$ aan de pre-softmax attention logits voor instructie-tokens de competitie exponentieel verschuift ten gunste van de instructieregels.
- De Trade-off: Hoewel een hogere bias $B$ het moeilijker maakt voor context om instructies te overschrijven, kan een te hoge bias leiden tot een "suppression regime". Hierbij wordt de aandacht voor benigne (niet-schadelijke) contextregels die nodig zijn voor de taak, zo sterk onderdrukt dat de output niet langer relevant is voor de vraag van de gebruiker.
De Oplossing: INSTABOOST
Guided door deze theorie stellen de auteurs INSTABOOST (Instruction Attention Boosting) voor. Dit is een eenvoudige interventie die:
- Een constante additieve bias $B$ toepast op de attention logits voor alle sleutel-tokens (keys) die corresponderen met de instructie.
- Dit gebeurt over alle lagen en alle heads van het Transformer-model, zonder dat er een complexe selectie van heads nodig is (in tegenstelling tot PASTA).
- De bias is een instelbare knop om de balans te vinden tussen het naleven van instructies en het behouden van taakrelevantie.

Belangrijkste Bijdragen

Unificerend Theoretisch Kader: De eerste formalisering van instructie-opvolging als een competitie tussen instructie-regels en context-regels, waarbij attention fungeert als de mediator. Dit verklaart mechanistisch waarom attention-boosting werkt en wanneer het faalt (bijv. door over-focusing).
INSTABOOST: Een nieuwe, eenvoudige en efficiënte methode voor attention steering die een constante bias toepast. Het is computatie-efficiënter dan PASTA (geen head-selectie) en flexibeler dan SpotLight (geen statische target-massa).
Uitgebreide Evaluatie: Een vergelijking van INSTABOOST met bestaande methoden (PASTA, SpotLight) en diverse latent steering methoden (Linear, DiffMean, PCAct, etc.) over 15 diverse taken, waaronder emotiesturing, jailbreaking, toxiciteitsreductie en waarheidsvinding.

Resultaten

De experimenten zijn uitgevoerd op het Meta-Llama-3-8B-Instruct model (en aanvullend op Gemma-7b-it).

Prestatie: INSTABOOST presteert consistent beter dan of gelijk aan alle baselines. Het slaat vooral op in jailbreaking-taken, waar latent steering vaak effectief is maar attention-methoden zoals PASTA en SpotLight falen.
Kwaliteit vs. Sturing:
- Latente methoden tonen een duidelijke trade-off: hogere sturing leidt tot een drastische daling in vloeiendheid (fluency).
- SpotLight behoudt vaak de vloeiendheid, maar lijdt aan een sterke daling in relevantie (de output negeert de vraag van de gebruiker en focust alleen op de instructie).
- INSTABOOST bereikt een sterke sturing (adherence) zonder significante schade aan vloeiendheid of relevantie. Het behoudt de context van de gebruiker zelfs bij hoge sturingssterktes.
Robuustheid: In theorie-validaties (met een "learned reasoner") bleek dat het verhogen van de bias $B$ de drempel verhoogt voor het induceren van fouten zoals "fact amnesia" (vergeten feiten) en "rule suppression", wat de theoretische voorspellingen bevestigt.

Betekenis en Conclusie

Dit paper biedt een fundamenteel inzicht in hoe attention-mechanismen kunnen worden gebruikt om het gedrag van LLMs te sturen zonder de generatieve capaciteiten te beschadigen.

Praktische Toepassing: INSTABOOST biedt een praktische, goedkope en interpreteerbare oplossing voor het verbeteren van instructie-opvolging in productieomgevingen, vooral waar veiligheid en betrouwbaarheid cruciaal zijn.
Wetenschappelijke Impact: Het paper verlegt de focus van complexe, vaak onbetrouwbare latent steering-methoden naar een principieel onderbouwde attention-manipulatie. Het toont aan dat het simpelweg "luider maken" van instructies via attention-logits, mits goed gebalanceerd, superieur is aan het manipuleren van interne vectorruimtes.
Toekomst: De auteurs wijzen erop dat de methode goed werkt voor eenvoudige instructies, maar dat toekomstig werk nodig is om te kijken naar adaptieve boosting voor complexere, abstracte taken en langere instructies.

Kortom, INSTABOOST bewijst dat het sturen van de aandacht van een model een krachtigere en veiligere methode is dan het sturen van de interne representaties, mits men rekening houdt met de theoretische grenzen van contextonderdrukking.