💬 NLP

As X, Do Y: How Persona and Task Combine in Instruction-Tuned LLMs

Hoewel dit artikel aantoont dat persona- en taakinstructies in instructie-gefineerde LLM's een schone, additieve lineaire decompositie vertonen bij de overgang van prompt naar antwoord in de residustroom, bewijst het uiteindelijk dat deze lokale additiviteit niet toelaat om rollenprompts te comprimeren tot één enkel gecachte vector, omdat generatie op basis van persona afhankelijk is van een gedistribueerd attentiemechanisme dat niet kan worden gerepliceerd door lokale residu-substitutie.

Oorspronkelijke auteurs: Eric Xu

Gepubliceerd 2026-05-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Eric Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, goed gelezen robot vraagt een vraag te beantwoorden. Je geeft het een speciale instructie: "Als een chagrijnige oude piraat, vertel me hoe ik een lekke boot moet repareren."

Deze instructie heeft twee delen:

De Persona (X): "Als een chagrijnige oude piraat."
De Taak (Y): "Vertel me hoe ik een lekke boot moet repareren."

Het artikel stelt een zeer specifieke vraag over hoe het brein van de robot (zijn interne "residuale stroom") hiermee omgaat. Wanneer de robot de "piraat"-sfeer combineert met de "bootreparatie"-taak, mengt hij ze dan op een rommelige, ingewikkelde manier? Of is er een simpel, voorspelbaar moment waarop de twee gewoon optellen, zoals het mengen van blauwe en gele verf om groen te krijgen?

Hier is de uiteenzetting van wat de onderzoekers vonden, met eenvoudige analogieën.

1. Het "Sweet Spot" van mengen

De onderzoekers ontdekten dat het brein van de robot niet overal simpel is. Er is echter een zeer specifiek "Sweet Spot" waar het mengen verrassend schoon en additief is.

De Analogie: Stel je voor dat de robot een verhaal schrijft. Het "Sweet Spot" is het exacte moment waarop het je prompt heeft afgelezen en begint met het schrijven van het aller eerste woord van zijn antwoord.
De Bevinding: Op dit specifieke moment (het laatste woord van je prompt en de eerste twee woorden die de robot schrijft), gedragen het "Piraat"-deel en het "Boot"-deel zich als twee aparte ingrediënten die gewoon naast elkaar liggen.
- Als je het "Piraat"-effect en het "Boot"-effect apart neemt en bij elkaar optelt, krijg je bijna exact hetzelfde resultaat als wanneer de robot ze vanaf het begin samen had verwerkt.
- Wiskundig gezien vonden ze dat Piraat + Boot ≈ Piraat-Boot in dit kleine venster.

Dit "Sweet Spot" komt voor in de middenlagen van het brein van de robot, niet helemaal aan het begin of helemaal aan het einde. Het is als een specifieke versnelling in een transmissie waar de onderdelen perfect in elkaar grijpen.

2. Het "Toverstaf"-experiment

Om dit te bewijzen, probeerden de onderzoekers een "toverstaf"-truc.

Ze namen een robot die gewoon een "denkend persoon" was (de basislijn).
Ze berekenden het "Piraat"-verschil en het "Boot"-verschil apart.
Ze voegden die verschillen bij elkaar en plakten ze in het brein van de robot op dat specifieke "Sweet Spot"-moment.

Het Resultaat: De robot begon te handelen als een piraat die een boot repareerde! Het klonk niet alleen een beetje als een piraat; het gebruikte daadwerkelijk piraatwoorden en -concepten. Dit bewees dat op dat specifieke moment de instructies "Piraat" en "Boot" gewoon eenvoudige toevoegingen zijn aan het denkproces van de robot.

3. De Limiet: Je kunt de hele persoonlijkheid niet zomaar "plakken"

Hier stuit het verhaal op een muur. De onderzoekers probeerden nog ambitieuzer te zijn. Ze vroegen zich af: "Als we de 'Piraat'-wiskunde kennen, kunnen we dan het woord 'Piraat' uit je prompt verwijderen en de wiskunde er in plaats daarvan in plakken?"

Het Experiment: Ze gaven de robot de prompt: "Vertel me hoe ik een boot moet repareren" (zonder "Als een piraat"). Vervolgens probeerden ze de "Piraat"-wiskunde in het brein van de robot te injecteren op het Sweet Spot.
Het Resultaat: Het mislukte. De robot werd geen piraat. Het gaf gewoon een normaal antwoord.

Waarom? Het artikel legt uit dat terwijl de eerste stap van het antwoord een eenvoudige optelling is, het hele gesprek dat niet is.

De Analogie: Denk aan de "Piraat"-instructie als een vuurtoren. Het "Sweet Spot" is het moment waarop de vuurtorenstraal het water raakt. Je kunt de straal daar duidelijk zien. Maar de vuurtoren schijnt eigenlijk langs de hele kust op het water, niet alleen op één plek.
De robot moet blijven terugkijken naar het woord "Piraat" in je oorspronkelijke prompt terwijl het elk nieuw woord schrijft. Je kunt niet zomaar één keer aan het begin het "Piraat"-gevoel injecteren en verwachten dat het blijft duren. De persoonlijkheid is verspreid over de hele prompt en het geheugen van de robot, niet alleen op één klein wiskundig punt.

4. Werkt dit voor verschillende robots en persoonlijkheden?

De onderzoekers testten dit op verschillende robotmodellen (Gemma en Qwen) en met vele verschillende persoonlijkheden (van Yoda tot een software-engineer) en taken (van het schrijven van gedichten tot het beoordelen van bedrijfsplannen).

De Bevinding: De "Sweet Spot"-regel gold voor allemaal. Of de robot nu klein of iets groter was, en of de persoonlijkheid kort was ("Warren Buffett") of lang (een hele alinea die een arts beschrijft), de wiskunde werkte op dat specifieke overgangspunt op dezelfde manier.

Samenvatting

Het goede nieuws: Wanneer een instructie-geoptimaliseerde robot een rol (zoals "piraat") combineert met een taak (zoals "een boot repareren"), is er een klein, specifiek moment vlak bij het begin van het antwoord waar deze twee dingen op een eenvoudige, voorspelbare, additieve manier samenkomen.
Het slechte nieuws: Je kunt de daadwerkelijke tekst van de rol niet vervangen door een wiskundige afkorting. De robot moet de rol gedurende het hele proces blijven "lezen". De eenvoudige wiskunde verklaart alleen de allereerste stap van het antwoord, niet het hele verhaal.

Kortom: Het brein van de robot heeft een specifieke "mengkom" waar de ingrediënten simpel mengen, maar het recept is afhankelijk van de ingrediënten die gedurende het hele kookproces aanwezig zijn, niet alleen in die ene kom.

Technische Samenvatting: "Als X, doe Y: Hoe Persona en Taak Combineren in Instructie-gefineerde LLM's"

Probleemstelling

Instructie-gefineerde Large Language Models (LLM's) hanteren robuust prompts van de vorm "Als X, doe Y", waarbij een persona-specificatie ( $X$ ) wordt gecombineerd met een taak-specificatie ( $Y$ ). Het interne mechanisme waarmee deze twee distincte specificaties causaal worden geïntegreerd binnen de residustroom van het model, blijft echter slecht begrepen. Specifiek is het onduidelijk waar langs de as van lagen en posities deze combinatie eenvoudig genoeg is om additief te worden benaderd, en of de resulterende samengestelde toestand kan worden gereconstrueerd of gemanipuleerd via ingrepen in de residustroom.

Methodologie

Het artikel hanteert een causaal interventiekader om de activaties van de residustroom van instructie-gefineerde modellen te decomponeren. De kernmethodologie omvat:

Prompt Decompositie: Voor elk persona-taak-paar construeren de auteurs een $2 \times 2$ $2 \times 2$ rooster van prompts:
- Baseline-Baseline ($BB$): Geen specifieke persona, basistask.
- Alleen Persona ($XB$): Specifieke persona, basistask.
- Alleen Taak ($BY$): Baseline persona, specifieke taak.
- Persona-plus-Taak ($XY$): Specifieke persona, specifieke taak.
Resid Decompositie: Op specifieke lagen en sequentieposities definiëren de auteurs:
- Pure persona-effect: $\Delta X = h_{XB} - h_{BB}$
- Pure taak-effect: $\Delta Y = h_{BY} - h_{BB}$
- Gecombineerd effect: $\Delta XY = h_{XY} - h_{BB}$
- Interactieterm: $Inter = \Delta XY - \Delta X - \Delta Y$
Causale Substitutie: De auteurs testen de hypothese dat $\Delta XY \approx \Delta X + \Delta Y$ door de schone $XY$-verborgen toestand te vervangen door de additieve voorspelling ( $h_{BB} + \Delta X + \Delta Y$ ).
Evaluatiemetrics:
- Causale KL: De Kullback-Leibler-divergentie tussen de output van het model na substitutie en de schone $XY$-vervolging (over een venster van 10 tokens). Een lage KL geeft aan dat de additieve benadering causaal toereikend is.
- Geometrische Uitlijning: Cosine-sequentie tussen $\Delta XY$ en $\Delta X + \Delta Y$ , en tussen $\Delta X$ en $\Delta Y$ .
- Gedragsverificatie: Een marker-gebaseerde test die de aanwezigheid van persona-specifiek inhoud (bijv. "schaalbaarheid" voor een ingenieurspersona) scoort in 80-token greedige generaties.
Modellen en Roosters: Experimenten werden uitgevoerd op Gemma-2-2B-IT, Qwen-2.5-1.5B-Instruct en Qwen-2.5-3B-Instruct. Er werden twee promptroosters gebruikt: een 12-cellig "kort rooster" (4 persona's, 3 taken) en een 48-cellig "lang-persona rooster" (8 persona's met meerdere zinnen, 6 diverse taken).

Belangrijkste Resultaten

1. Gelokaliseerde Additieve Composities

Het artikel identificeert een specifiek gebied waar de persona-taak-combinatie causaal eenvoudig en ongeveer additief is:

Locatie: Het gebied beslaat het laatste prompt-token ( $p_{last}$ ) en de eerste twee gegenereerde tokens ( $g_1, g_2$ ), specifiek binnen een band van vroege tot mid-lagen.
Bewijs: In dit gebied levert het vervangen van de schone residual door de additieve voorspelling ( $h_{BB} + \Delta X + \Delta Y$ ) downstream-outputs op met een zeer lage KL-divergentie (bijv. mediaan KL van 0,0004 op laag 6 voor Gemma-2-2B-IT bij $p_{last}$ ).
Geometrie: De vectoren $\Delta X$ en $\Delta Y$ zijn gedeeltelijk scheidbaar (lage cosine-sequentie tussen hen), en de interactieterm, hoewel niet verwaarloosbaar in norm, roteert de gecombineerde vector niet significant weg van de additieve som.
Robuustheid: Dit "gelokaliseerde additieve regime" geldt over verschillende modelgroottes (1,5B tot 3B), verschillende architecturen (Gemma versus Qwen), en zowel voor het korte als het lang-persona rooster.

2. Gedragsgetrouwheid

De additieve substitutie behoudt de semantische inhoud van de persona.

Bij het substitueren van de additieve voorspelling bij $p_{last}$ (laag 14) genereert het model outputs die persona-specifieke markers bevatten met frequenties die vergelijkbaar zijn met de schone conditie (58,3% versus 66,7% voor "Elke marker aanwezig").
Cruciaal is dat het simpelweg aftrekken van de persona-bijdrage ( $\Delta X$ ) op één locatie ( $p_{last}$ ) persona-markers niet verwijdert (62,5% aanwezigheid), wat aangeeft dat persona-inhoud niet gelokaliseerd is tot één residu-vector maar gedistribueerd is.

3. De Grens van Additiviteit

Het artikel stelt een scherpe limiet vast voor de additieve benadering:

Mislukte Injectie in Gastheer: Het substitueren van de gecachte additieve voorspelling in een baseline-gastheer prompt (waar de persona-tekst is verwijderd) slaagt er niet in het volledige persona-geconditioneerde gedrag te herstellen. De KL-gap blijft groot (mediaan KL ~2,84 versus 3,05 voor baseline), waarbij slechts een klein deel van het doelgedrag wordt hersteld.
Meerlaagse Limiet: Het klemmen van de additieve voorspelling over meerdere lagen (tot 22 lagen) verbetert het resultaat niet en verslechtert uiteindelijk de prestaties, omdat dit natuurlijke voorwaartse propagatie verhindert.
Conclusie: Het lokale additieve regime vangt de compositie van de volgende stap (hoe het model overgaat van prompt naar antwoord) maar houdt geen rekening met het volledige mechanisme van multi-token generatie, dat vertrouwen stelt op attention terug naar de persona-tekstposities gedurende de hele prompt.

Belangrijkste Bijdragen

Lokalisatie van Composities: Het artikel karakteriseert het specifieke gebied (vroege/mid-lagen bij de overgang van prompt naar antwoord) waar persona- en taak-specificaties op een causaal eenvoudige, additieve manier combineren.
Decompositie van Effecten: Het biedt een account op het niveau van de residustroom die pure persona-effecten, pure taak-effecten en hun interactie scheidt, en aantoont dat hoewel de interactie bestaat, de additieve som een sterke voorspeller is van de samengestelde toestand in het geïdentificeerde gebied.
Onderscheid tussen Lokale en Gedistribueerde Mechanismen: Het werk verduidelijkt dat terwijl de compositie van persona en taak lokaal additief is op het punt van antwoordvorming, de generatie van persona-geconditioneerde inhoud een gedistribueerd mechanisme is dat vertrouwen stelt op attention naar de volledige promptcontext, wat niet kan worden vervangen door één enkele residu-vector.

Betekenis en Claims

Het artikel claimt een account op het niveau van de residustroom te bieden van waar rol-prompting causaal eenvoudig genoeg is om additief te worden benaderd en waar dat verhaal ophoudt.

Bescheidenheid: De auteurs stellen expliciet dat ze geen "circuit-level closure" claimen (het identificeren van specifieke neuronen of gewichten) en ook geen stuurinstrument voor controle voorstellen. Het doel is karakterisering, niet controle.
Generaliteit: De bevindingen gelden voor verschillende modelfamilies en promptcomplexiteiten, wat wijst op een generaliseerbare eigenschap van instructie-gefineerde modellen met betrekking tot hoe ze rol en taak integreren.
Beperking: Het artikel erkent dat de analyse beperkt is tot het gebied nabij antwoordvorming en het volledige gedistribueerde mechanisme dat nodig is voor lang-horizon persona-handhaving niet karakteriseert.

Kortom, het artikel toont aan dat prompts van de vorm "Als X, doe Y" een gelokaliseerd additief regime creëren nabij de overgang van input naar output, maar dat de volledige persona-geconditioneerde generatie vertrouwen stelt op een breder, gedistribueerd attention-mechanisme dat weerstand biedt tegen eenvoudige residu-substitutie.