Technische Samenvatting: Decompositie van hoe prompting gedrag stuurt

Probleemstelling

Instructie-prompts stellen Large Language Models (LLM's) en Vision-Language Models (VLM's) in staat om hun gedrag tijdens inferentie te veranderen zonder gewicht-updates. Hoewel het gevestigd is dat prompts de interne representaties herstructureren, blijft de specifieke mechanistische aard van deze transformatie onduidelijk. Bestaande literatuur heeft deze veranderingen gekarakteriseerd via scalaire metrieken (bijv. representatieve gelijkenis, manifold-capaciteit) of heeft aangetoond dat technisch ontworpen operators met lage complexiteit (bijv. additieve vectoren, rotaties) gedrag kunnen sturen. Er is echter een gat in het begrip van de klasse van wiskundige transformatie die van nature optreedt wanneer een instructie verandert. Specifiek is het onbekend of door prompt-geïnduceerde veranderingen het beste verklaard kunnen worden door eenvoudige translaties, rigide transformaties, affine mixing of complexe nonlineariteiten, en of deze transformaties causaal de geobserveerde gedragsverschuivingen aansturen.

Methodologie

De auteurs introduceren een geneste geometrische decompositie-framework om te analyseren hoe prompts de representatieve geometrie hervormen. De kernaanpak houdt in dat prompting wordt behandeld als een transformatie van de representatieve manifold voor de inhoud volgend op de prompt.

1. Geneste Geometrische Hiërarchie

Voor een gegeven model, laag, dataset en paar prompts (Bronprompt $A$ en Doelprompt $B$), passen de auteurs een sequentie van steeds expressievere, stimulus-invariante mappen $f: \mathbb{R}^D \to \mathbb{R}^D$ toe die de verborgen toestanden (hidden states) van $A$ uitlijnen met die van $B$. De hiërarchie bestaat uit vijf strikt geneste transformatieklassen:

1. Translatie ($F_T$): Een eenvoudige gemiddelde verschuiving ($x + b$).
2. Rigide Transformatie met Uniforme Schaling ($F_{O_u}$): Rotatie/reflectie en uniforme schaling ($b + c(x-a)Q$).
3. Rigide Transformatie met As-gewijze Schaling ($F_{O_a}$): Staat onafhankelijke schaling van uitgelijnde assen toe ($b + (x-a)QD$).
4. Affine Transformatie ($F_L$): Algemene lineaire mixing plus translatie ($b + (x-a)M$).
5. Nietlineaire Transformatie ($F_N$): Een gedeelde Multi-Layer Perceptron (MLP) ($b + g_\theta(x-a)$).

2. Evaluatiemetrieken

Het framework evalueert deze transformaties met behulp van drie families van maten op uit de dataset gehouden stimuli:

• Incrementele Verklaarde Variantie ($\Delta R^2$): De extra verklaarde variantie in de representaties van de doelprompt door elke tier boven de vorige in de geneste keten.
• Representatieve Geometrie Metrieken: Spearman-correlatie tussen de getransformeerde Representatieve Dissimilariteitsmatrix (RDM) en de RDM van de doeltaak, naast silhouette scores om cluster-scheiding te meten.
• Causale Interventie: De gefitte map wordt toegepast op de verborgen toestand van een bronprompt in een enkele laag, waarbij de originele toestand wordt vervangen. Het model vervolgt vervolgens de forward pass. Het resulterende resultaat wordt geëvalueerd op relevantie (het adresseren van het doelattribuut) en accuratesse (juistheid van het antwoord) ten opzichte van de grondwaarheid van de doelprompt.

3. Experimentele Opzet

• Modellen: Drie LLM's (OPT-2.7B, Llama3-8B-Instruct, Qwen3-8B) en drie VLM's (BLIP-2, LLaVA-OneVision, Qwen3-VL).
• Datasets: Zes datasets (drie tekst: EmotionalStory, WritingStyle, Number; drie beeld: EmoSet, StyleTransfer, COCO) met factoriële attribuutstructuren om cross- en binnen-attribuut promptvergelijkingen te ondersteunen.
• Promptparen: Zes groepen variërend van cross-attribuut (bijv. onderwerp $\to$ emotie) tot irrelevante bronprompts.

Belangrijkste Resultaten

1. Prompting Hervormt Geometrie Naar Taakstructuur

Door prompt-geïnduceerde representatieve veranderingen groeien bijna monotoon met de diepte van de lagen. Cruciaal is dat de representatieve geometrie van de doelprompt steeds beter uitlijnt met de taakstructuur (gemeten door RDM-correlatie en silhouette scores) naarmate de diepte toeneemt, waarbij deze zich in diepere lagen duidelijk afscheidt van de bronprompt.

2. Lage-Complexiteit Maps Verklaren Het Merendeel van de Variantie

Over alle modellen en datasets heen, vormt translatie het grootste deel van de door de prompt geïnduceerde representatieve verandering, wat domineert in de vroege lagen. Rigide transformaties met uniforme schaling leveren de volgende significante bijdrage.

• Affine transformaties zijn de eerste tier die bijna de volledige taakgeometrie van de doelprompt herstelt en overeenkomende winsten in gedragsmatige overeenstemming produceert.
• Nietlineaire transformaties bieden de sterkste herstel, maar bieden een afnemend rendement ten opzichte van affine maps; de sprong van as-geschaalde rigide naar affine is significanter dan de sprong van affine naar nietlineair.

3. Model- en Taakspecifieke Routingstrategieën

• Verschillen tussen Modellen: OPT-2.7B leunt zwaarder op rotatie, reflectie en nietlineaire componenten vergeleken met Llama3 en Qwen3, die meer gebruik lijken te maken van lager-dimensionale "instructiecodes" (gedomineerd door translatie).
• Verschillen tussen Promptparen: Specifieke promptparen (bijv. ja/nee vragen) leunen meer op rotatie en affine transformaties dan open-ended paren.
• Diepteafhankelijkheid: Translatie domineert in de vroege lagen, terwijl hogere-complexiteit tiers (affine, nietlineair) meer bijdragen in midden- tot diepe lagen.

4. Causale Validatie

Causale interventies bevestigen dat het simpelweg transleren van de verborgen toestand het gedrag substantieel kan sturen. Echter, affine transformaties vormen de kritieke drempel voor het herstellen van zowel de doelrepresentatieve geometrie als een hoge gedragsmatige accuratesse. Dit suggereert dat cross-dimensionale lineaire mixing een sleutelmechanisme is voor het reorganiseren van representaties richting de geïnstrueerde taak.

Betekenis en Claims

Het papier claimt een algemeen framework te bieden voor het decomponeren van door prompting geïnduceerde representatieve veranderingen in interpreteerbare geometrische componenten. De primaire bevinding is dat het effect van instructie-prompting grotendeels begrepen kan worden als een affine transformatie van de representatie van de inhoud.

• Mechanistisch Inzicht: De auteurs argumenteren dat hoewel translatie "het meeste werk doet" bij het verschuiven van de representatie, rotatie en shearing (affine componenten) de resterende gestructureerde component vaststellen die nodig is voor taakuitlijning.
• Interpreteerbaarheid: Door de bijdrage van elke transformatie-tier te kwantificeren, onthult het framework hoe modellen taakrelevante structuur routeren. Het suggereert dat natuurlijke prompting wordt geïmplementeerd via transformaties met lage complexiteit in de activatieruimte, in plaats van dat er complexe nietlineaire herstructurering vereist is.
• Beperkingen: De auteurs merken expliciet op dat hun analyse beperkt is tot zero-shot instructieprompts en geen few-shot demonstraties, soft prompts of long-context conditionering evalueert. De interventie is beperkt tot een enkele laag en een enkele token.

Dit werk positioneert zich niet als een methode om nieuwe steering-operators te ontwerpen, maar als een diagnostisch instrument om de geometrische aard van natuurlijke prompting te begrijpen, waarbij gesuggereerd wordt dat de operationele consequenties van prompting geconcentreerd zijn in de residuele fijne structuur (rotatie en kleine nietlineaire delen) na de primaire translatie.