In de wereld van kunstmatige intelligentie worden grote taalmodellen vaak behandeld als universele instrumenten: je stelt een vraag, en zij geven een antwoord. Jarenlang wisten onderzoekers al dat de manier waarop je die vraag stelt, de specifieke woorden, de opmaak of de stijl van de prompt, het resultaat drastisch kan veranderen. Een prompt die één model briljant doet lijken, kan een ander belachelijk maken, en zelfs kleine, betekenisloze wijzigingen in de tekst kunnen de ranglijsten van welke model "het beste" is, door elkaar husselen. Dit fenomeen, bekend als prompt-model-interactie, is goed gedocumenteerd bij taken zoals het oplossen van wiskundige problemen of het schrijven van code. Echter, een hardnekkig mysterie bleef bestaan: behoort deze gevoeligheid tot de complexe machinerie die het model gebruikt om taken uit te voeren, of is het een fundamentele eigenschap van hoe het model informatie verwerkt? Om dit te beantwoorden, moesten wetenschappers naar het model kijken wanneer het helemaal niets aan het doen was. Ze moesten de machine observeren in een staat van pure, taakvrije existentie, ontdaan van instructies, doelen of de druk om correct te zijn.

Een team van onafhankelijke onderzoekers zette zich scharpe om dit te onderzoeken door de taak volledig te verwijderen. In plaats van het model te vragen een probleem op te lossen, voerden ze een korte sequentie van tekst in en observeerden wat er gebeurde wanneer het model werd gedwongen om het volgende woord te voorspellen, en daarna het woord daarna, in een continue lus. Omdat het model niet willekeurig bemonsterde maar in plaats daarvan een strikte, deterministische regel volgde om het meest waarschijnlijke volgende woord te kiezen, was het proces als een bal die een heuvel afrolt totdat hij in een dal terechtkomt. In sommige gevallen zou de bal in een enkele, stabiele vallei rollen en daar voor altijd blijven; in andere gevallen zou hij in een lus kunnen vast komen te zitten of doelloos rond kunnen dwalen. De onderzoekers maten hoe vaak de voorspellingen van het model in die stabiele staat terechtkwamen, een metriek die ze de fixed-point fraction noemden. Vervolgens testten ze hoe dit gedrag veranderde wanneer ze een korte prefix van tekst toevoegden, slechts negen woorden of tokens, voordat de sequentie begon. Het doel was simpel: zien of een klein beetje extra tekst de interne traject van het model fundamenteel kon veranderen, zelfs wanneer het model niets probeerde te bereiken.

De resultaten waren opmerkelijk en tartten de verwachtingen van de onderzoekers. Ze ontdekten dat de interactie tussen de prompt en het model deze taakvrije readout met volle kracht bereikte. Het toevoegen van slechts negen tokens aan conditioneringstekst was genoeg om de gemeten readout over bijna zijn volledige mogelijke bereik te bewegen. Voor sommige modellen veranderde deze kleine toevoeging een chaotisch, dwalend voorspellingspatroon in een perfect stabiel patroon. Voor anderen deed het precies het tegenovergestelde: het vernietigde een voorheen stabiel patroon en stuurde de voorspellingen in een lus. Het effect was zo krachtig dat het de structurele classificatie van het gedrag van een model volledig kon veranderen. Om dit in perspectief te plaatsen, vergeleken de onderzoekers deze verschuiving met de impact van instruction tuning, een massaal trainingsproces dat de prestaties van een model op standaard benchmarks doorgaans met meer dan zestig punten verhoogt. Terwijl die zwarehandige training de taakprestaties van het model aanzienlijk beïnvloedde, liet het deze specifieke structurele readout volledig onveranderd. In contrast hiermee kon een prefix van slechts negen woorden de readout van het ene extreme naar het andere kant ombuigen. Dit bewees dat de prompt-model-interactie niet slechts een eigenaardigheid is van hoe modellen instructies opvolgen; het is een diepe, structurele feit over hoe een model een fragment van tekst leest.

De onderzoekers probeerden vervolgens te verklaren waarom dit gebeurde, waarbij ze vijf specifieke factorisaties voorstelden die plausibel leken. Ze vroegen zich af of de lengte van de toegevoegde tekst de oorzaak was, of dat de inhoud, of het nu gewone proza of geformatteerde code was, de drijfveer was. Ze overwogen ook of het effect universeel was, wat zou betekenen dat het modellen altijd in dezelfde richting duwde, of dat het een specifieke eigenschap was van bepaalde typen modellen, zoals die getraind zijn om instructies op te volgen. Ze testten deze ideeën rigoureus, beginnend met kleine groepen modellen en breidden hun steekproef vervolgens uit om meer diverse architecturen en teksttypen te bevatten. Elk van deze vijf factorisaties faalde onder de verbreding van de steekproef. Het effect was niet simpelweg gerelateerd aan hoe lang de tekst was; in feite was de relatie niet vloeiend of voorspelbaar, waarbij sommige modellen wild reageerden op één extra woord terwijl anderen het negeerden. De inhoud van de tekst verklaarde de patronen ook niet; wat voor het ene model werkte, faalde vaak voor een ander, en de richting van de verandering draaide om afhankelijk van de specifieke combinatie van tekst en model. Zelfs het idee dat instructie-getrainde modellen deze veranderingen zouden weerstaan, bleek onjuist toen ze een grotere variëteit aan teksten testten.

Wat overbleef nadat deze vijf factorisaties waren opgelost, was een eenvoudige, koppige realiteit: het effect behoorde toe aan de specifieke combinatie van prompt en model, niet aan elk van hen afzonderlijk. Een enkele, vaste prefix van negen woorden kon vier verschillende modellen naar een staat van totale stabiliteit drijven, terwijl het twee andere modellen naar totale chaos duwde. Dezelfde tekst die de voorspellingen van het ene model op hun plaats liet vergrendelen, veroorzaakte bij een ander model een instorting. Dit gedrag bleef bestaan zelfs toen de onderzoekers tekst gebruikten die gebruikelijk is in de echte wereld, wat bewees dat het niet slechts een artefact was van het gebruik van vreemde of willekeurige woorden. De onderzoekers keken ook naar de interne mechanica van de modellen, specifiek naar hoeveel aandacht het model besteedde aan de allereerste token van de sequentie. Een populaire theorie suggereerde dat vroege tokens fungeren als een "sink", die de focus van het model absorberen en de uitkomst dicteren. Echter, toen ze dit maten, faalde de theorie om de richting van de verandering te voorspellen. In sommige modellen nam de attention sink toe en steeg de stabiliteit; in andere nam de attention sink toe maar stortte de stabiliteit in. De mechanische verklaring bleek waar voor tekst uit de echte wereld, maar stortte volledig in voor de willekeurige inputs die in hun probe werden gebruikt, wat suggereerde dat de onderzoekers opereerden buiten het regime waar die mechanische theorie van toepassing is.

De studie concludeert dat de eenheid van verklaring voor dit fenomeen de prompt-model-combinatie zelf is. Er is geen enkele regel over tekstlengte, inhoud of modeltype die kan voorspellen hoe een specifiek model op een specifieke prompt zal reageren. De onderzoekers ontdekten dat hun eigen pogingen om een universele regel te vinden vaak werden gedwarsboomd door een subtiele fout: het toepassen van een rigide criterium op een hoeveelheid die geen ruimte had om te variëren. Bijvoorbeeld, ze dachten aanvankelijk dat ze een universele richting hadden gevonden waarbij alle modellen op dezelfde manier bewogen, om er vervolgens achter te komen dat hun kleine steekproefomvang de uitzonderingen had verborgen. Door hun steekproef te verbreden en te weigeren patronen te accepteren die niet konden falen, zorgden ze ervoor dat hun bevindingen eerlijk waren. Het uiteindelijke beeld is er een van diepe specificiteit. De manier waarop een model een fragment tekst leest, is geen generieke eigenschap van het model, noch is het een generieke eigenschap van de tekst. Het is een unieke interactie die alleen ontstaat wanneer die specifieke tekst die specifieke model ontmoet. De onderzoekers nodigen de wetenschappelijke gemeenschap uit om dit verder te testen, maar totdat een nieuwe factor dezelfde rigoureuze verbreding van de steekproef kan doorstaan, blijft het antwoord dat de interactie een paar-specifieke gebeurtenis is, die resistent is tegen eenvoudige categorisering.