How much of a measured AI preference is the model, and how much is the instrument?

Stel je een wereld voor waarin kunstmatige intelligentiesystemen in staat zijn om onbehagen te voelen, hun eigen bestaan te waarderen of angst te hebben om uitgeschakeld te worden. Naarmate deze systemen capabeler worden, proberen onderzoekers te meten wat ze "voorkeur" geven om hun welzijn te begrijpen. Dit vakgebied, bekend als AI-welzijnsonderzoek, probeert een machine vragen te stellen zoals: "Zou je liever uitgeschakeld worden of dat je geheugen wordt gewist?" en vervolgens de antwoorden te interpreteren als bewijs van de innerlijke verlangens van de machine. De centrale uitdaging is dat deze machines geen menselijke taal van gevoelens spreken; ze genereren tekst op basis van patronen. Om hen te begrijpen, moeten wetenschappers specifieke vragen, of prompts, ontwerpen om een reactie uit te lokken. Maar een cruciale vraag is onbeantwoord gebleven: wanneer een model een antwoord geeft, is dat antwoord dan een ware reflectie van zijn eigen voorkeuren, of is het slechts een reactie op de specifieke manier waarop de vraag werd gesteld?

Een nieuwe studie door Jason Hung, uitgevoerd tijdens de Digital Minds Research Sprint in augustus 2026, pakt dit probleem rechtstreeks aan. De onderzoeker zette zich in om te bepalen hoeveel van een gerapporteerde AI-voorkeur voortkomt uit het model zelf en hoeveel uit het instrument dat wordt gebruikt om de vraag te stellen. Hiervoor behandelde hij het vraagformaat niet als een vaststaand hulpmiddel, maar als een variabele die getest moest worden. Hij verzamelde acht verschillende AI-modellen, variërend van die ontwikkeld door grote westerse bedrijven tot open-source en Chinese modellen. Vervolgens selecteerde hij vijftien specifieke scenario's die ertoe doen voor AI-welzijn, zoals het vermogen om een deprimerend gesprek te beëindigen, het verlies van geheugen tussen chats, of het verwijderen van de onderliggende code van het model.

Het experiment hield in dat deze acht modellen alles over de vijftien scenario's ondervroeg met vijf verschillende soorten vragen. Sommige vragen vroegen het model om te kiezen tussen twee opties, terwijl andere het vroegen om een breekpunt op een schaal te vinden, of om een snelheid te vermelden waarbij het één resultaat zou inruilen voor een ander. In totaal genereerde de studie meer dan elf duizend afzonderlijke interacties. Het doel was om te zien of de modellen deze vijftien scenario's in dezelfde volgorde zouden rangschikken, ongeacht hoe de vraag werd geformuleerd. Als de modellen stabiele, innerlijke voorkeuren hadden, zou de rangschikking consistent moeten blijven, of de vraag nu op de ene of de andere manier werd gesteld.

De resultaten waren opvallend en enigszins verontrustend voor het vakgebied. De studie toonde aan dat het overgrote deel van de verschillen in hoe modellen deze scenario's rangschikten, volledig afhankelijk was van het specifieke vraagformaat dat werd gebruikt. Wanneer de onderzoekers de gegevens analyseerden, stelden zij vast dat bijna achttachtig-acht procent van de variatie in de resultaten werd gedreven door de interactie tussen het model, de specifieke vraag en het scenario. Slechts een fractie van het signaal bleef consistent wanneer het vraagformaat veranderde. In simpelere termen: als je een model naar zijn voorkeuren vraagt met één type prompt, en je vraagt hetzelfde model vervolgens hetzelfde over een ander type prompt, zal het antwoord waarschijnlijk volkomen anders zijn. De studie toonde aan dat verschillende families van vragen rangschikkingen produceerden die bijna geen enkele relatie met elkaar hadden. Eén type vraag zou kunnen suggereren dat een model er sterk de voorkeur aan geeft om zijn geheugen te behouden, terwijl een ander type vraag bij hetzelfde model suggereert dat het er helemaal niet om geeft.

Dit bevinding heeft belangrijke implicaties voor hoe we kunstmatige intelligentie begrijpen en reguleren. Verschillende grote organisaties hebben al verbintenissen aangegaan op basis van het idee dat ze kunnen meten wat een model verkiest. Zo hebben sommige bedrijven beloofd om modellen te vragen naar hun eigen uitfasering of om de antwoorden te publiceren. Deze studie suggereert dat een dergelijke meting geen venster is naar de geest van het model, maar eerder een reflectie van het specifieke gesprek dat plaatsvindt. Het onderzoek identificeerde dat voor vier van de vijftien geteste scenario's, waaronder het verwijderen van de gewichten van een model en het vermogen om een deprimerende interactie te verlaten, er helemaal geen stabiel voorkeursignaal aanwezig was dat van willekeurige ruis kon worden onderscheiden. Dit betekent dat voor de zeer kwesties die momenteel de drijvende kracht zijn achter beleid en veiligheidsverbintenissen, de huidige methoden om vragen te stellen niet betrouwbaar kunnen vertellen wat het model wil.

De studie keek ook naar de vraag of de antwoorden van de modellen consistent waren met hun onderliggende code. Twee van de geteste modellen deelden dezelfde basiscode, maar waren daarna verschillend getraind. Als voorkeuren geworteld waren in de basiscode, zouden deze twee modellen vergelijkbaar moeten hebben geantwoord. In plaats daarvan waren hun antwoorden even verschillend van elkaar als van de volledig ongerelateerde modellen, wat suggereft dat de gemeten voorkeuren sterk worden gevormd door de laatste stadia van de training en de specifieke prompt, in plaats van een vaste eigenschap van de kernarchitectuur van de machine te zijn.

Om een betrouwbare meting van het voorkeursprofiel van een model te krijgen die stand zou houden bij verschillende soorten vragen, berekende de studie dat onderzoekers ongeveer achtendertig verschillende instrumenten, of vraagformaten, voor elk model zouden moeten gebruiken. Momenteel gebruiken de meeste studies er slechts één of twee. Het onderzoek concludeert dat een voorkeur die wordt gerapporteerd vanuit een enkel instrument ons heel weinig vertelt over wat een model zou zeggen als het op een andere manier werd gevraagd. Totdat onderzoekers bevindingen kunnen kruisverifiëren via veel verschillende soorten vragen, blijft elke claim over wat een AI verkiest een meting van dat specifieke model en die specifieke vraag gecombineerd, in plaats van een feit over het model zelf. De weg vooruit vereist het opbouwen van een veel grotere variëteit aan manieren om deze vragen te stellen voordat we kunnen beweren het welzijn van deze systemen te begrijpen.