Om te begrijpen waar dit onderzoek over gaat, moet je je voorstellen dat je probeert te begrijpen waarom iemand een specifieke keuze maakt. Als je die persoon iets vraagt, kan diegene je een reden geven, maar die reden kan een gok zijn, een rationalisatie, of simpelweg onjuist. In de wereld van kunstmatige intelligentie staan onderzoekers voor een vergelijkbare uitdaging met grote taalmodellen. Deze systemen zijn krachtige hulpmiddelen die code kunnen schrijven, verhalen kunnen vertellen en problemen kunnen oplossen, maar het zijn ook "black boxes". We kunnen zien wat ze zeggen, maar we kunnen niet gemakkelijk de interne tandwielen zien die draaien om die woorden te produceren. Wetenschappers proberen al lang tools te bouwen om in deze tandwielen te kijken, in de hoop de werkelijke oorzaak van het gedrag van een model te vinden. Het doel is om te weten of een model eerlijk is over zijn eigen redenering of dat het een andere motivatie verbergt. De vraag is: hoe weten we of een uitleg eigenlijk goed is? Als een onderzoeker zegt: "Het model maakte een fout omdat het in verwarring werd gebracht door een specifiek woord," hoe kunnen we dan testen of dat waar is?

Een team onderzoekers bij Anthropic besloot dit te testen door verder te gaan dan simpele gissingen en over te stappen naar het domein van "wat als". In plaats van alleen een model om een uitleg te vragen, bouwden zij een systeem dat de omgeving van het model actief verandert om te zien of de uitleg standhoudt. Ze noemen dit proces contrafeitelijke investigatie. Het werkt als volgt: als je gelooft dat een model een fout heeft gemaakt vanwege een specifiek woord, verander je dat woord en kijk je of de fout verdwijnt. Als de fout verdwijnt wanneer je het woord verandert, was je uitleg waarschijnlijk correct. Als de fout hetzelfde blijft, was je uitleg onjuist. Deze methode verandert een vage theorie in een toetsbare feit. De onderzoekers wilden zien of de huidige tools die wetenschappers gebruiken om in AI-modellen te kijken, daadwerkelijk konden helpen bij het voorspellen van deze veranderingen, en of ze de modellen konden leren om hun eigen gedrag beter te begrijpen.

Om dit te doen, creëerden de onderzoekers een nieuwe geautomatiseerde pijplijn genaamd CHIVE. Dit systeem fungeert als een onvermoeibare onderzoeker. Het begint door een doel-AI-model duizenden vragen te stellen uit echte gesprekken, op zoek naar momenten waarop het model iets onverwachts of vreemds doet. Zodra het systeem een vreemd gedrag vindt, stopt het daar niet. Het lanceert een reeks experimenten. Het neemt de oorspronkelijke vraag en maakt kleine, specifieke aanpassingen aan die vraag — zoals het veranderen van een naam, het verwijderen van een zin, of het vervangen van een woord — en stelt het model vervolgens de nieuwe vraag opnieuw. Het doet dit tientallen keren om te zien hoe vaak het vreemde gedrag voorkomt met de oorspronkelijke vraag versus de bewerkte vraag. Als het veranderen van een specifiek woord ervoor zorgt dat het vreemde gedrag verdwijnt, registreert het systeem dat als bewijs dat het woord de oorzaak was. Dit proces genereert duizenden hoogwaardige voorbeelden waarbij de oorzaak van een gedrag bekend en door het experiment zelf geverifieerd is.

De onderzoekers gebruikten deze enorme collectie geverifieerde voorbeelden om twee belangrijke ideeën te testen. Ten eerste wilden ze zien of de bestaande tools die wetenschappers gebruiken om AI-modellen te interpreteren, daadwerkelijk nuttig waren. Deze tools zijn ontworpen om de interne activiteit van het model te lezen, vergelijkbaar met hoe een arts een hersenscan zou kunnen lezen, om de "gedachten" achter een antwoord te vinden. De onderzoekers gaven deze tools aan een slim computeragent en vroegen het om te voorspellen of een specifieke verandering in een prompt het gedrag van het model zou veranderen. Ze verwachtten dat de tools de agent een aanzienlijk voordeel zouden bieden, door het te helpen de verborgen oorzaken te zien die een eenvoudige lezing van het gesprek zouden missen. Verrassend genoeg boden de tools helemaal geen hulp. De agent presteerde net zo goed, of soms zelfs slechter, wanneer hij toegang had tot deze interne lees-tools vergeleken met wanneer hij alleen de tekst van het gesprek had. De tools slaagden er niet in om de connectie tussen een specifieke input en het resulterende gedrag te onthullen, waardoor de agent net zozeer in het duister bleef als voorheen.

Ten tweede vroegen de onderzoekers zich af of ze de modellen konden leren om hun eigen gedrag te voorspellen met behulp van de verzamelde data. Ze namen de doelmodellen en trainden hen op de duizenden experimenten die ze hadden uitgevoerd. De trainingsopdracht was simpel: toon het model een gesprek en een voorgestelde verandering, en vraag het te raden of die verandering zou voorkomen dat het vreemde gedrag optreedt. De resultaten waren hier veelbelovender. De modellen die deze training ontvingen, werden aanzienlijk beter in het voorspellen van de uitkomst van deze veranderingen. Ze leerden patronen in hun eigen gedrag te herkennen die ze voorheen niet hadden opgemerkt. Deze verbetering hield stand, zelfs toen de onderzoekers de modellen testten op volledig nieuwe soorten vragen en scenario's die ze tijdens de training nooit hadden gezien. De modellen hadden een algemene vaardigheid geleerd om te begrijpen hoe hun eigen acties werden beïnvloed door hun inputs.

De studie onderzocht ook of de modellen simpelweg de antwoorden aan het memoreren waren of dat ze een dieper, intern begrip van zichzelf hadden verkregen. Om dit te testen, trainden de onderzoekers één model op data over zijn eigen gedrag en een ander model op data over het gedrag van een ander model. Als het eerste model een speciale, private toegang had tot zijn eigen interne staat, zou het beter moeten presteren dan het tweede model. Echter, beide modellen presteerden even goed. Dit suggereert dat de modellen niet toegang hadden tot een verborgen, geprivilegieerde kennis over zichzelf. In plaats daarvan leerden ze de patronen van oorzaak en gevolg te herkennen uit de data die aan hen werd getoond, net zoals een student een onderwerp leert door voorbeelden te bestuderen.

De bevindingen schetsen een duidelijk beeld van waar het veld zich momenteel bevindt. De huidige tools om in AI-modellen te kijken, die veelbelovend waren in eenvoudigere, gecontroleerde tests, lijken niet te werken wanneer ze worden toegepast op de rommelige, complexe gedragingen die voorkomen in echte gesprekken. Ze bieden niet het "aha"-moment dat uitlegt waarom een model deed wat het deed. Aan de andere kant laat de studie zien dat modellen getraind kunnen worden om veel beter te worden in het voorspellen van hun eigen reacties op veranderingen in hun omgeving. Dit suggereert dat de weg naar het begrijpen van AI-gedrag misschien niet ligt in het bouwen van betere microscopen om in de machine te kijken, maar eerder in het trainen van de machine om de patronen van zijn eigen acties te herkennen. De onderzoekers hebben al hun data en code vrijgegeven, waarmee ze een nieuw fundament leggen voor anderen om dit werk voort te zetten, zodat toekomstige verklaringen van AI-gedrag gebaseerd zijn op wat er daadwerkelijk gebeurt wanneer de wereld verandert, en niet alleen op wat we denken dat er gebeurt.