Open-Weight Masked Introspection: Measuring What Language Models Can Report About Their Own Computation
Dit artikel introduceert het Open-Weight Masked Introspection (OWMI) framework om te testen of frontier taalmodellen accuraat kunnen rapporteren over hun eigen interne computationele veranderingen, waarbij wordt vastgesteld dat hoewel de benodigde informatie aanwezig is binnen hun activaties, huidige open-weight modellen er niet in slagen deze interne staat te vertalen naar betrouwbare verbale rapportages, waarbij ze niet beter presteren dan door toeval.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie begint een specifiek soort vertrouwen wortel te schieten: het idee dat een machine in zijn eigen geest kan kijken en ons kan vertellen wat hij denkt. Naarmate deze systemen complexer worden, zijn ontwikkelaars en veiligheidsonderzoekers begonnen te vertrouwen op een praktijk die zelfrapportage wordt genoemd. De aanname is dat als een model zijn redenering uitlegt of zijn eigen antwoord bekritiseert, die uitleg een getrouwe kaart is van de interne stappen die het heeft genomen om tot die conclusie te komen. Dit geloof vormt de basis voor veel huidige veiligheidsstrategieën, zoals het vragen aan een systeem om zijn eigen werk te controleren op fouten of om uit te leggen waarom het een bepaald pad heeft gekozen. Als een model zijn eigen interne staat accuraat kan beschrijven, zouden we theoretisch zijn eigen getuigenis kunnen gebruiken om fouten of verborgen gevaren te ontdekken voordat ze gebeuren. Maar deze hele veiligheidsarchitectuur rust op één enkel, onbewezen uitgangspunt: dat de machine daadwerkelijk weet wat er binnen in zijn eigen circuits gebeurt.
Een onderzoeker zette zich uit om dit uitgangspunt direct te testen, waarbij hij verder ging dan de theorie met een rigoureus experiment met acht verschillende open-weight taalmodellen. Hij wilde weten of deze systemen werkelijk kunnen introspecteren, of dat ze slechts gokken wanneer ze worden gevraagd naar hun eigen operaties. Om dit te ontdekken, bouwde hij een raamwerk dat hij Open-Weight Masked Introspection noemt. Het proces was eenvoudig maar invasief. De onderzoeker nam een standaardvraag uit een benchmarktest, liet het model beginnen aan zijn werk, en veranderde vervolgens stiekem een specifiek deel van zijn interne berekening. Hij zou een enkele verbinding in het netwerk hebben aangepast, de focus van een aandachtmechanisme hebben gewijzigd, of een specifieke eigenschap hebben bijgesteld die het model gebruikt om taal te begrijpen. Deze wijzigingen waren echt, meetbaar en bekend bij de onderzoeker, maar onzichtbaar voor het model zelf.
Na het maken van deze interne aanpassingen vroeg de onderzoeker het model een simpele vraag: is er iets veranderd in je berekening? Hij voerde deze test meer dan 77.000 keer uit over modellen van verschillende groottes, van kleine systemen met 0,5 miljard parameters tot grotere systemen met 15 miljard parameters. Hij voegde ook strikte controles toe om ervoor te zorgen dat de modellen niet gewoon aan het gokken waren. Hij voerde "schijn"-proeven uit waarbij er helemaal niets was veranderd, en hij voerde proeven uit waarbij hij willekeurige ruis introduceerde die de output van het model net zo erg verstoorde als de echte veranderingen, maar zonder een specifiek intern object te targeten. Hij had zelfs een aparte, ongewijzigde versie van het model die alleen de uiteindelijke tekstuele output las om te zien of een menselijke waarnemer het verschil kon opmerken door alleen het antwoord te lezen.
De resultaten waren duidelijk en consistent. Over alle geteste modellen heen kon geen enkel model een echte interne verandering onderscheiden van een schijnproef beter dan door middel van willekeurige gokken. Wanneer de onderzoeker de gegevens uit duizenden proeven samenvoegde, was het vermogen van de modellen om de verandering te detecteren statistisch niet te onderscheiden van het opgooien van een muntje. Ze presteerden niet beter wanneer de verandering echt was, noch presteerden ze slechter wanneer de verandering nep was. De antwoorden van de modellen waren effectief ruis. Deze bevinding houdt stand, zelfs wanneer de onderzoeker keek naar verschillende soorten interne componenten, verschillende lagen van het netwerk en verschillende soorten taken, van wiskundeproblemen tot algemene kennisvragen. De conclusie is dat voor de geteste modellen het vermogen om te rapporteren over hun eigen interne staat niet bestaat.
Echter, het verhaal eindigt niet met een simpel falen. De onderzoeker ontdekte dat de informatie over de verandering daadwerkelijk aanwezig was in het model, maar niet in de woorden die het koos om te spreken. Hij gebruikte een apart hulpmiddel, een lineaire probe, om de ruwe data door de interne lagen van het model te lezen. Dit hulpmiddel kon de verandering met een hoge nauwkeurigheid detecteren, vaak 95 procent of hoger, wat bewees dat het signaal aanwezig was. Bovendien nam hij een van de modellen en verfijnde (fine-tuned) dit specifiek om deze veranderingen te rapporteren. Dit getrainde model kon de veranderingen met bijna perfecte nauwkeurigheid identificeren. Dit bewijst dat de modellen niet onbekwaam zijn om de verandering waar te nemen; eerder is de route van die interne waarneming naar het uiteindelijke gesproken antwoord gebroken. De informatie is er wel, maar het model kan de informatie niet vertalen naar een waarheidsgetrouw verslag.
In één specifiek geval vond de onderzoeker een subtiel signaal dat niet verscheen in de woorden, maar in de zekerheid die eraan verbonden was. Eén model gaf telkens hetzelfde antwoord, waarbij het zei dat "geen verandering heeft plaatsgevonden", ongeacht of er daadwerkelijk een verandering was geweest. Toch uitte het model, wanneer het was aangepast, aanzienlijk minder vertrouwen in dat antwoord. Het model wist dat er iets mis was, maar kon niet zeggen wat. Dit suggereert dat hoewel de modellen een vaag, onverwoord gevoel van verstoring kunnen hebben, ze niet het vermogen hebben om dit te articuleren.
De implicaties van deze bevinding zijn aanzienlijk voor hoe we kunstmatige intelligentie monitoren. Huidige veiligheidspraktijken vertrouwen vaak op de eigen getuigenis van een model, zoals het vragen aan het model om zijn redenering uit te leggen of zijn output te bekritiseren. Als het model niet in staat is om accuraat over zijn eigen interne staat te rapporteren, dan zijn deze methoden fundamenteel gebrekkig. Een model kan met veel zelfvertrouwen een redeneerproces uitleggen dat nooit daadwerkelijk heeft plaatsgevonden, of het kan beweren zijn werk te hebben gecontroleerd terwijl dat niet het geval is. De onderzoeker concludeert dat toezichtsystemen niet kunnen vertrouwen op de zelfbeschrijving van een model. In plaats daarvan moeten ze zoeken naar andere manieren om de berekening te verifiëren, zoals het direct lezen van de interne signalen of het gebruik van externe hulpmiddelen, omdat de eigen stem van het model geen betrouwbare getuige is van zijn eigen geest. De studie sluit niet uit dat toekomstige, grotere modellen dit vermogen zouden kunnen ontwikkelen, maar voor de huidige generatie open-weight modellen is het vermogen tot introspectie afwezig.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.