Where You Measure Decides What You Measure: Position Selection in Ablation-Based SAE Evaluation

Stel je voor dat je probeert te begrijpen hoe een gigantische, magische bibliotheek denkt. Binnen deze bibliotheek bestaat het "brein" uit miljoenen kleine, gloeiende schakelaars. Wanneer de bibliotheek een verhaal leest, lichten bepaalde schakelaars op om het helpen de betekenis te begrijpen. Wetenschappers hebben een speciaal hulpmiddel gebouwd genaamd een Sparse Autoencoder (of SAE) om als vertaler te fungeren. Dit hulpmiddel kijkt naar de gloeiende schakelaars en probeert ze namen te geven, zoals "schakelaar voor 'kat'" of "schakelaar voor 'toekomstige tijd'".

Zodra de vertaler de schakelaars een naam heeft gegeven, volgt de volgende grote vraag: Welke ervan doen er eigenlijk toe? Om dat uit te zoeken, spelen wetenschappers meestal een spelletje van "wat als". Ze nemen een specifieke benoemde schakelaar, zetten hem uit en kijken of het verhaal van de bibliotheek verandert. Als het verhaal vreemd wordt, was die schakelaar belangrijk. Als het verhaal hetzelfde blijft, deed hij misschien niet veel. Dit wordt een ablatie-test genoemd. Het is een standaard manier om te ontdekken wat de bibliotheek laat werken. Maar hier komt het lastige deel bij: een enkele schakelaar licht niet slechts één keer op; hij licht duizenden keren op op verschillende plaatsen in het verhaal. Dus, wanneer besluit je de schakelaar uit te zetten? Kies je het eerste moment dat hij oplicht? Het laatste moment? Of het moment waarop hij het felst schijnt?

Deze paper stelt een eenvoudige maar verbijsterende vraag: Maakt het uit waar je kiest om de schakelaar uit te zetten? De auteur ontdekte dat het antwoord een luidruchtig "ja" is, en dat de manier waarop wetenschappers deze test al jarenlang uitvoeren, hen tot de verkeerde conclusies kan leiden.

De "Helderste Vonk" Valstrik

Al een lange tijd is de standaardregel voor deze tests geweest: "Zet de schakelaar uit op het moment dat hij het felst schijnt." Het voelt als een slim instinct. Als een gloeilamp op een bepaalde plek superhelder is, is dat waarschijnlijk de plek waar hij zijn belangrijkste werk doet, toch?

Het probleem, zoals deze paper uitlegt, is dat "waar het het felst schijnt" geen vaststaand feit is over de bibliotheek. Het is een feit over de vertaler (de SAE) die je gebruikt. Stel je twee verschillende vertalers voor die naar dezelfde bibliotheek kijken. Ze zijn het er allebei over eens dat Schakelaar #42 de "katten-schakelaar" is. Maar Vertaler A denkt dat de katten-schakelaar het felst schijnt bij het woord "katje", terwijl Vertaler B denkt dat hij het felst schijnt bij het woord "feline".

Als je de standaardregel volgt, zal Vertaler A de schakelaar uitzetten bij "katje", en Vertaler B zal hem uitzetten bij "feline". Hoewel ze precies hetzelfde concept testen, testen ze het in twee totaal verschillende plekken in het verhaal. De paper laat zien dat dit geen klein detail is; het is een enorme bron van verwarring.

Het Grote Schakelaar-Uit Experiment

Om dit te bewijzen, heeft de onderzoeker niet alleen gegokt; hij heeft een massaal, gecontroleerd experiment uitgevoerd. Hij bouwde zes verschillende vertalers (SAEs) die bijna identieke tweelingen waren. Ze begonnen met exact hetzelfde blauwdruk en trainden ze op exact dezelfde data, waarbij alleen minuscule, onschadelijke instellingen werden gewijzigd. Omdat ze hetzelfde begonnen, zou elke "Schakelaar #42" in alle zes de vertalers exact hetzelfde moeten betekenen.

Vervolgens voerde hij de standaardtest uit:

1. De Oude Manier: Hij liet elke vertaler zijn eigen "felste plek" kiezen om de schakelaar uit te zetten.
2. De Nieuwe Manier: Hij dwong alle zes de vertalers om de schakelaar op de exacte zelfde plek in het verhaal uit te zetten.

De Resultaten waren Schokkend.
Wanneer ze de oude manier gebruikten (elke vertaler zijn eigen plek laten kiezen), waren de resultaten alle kanten op. De vertalers leken het er wild over oneens te zijn over hoe belangrijk de schakelaar was. De een zei dat hij superbelangrijk was; een ander zei dat hij niets deed. De onderzoeker berekende dat ongeveer 7,6% tot 11,9% van de onenigheid tussen de vertalers eigenlijk alleen maar voortkwam uit het feit dat ze naar verschillende plekken in het verhaal keken.

Maar wanneer hij iedereen dwong om naar de zelfde plek te kijken, verdween de onenigheid bijna volledig. De "onenigheid" daalde naar bijna 0% voor één model en 2,4% voor een ander.

Het blijkt dat in de meeste gevallen waarin wetenschappers dachten dat de vertalers ruzie maakten over de betekenis van de schakelaar, ze eigenlijk gewoon ruzie maakten over waar ze moesten kijken. De regel "felste plek" zorgde ervoor dat ze op verschillende plekken keken, wat een illusie van onenigheid creëerde.

De "Waar" is Belangrijker dan de "Wat"

De paper onthult een verborgen waarheid: De locatie waar je de effecten meet, is belangrijker dan het woordenboek dat je gebruikt.

Sterker nog, de onderzoeker vond dat de "ruis" veroorzaakt door het kiezen van verschillende plekken enorm was. In zijn data was de variatie veroorzaakt door waar je meet 67,4% van het totale verschil. Dat betekent dat als je de plek verandert waar je de schakelaar uitzet, je het antwoord meer verandert dan wanneer je de hele vertaler zelf zou veranderen.

Dit wordt zelfs nog interessanter naarmate de bibliotheek groter wordt. Je zou denken dat als je de vertalers meer tekst laat lezen, ze het beter met elkaar eens zullen zijn. Maar het tegenovergestelde gebeurde. Naarmate de hoeveelheid tekst toenam, waren de vertalers het juist meer oneens over waar de "felste plek" was. Met meer tekst zijn er meer plekken waar de vertalers verschillende locaties kunnen kiezen, wat het probleem verergert in plaats van oplost.

Waarom Dit Alles Verandert

De auteur controleerde vijf belangrijke papers die al resultaten hadden gepubliceerd met behulp van deze methode. Hij ontdekte dat geen van hen vermeldde waar ze het effect maten. Ze zeiden alleen maar: "We zetten de schakelaar uit op de felste plek."

Dit is als een wetenschapper die zegt: "We hebben het medicijn getest op de perfecte temperatuur," zonder ooit te vertellen wat die temperatuur was. Als twee wetenschappers hetzelfde medicijn testen maar de een gebruikt 36,7°C en de ander 39°C, kunnen ze verschillende resultaten krijgen en denken ze dat het medicijn onbetrouwbaar is. Maar eigenlijk hebben ze gewoon op verschillende temperaturen gemeten.

De paper concludeert dat voor een resultaat betrouwbaar en vergelijkbaar te zijn tussen verschillende studies, wetenschappers exact moeten rapporteren welk woord (token) ze gebruikten om de schakelaar uit te zetten. Ze moeten ook rapporteren hoe ze omgingen met speciale gevallen, zoals het allereerste woord van een zin, wat de wiskunde kan verstoren als er niet zorgvuldig mee wordt omgegaan.

De Oplossing is Simpel

Het goede nieuws is dat het oplossen hiervan geen nieuwe bibliotheken of nieuwe vertalers vereist om te bouwen. De auteur zegt dat de oplossing slechts één regel code is. In plaats van de vertaler te laten beslissen waar te meten, zouden onderzoekers moeten instemmen met een gedeelde lijst van meetpunten, of op zijn minst precies moeten rapporteren welke plek ze hebben gekozen.

Door dit te doen, verdwijnt de "ruis" en kunnen we eindelijk zien welke schakelaars in het brein van de bibliotheek echt belangrijk zijn, en welke er alleen maar fel zijn omdat we toevallig op die plek hebben gekeken. De paper beweert niet dat het alle mysteries van AI heeft opgelost, maar het heeft een enorme, onzichtbare muur weggehaald die ons belette de waarheid helder te zien.