Extracting Algorithms in Pre-trained LLMs: A Case on Hidden Markov Models
Dit artikel overbrugt de kloof tussen de in-context learning prestaties van voorgetrainde LLM's op Hidden Markov Models en hun interne mechanismen door empirisch de kandidaat-algoritmen te verfijnen, hun Transformer-implementatie theoretisch te valideren, en een Principal Activations Probe te introduceren om de laagdimensionale lineaire representaties te identificeren en causaal te manipuleren die deze voorspellingen aansturen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van naar vingerafdrukken te zoeken, zoek je naar de onzichtbare "gedachten" binnenin een gigantisch computerbrein. Dit wetenschappelijke veld wordt mechanistische interpreteerbaarheid genoemd, en het stelt een eenvoudige maar lastige vraag: Hoe denkt een machine eigenlijk? Om de mysteries in dit artikel te begrijpen, moeten we eerst weten welk spel de machine probeert op te lossen. Het speelt een spel genaamd Hidden Markov Models (HMM's). Denk aan een HMM als een weersvoorspelling waarbij je de lucht niet kunt zien. Je ziet alleen de grond: is deze nat of droog? Is het gras groen of bruin? Het "verborgen" deel is het werkelijke weer (zonnig, regenachtig, bewolkt) dat je niet kunt zien, maar dat ervoor zorgt hoe de grond eruitziet. De taak van de computer is om naar een lange geschiedenis van nat gras en droog asfalt te kijken en te raden wat het weer hierna zal zijn.
Een tijdje wisten wetenschappers dat gigantische Large Language Models (LLM's) — de superintelligente AI-chatbots die we dagelijks gebruiken — ongelooflijk goed waren in dit raadspel. Naarmate de context langer werd, benaderden hun voorspellingen de theoretisch best mogelijke prestatie (de "Oracle"), waarbij ze vaak de klassieke inferentie-algoritmen die op dezelfde gegevens worden toegepast evenaarden of zelfs overtroffen. Maar niemand wist hoe ze dit deden. Had de AI stiekem de regels van de waarschijnlijkheid geleerd? Was het patronen aan het memoriseren? Of gebruikte het een vreemde, gloednieuwe truc? Het was alsoals kijken naar een goochelaar die een konijn uit een hoed tovert en geen enkel idee hebben of er een verborgen compartiment, een tweede konijn of een magische spreuk aanwezig is. Dit artikel is de eerste keer dat onderzoekers er succesvol in zijn geslaagd om in de hoed van de goochelaar te gluren om precies te zien welke truc de AI gebruikt.
De onderzoekers zetten een enorme experiment op om de geheime strategie van de AI te achterhalen. Eerst testten ze de AI tegen een lijst met bekende "verdachten" — verschillende wiskundige algoritmen die mensen gebruiken om dit weer-raadspel op te lossen. Ze ontdekten dat geen enkel menselijk algoritme het gedrag van de AI in elke situatie kon verklaren. Soms gedroeg de AI zich als een simpele patroonherkenner, en op andere momenten als een complexe waarschijnlijkheidstracker. Dit bracht de lijst met verdachten terug tot drie hoofdtypen strategieën.
Vervolgens stelden het team een theoretische vraag: Zou een Transformer (het specifieke type AI-architectuur dat deze modellen gebruiken) daadwerkelijk deze drie strategieën kunnen uitvoeren? Ze bewezen wiskundig dat dit ja, kan. Ze bouwden zelfs een kleine, eenvoudige versie van de AI en trainden deze op slechts één specifiek weerpatroon. Toen ze naar het brein van deze kleine AI keken, zagen ze dat deze van nature had geleerd om een "finite-window" strategie te gebruiken — het keek in feite naar de laatste paar aanwijzingen (zoals de laatste 6 of 8 waarnemingen) om de volgende gok te doen, in plaats van te proberen de hele geschiedenis van het universum te onthouden.
Maar de echte magie gebeurde toen ze naar de gigantische, vooraf getrainde AI-modellen keken (de modellen die al weten hoe ze met ons moeten praten). Ze vonden een nieuw hulpmiddel uit genaamd de Principal Activations Probe (PAP). Stel je het brein van de AI voor als een gigantische snelweg met 28 verschillende rijstroken (lagen). De PAP is als een sensor die het verkeer in elke rijstrook kan stoppen, kan controleren welke informatie er doorheen stroomt, en zelfs die informatie kan verwisselen met een ander scenario om te zien of het de mening van de AI verandert.
Wat ze vonden was fascinerend en ook een beetje verrassend. De AI gebruikt niet altijd slechts één strategie; hij past zijn interne representatie aan afhankelijk van hoe moeilijk de puzzel is.
- De Makkelijke Modus: Wanneer de weer aanwijzingen zeer duidelijk zijn en de grond voorspelbaar verandert (lage "entropie"), komt het gedrag van de AI overeen met eenvoudige Bigram statistieken. Het kijkt effectief naar het allerlaatste wat het zag om de volgende stap te voorspellen.
- De Moeilijke Modus: Wanneer de aanwijzingen ruisachtig en verwarrend zijn (hoge "entropie"), vertrouwt de AI op een complexere strategie genaamd Soft n-gram. Het begint een "overtuiging" (belief) bij te houden over de verborgen staat, waarbij informatie over een korte periode van de recente geschiedenis wordt geïntegreerd. Het is alsof de AI beseft dat de grond nat is, maar ook onthoudt dat het gisteren zonnig was, waardoor de gok "bewolkt met kans op regen" wordt.
Cruciaal was dat de onderzoekers bewezen dat de AI deze overtuigingen niet alleen opslaat; het gebruikt ze ook daadwerkelijk om beslissingen te nemen. Dit deden ze door het brein van de AI te "patchen": ze namen de "overtuiging" uit een moeilijke puzzel en plakten die in het brein terwijl de AI een makkelijke puzzel oploste. De voorspelling van de AI veranderde onmiddellijk om overeen te komen met het antwoord van de moeilijke puzzel. Dit toonde aan dat de "overtuiging" niet slechts een zijdelingse opmerking is, maar de motor die de voorspelling aandrijft. Ze ontdekten echter ook een belangrijk onderscheid: in de "Moeilijke Modus" is de eenvoudige Bigram-strategie aanwezig in de vroege lagen, maar wordt deze effectief omzeild door de downstream-berekeningen van het model. De AI negeert het eenvoudige patroon ten gunste van de rijkere overtuigingstracking, alleen wanneer echte onzekerheid daarom vraagt.
Echter, ze ontdekten ook een wending. In de vroege lagen van het brein van de AI is de "overtuiging"-informatie aanwezig en gemakkelijk te lezen, maar de AI negeert het! Het is alsof je een kaart op het dashboard hebt liggen, maar rijdt door uit het raam te kijken. De AI begint die kaart pas te gebruiken in de latere lagen van zijn brein. Dit betekent dat het feit dat je een idee in het brein van een computer kunt vinden, niet betekent dat de computer dat idee ook daadwerkelijk gebruikt om na te denken.
Uiteindelijk suggereert het artikel dat deze gigantische AI's geen complexe, perfecte wiskundige simulaties van de wereld draaien. In plaats daarvan leren ze zeer efficiënte benaderingen te zijn. Ze leren om naar een kort venster van de recente geschiedenis te kijken en een "overtuiging" bij te werken over wat er aan de hand is, net zoals een mens dat zou doen. Ze hoeven geen perfecte statistici te zijn om ongelooflijk goed te zijn in het voorspellen van het volgende woord of de volgende weersgebeurtenis; ze hoeven alleen maar goed te zijn in het bijhouden van het directe verleden. Deze ontdekking helpt ons te begrijpen dat de "magie" van deze modellen in feite een zeer gestructureerd, begrijpelijk proces is van het volgen van patronen, wat ons een stap dichter bij het werkelijk begrijpen van hoe deze digitale geesten werken brengt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.