Mechanistic Interpretability of Chain-of-Thought Reasoning via Sequential Activation Patching
Dit artikel introduceert een raamwerk voor sequentiële activatie-patching om gedistribueerde attention-head sub-circuits te identificeren die causaal bijdragen aan Chain-of-Thought redeneren in Large Language Models door tijdelijk verspreide effecten over tokenposities te traceren en hun functionele belang te valideren via gerichte ablatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Grote taalmodellen zijn de motoren achter veel moderne kunstmatige intelligentie-instrumenten, in staat om menselijke tekst te genereren, problemen op te lossen en vragen te beantwoorden. Wanneer deze modellen geconfronteerd worden met complexe taken, zoals een moeilijk wiskundig tekstprobleem, presteren ze vaak veel beter als ze eerst wordt gevraagd hun denkproces stap voor stap uit te schrijven voordat ze een definitief antwoord geven. Deze techniek, bekend als "chain-of-thought" prompting (keten van gedachten), moedigt het model aan om een probleem op te splitsen in kleinere, beheersbare stukjes, net zoals een mens berekeningen zou uitschrijven op een stuk papier. Er blijft echter een mysterie bestaan over de vraag of deze uitgeschreven stappen het model daadwerkelijk helpen denken, of dat het slechts een beleefde uitvoering is. Het was onduidelijk of het model de tussenliggende tekst echt gebruikt om zijn interne logica te sturen, of dat het simpelweg plausibel klinkende woorden genereert terwijl het in stilte vertrouwt op een ander, verborgen proces om tot het antwoord te komen. Het begrijpen van dit onderscheid is cruciaal, want als het model niet werkelijk redeneert, kunnen de verklaringen misleidend zijn en is de betrouwbaarheid ervan in kritieke situaties twijfelachtig.
Om dit puzzelstuk op te lossen, besloten onderzoekers van het İzmir Institute of Technology om in het "brein" van het model te kijken terwijl het aan het werk is. Ze richtten zich op een specifiek type kunstmatige intelligentie, een transformer, die informatie verwerkt via een uitgebreid netwerk van onderling verbonden paden. Ze wilden precies weten waar en hoe het chain-of-thought-proces de interne activiteit van het model verandert. In plaats van alleen naar de uiteindelijke output te kijken, gebruikten ze een techniek genaamd activation patching. Stel je de interne staat van het model voor als een stroom gegevens die door verschillende kamers in een gebouw stroomt. In een standaardrun lost het model een probleem op zonder zijn stappen uit te schrijven. In een "schone" run lost het hetzelfde probleem op terwijl het zijn stappen uitschrijft. De onderzoekers namen de specifieke gegevens die tijdens de "schone" run door bepaalde paden stroomden en wisselden deze in de "standaard" run. Door dit te doen, konden ze zien of het injecteren van de "denk"-gegevens in de "niet-denkende" run ervoor zou zorgen dat het model plotseling het probleem correct begint op te lossen, alsof het de ontbrekende stappen had gekregen.
Het team ontdekte dat het vermogen van het model om te redeneren niet is opgeslagen in één enkele, geïsoleerde plek, maar verspreid is over een gedistribueerd netwerk van paden die in een specifieke sequentie activeren. Wanneer zij de interne signalen vervingen van een model dat niet nadenkt met de signalen van een model dat dat wel deed, begon het niet-denkende model zich als het denkende model te gedragen. Het kwam dichter bij het juiste antwoord en begon hetzelfde logische pad te volgen. Dit suggereert dat chain-of-thought-prompts meer doen dan alleen tekst aan het scherm toevoegen; ze reorganiseren actief de interne berekening van het model en sturen het naar een modus van redeneren. De onderzoekers ontdekten dat dit effect het sterkst was wanneer ze signalen van hetzelfde specifieke probleem vervingen, maar het werkte ook, zij het minder sterk, wanneer ze signalen van een volledig ander probleem vervingen. Dit geeft aan dat het model algemene patronen heeft geleerd voor hoe het een probleem moet doordenken, en niet alleen hoe het één specifieke vergelijking oplost.
Om te bevestigen dat deze paden werkelijk essentieel waren, voerden de onderzoekers een tweede experiment uit waarbij ze de geïdentificeerde paden simpelweg volledig uitschakelden. Toen zij dit deden, stortte de prestatie van het model in. Het kreeg niet alleen het uiteindelijke getal fout, maar verloor ook het vermogen om de draad van het verhaal vast te houden, waarbij het vaak de details van het voorbeeldprobleem mengde met de nieuwe vraag, of zelfs nalaat het verwachte formaat van het uiteindelijke antwoord te vermelden. Het model herhaalde soms steeds dezelfde frase of genereerde getallen die nergens op sloegen. Deze mislukkingen toonden aan dat de door de onderzoekers geïdentificeerde paden niet alleen bedoeld zijn voor het schrijven van de uitleg; het zijn de eigenlijke circuits die het redeneren van het model op koers houden, het helpen om het voorbeeld van de echte taak te scheiden en ervoor zorgen dat het de juiste getallen genereert.
De studie sloot ook de mogelijkheid uit dat deze verbeteringen slechts willekeurige ruis of een bijeffect waren van het veranderen van welk deel dan ook van het model. Wanneer de onderzoekers willekeurige, betekenisloze gegevens inwisselden in plaats van de specifieke "denk"-signalen, verbeterde het model niet. Dit bevestigde dat de specifieke signalen die door deze paden worden gedragen, degene zijn die er toe doen. De onderzoekers ontdekten dat deze cruciale paden geconcentreerd zijn in de middelste en latere secties van de lagen van het model, in plaats van aan het begin of het einde. Ze fungeren als een ondersteuningssysteem dat het model helpt zijn denklijn vast te houden, het uiteindelijke antwoord aan het juiste getal te koppelen en te voorkomen dat het voorbeeldprobleem de nieuwe taak besmet.
Uiteindelijk suggereert het werk dat chain-of-thought-prompting werkt omdat het een specifieke, gedistribueerde set interne circuits rekruteert die zijn ontworpen om stap-voor-stap redeneren te ondersteunen. Deze circuits zijn geen afzonderlijke "redeneermodule" die losstaat van de rest van het model; het zijn eerder overlappende componenten die het model dynamisch gebruikt wanneer het wordt gevraagd hardop na te denken. Wanneer het model niet wordt geprompt om na te denken, worden deze circuits niet volledig geactiveerd, en heeft het model moeite met complexe taken. Wanneer het wel wordt geprompt, worden deze circuits geactiveerd, waardoor het model door de noodzakelijke stappen wordt geleid om tot een oplossing te komen. De bevindingen geven een duidelijker beeld van hoe deze krachtige instrumenten daadwerkelijk werken, en laten zien dat hun vermogen om hun redenering uit te leggen niet alleen een linguïstisch fenomeen is, maar een reflectie is van een werkelijke, interne verschuiving in hoe ze informatie verwerken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.