Technische Samenvatting: Hoe werkt Chain-of-Thought? Het traceren van informatieflow vanaf decoding, projectie en activatie

Probleemstelling

Hoewel Chain-of-Thought (CoT) prompting de redeneercapaciteiten van Large Language Models (LLMs) aanzienlijk verbetert bij reken-, gezondheids- en symbolische taken, blijven de interne operationele mechanismen slecht begrepen. Eerdere hypothesen suggereren dat CoT de taakcomplexiteit verlaagt, antwoordsjablonen nabootst of vertrouwt op promptkenmerken die niet gerelateerd zijn aan logica, maar deze claims ontberen direct experimenteel bewijs dat interne modeltoestanden koppelt aan waargenomen prestatiewinst. Dit werk adresseert de "black box"-karakteristiek van CoT door te onderzoeken hoe het de informatieflow binnen de rekenarchitectuur van het model verandert.

Methodologie

De auteurs hanteren een mechanistische interpretabiliteit-benadering, waarbij ze de interne berekeningen van het model reverse-engineeren door de informatieflow achteruit te traceren vanaf de outputgeneratie naar de interne activatietoestanden. De studie maakt gebruik van:

• Modellen: Zes vooraf getrainde modellen variërend van 3B tot 70B parameters (LLaMA3.1, LLaMA3.2, Gemma2).
• Datasets: Negen datasets die drie redeneertypes bestrijken: rekenen (GSM8K, SVAMP, AQuA), gezondheidsverstand (Bamboogle, StrategyQA, Date, Sports) en symbolisch (Coin Flip, Last Letters Concatenation).
• Analyseraamwerk: Het onderzoek is gestructureerd in drie fasen:
  1. Decoding: Het analyseren van gegenereerde tekst op nabootsing van sleutelwoorden en naleving van abstracte redeneerstructuren.
  2. Projectie: Het onderzoeken van kansverdelingen over het vocabulaire om voorspellingonzekerheid en vertrouwen te meten.
  3. Activatie: Het kwantificeren van de betrokkenheid van Feed-Forward Network (FFN)-neuronen om te begrijpen hoe CoT de interne verwerking moduleert.

Belangrijke metrieken omvatten "Imitation Count" (naleving van een gedefinieerde redeneerstructuur), kernel-dichtheidsschattingen van tokenkansen, entropie van logits, en het aantal geactiveerde neuron per laag.

Belangrijkste Bijdragen en Resultaten

1. CoT als een Decoderingsruimte-Pruner via Structurele Naleving

De studie stelt dat CoT functioneert door de decoderingsruimte te beperken via de nabootsing van specifieke redeneerstructuren.

• Nabootsing van Sleutelwoorden: Modellen selectief nabootsen structurele sleutelwoorden (bijv. "tijd", "actie") uit de prompt, terwijl ze inhoudsspecifieke sleutelwoorden (bijv. "cijfers") uit de invoervraag halen.
• Structuur-Prestatie Correlatie: Er werd een sterke positieve correlatie ($r = 0,75$ tot $0,92$) gevonden tussen de naleving van het model aan een geformaliseerde redeneerstructuur (gedefinieerd als $E_p \xrightarrow{O} E_g + S_l$) en taaknauwkeurigheid. Hoge naleving aan deze structuur verklaart een significant deel van de prestatievariatie ($R^2$ tot 0,84), wat suggereert dat de structuur van het redeneren, en niet de logische geldigheid van individuele stappen, de primaire drijvende kracht is van de effectiviteit van CoT.

2. Vermindering van Voorspellende Onzekerheid in Projectie

Analyse van de projectiefase onthult dat CoT het vertrouwen van het model fundamenteel verandert.

• Geconcentreerde Verdelingen: Door CoT gegenereerde sequenties vertonen hogere en meer geconcentreerde kansverdelingen in vergelijking met standaard prompts.
• Lagere Entropie: CoT-prompts resulteren in aanzienlijk lagere entropie in tokenvoorspellingen, met name op het beslispunt (bijv. "het antwoord is..."). Dit geeft aan dat CoT de set plausibele volgende tokens versmalt, waardoor ambiguïteit wordt verminderd en het modelvertrouwen toeneemt.

3. Taakafhankelijke Modulatie van Neuronenbetrokkenheid

Een nieuwe bevinding is het niet-uniforme effect van CoT op FFN-neuronactivatie, dat varieert per taaktype:

• Algemene Vermindering: Over het algemeen leidt CoT tot een lager totaal aantal geactiveerde neuron in vergelijking met standaard prompts, wat wijst op een meer gefocust verwerkingsregime.
• Laagspecifieke Verschillen: De meest uitgesproken veranderingen treden op in het laatste derde deel van de lagen van het model.
• Open versus Gesloten Domein Divergentie:
  • Open-Domein Taken (bijv. GSM8K, Bamboogle): CoT verminderd neuronactivatie in latere lagen. De auteurs hypothetiseren dat dit fungeert als een "pruner", waardoor het model selectief relevante kenmerken kan betrekken terwijl het een enorme oplossingsruimte navigeert.
  • Gesloten-Domein Taken (bijv. Coin Flip, AQuA, Sports): CoT verhoogt neuronactivatie in latere lagen. Dit wordt geïnterpreteerd als een "versterker"-effect, waarbij het model grondig kenmerken evalueert die geassocieerd zijn met beperkte, vooraf gedefinieerde opties.

Betekenis en Claims

Het paper claimt een nieuw mechanistisch interpretabiliteitsraamwerk te bieden voor het begrijpen van CoT. Door de informatieflow te traceren van decoding tot activatie, bieden de auteurs kritieke inzichten die voorbij oppervlakkige observaties gaan:

1. Werkingsmechanisme: Het succes van CoT wordt toegeschreven aan het vermogen om modellen te leiden naar het genereren van structureel coherente redeneerstappen, wat de decoderingsruimte beperkt en voorspellende onzekerheid vermindert.
2. Dynamische Modulatie: CoT werkt niet uniform; het past neuronale betrokkenheid dynamisch aan op basis van taakeisen (verminderen voor open domeinen, versterken voor gesloten domeinen).
3. Praktische Implicaties: Deze bevindingen bieden een basis voor het ontwerpen van efficiëntere en robuustere prompts door structurele naleving te benutten en te begrijpen hoe verschillende taaktypes interageren met interne modeltoestanden.

De auteurs houden een bescheiden standpunt, waarbij ze erkennen dat hoewel hun bevindingen sterk empirisch bewijs en plausibele mechanistische hypothesen bieden, de fundamentele ondoorzichtigheid van LLM's betekent dat definitieve causale verbanden tussen specifieke interne processen en extern gedrag een grensgebied blijven voor toekomstig onderzoek. Ze benadrukken dat hun werk bijdraagt aan het gefragmenteerde maar groeiende veld van mechanistische interpretabiliteit.