💬 NLP

Interpreting and Controlling LLM Reasoning through Integrated Policy Gradient

Dit artikel introduceert Integrated Policy Gradient (IPG), een nieuw raamwerk dat de interpreteerbaarheid en controleerbaarheid van redeneren in grote taalmodellen verbetert door sequentiële bijdragen toe te schrijven aan interne componenten via achterwaartse propagatie van resultaatgebaseerde signalen, waardoor een nauwkeurigere lokalisatie en betrouwbare modulatie van redeneergedragingen mogelijk worden.

Oorspronkelijke auteurs: Changming Li, Kaixing Zhang, Haoyun Xu, Yingdong Shi, Zheng Zhang, Kaitao Song, Kan Ren

Gepubliceerd 2026-02-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Changming Li, Kaixing Zhang, Haoyun Xu, Yingdong Shi, Zheng Zhang, Kaitao Song, Kan Ren

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) voor als een enorm, superintelligent orkest dat een complexe symfonie speelt. Wanneer het orkest een perfect stuk muziek speelt (een moeilijk wiskundig probleem oplost), weten we dat het resultaat goed is. Maar als je vraagt: "Welke specifieke violist of drummer zorgde er eigenlijk voor dat die perfecte noot ontstond?" of "Hoe kunnen we de drummer vertellen om harder te spelen zonder het hele nummer te verpesten?" — dan weet niemand het echt. De muziek gebeurt, maar de interne mechanica is een "black box".

Dit paper introduceert een nieuwe tool genaamd Integrated Policy Gradient (IPG) om dit mysterie op te lossen. Hier is hoe het werkt, eenvoudig uitgelegd:

1. Het Problek: Gokken versus Weten

Eerdere methoden probeerden de "redeneer-neuronen" (de specifieke delen van het brein die het denken doen) op twee manieren te vinden:

De "Keyword" Methode: Ze zochten naar neuronen die oplichtten wanneer het model woorden als "Wacht" of "Laten we nadenken" zei. Het is also̱f je ervan uitgaat dat de drummer alleen speelt wanneer de dirigent zegt "Drumsolo!". Dit mist het stille, harde werk dat daartussenin gebeurt.
De "Contrast" Methode: Ze vergeleken twee zeer vergelijkbare prompts (één waarbij het model het goed had, en één waarbij het het fout had) om het verschil te vinden. Het is alsof je probeert te begrijpen hoe een automotor werkt door twee auto's te vergelijken, waarvan er één een lekke band heeft en de andere niet. Het is rommelig en vaak onbetrouwbaar.

Deze methoden faalden omdat redeneren geen enkel moment is; het is een lange reis. Een verkeerde stap aan het begin kan de afloop aan het einde verruïneren, maar oude methoden konden die lange keten van oorzaak en gevolg niet traceren.

2. De Oplossing: De "Uitkomst-Detective"

De auteurs stellen IPG voor, wat werkt als een detective die alleen geeft om het uiteindelijke resultaat (de "uitkomst"), maar de aanwijzingen helemaal terug naar het begin volgt.

De Analogie: Stel je een estafette voor. Het team wint (de uitkomst). Oude methoden kijken misschien alleen naar de loper die de finishlijn passeert. IPG kijkt echter naar de gehele race. Het vraagt: "Welke snelheid van welke loper, welke overdracht en welke bocht hebben het meest bijgedragen aan de overwinning van het team?"
Hoe het werkt:
1. Uitkomstgericht: IPG begint bij het uiteindelijke antwoord. Heeft het model het goed gedaan? (Ja/Nee).
2. Achterwaartse Tracing: Het stuurt een signaal terugwaarts door het "denkproces" (het traject) van het model. Het vraagt: "Hoe erg heeft deze specifie speciale neuron of feature bijgedragen aan die uiteindelijke 'Ja'?"
3. Geïntegreerd Pad: In plaats van alleen naar één snapshot te kijken, middelt het de bijdrage over het hele pad van begin tot eind. Dit zorgt ervoor dat het de cumulatieve effectiviteit van een neuron vastlegt, en niet slechts een vluchtige vonk.

3. Wat Ze Vonden: De "Redeneer-Schakelaars"

Met behulp van IPG identificeerden de onderzoekers specifieke "schakelaars" (neuronen of features) binnen het model die het redeneren aansturen.

Het Volume Omhoog Draaien (Verbetering): Wanneer ze de activiteit van deze specifieke schakelaars verhoogden, werd het model beter in wiskundige problemen. Het loste ze nauwkeuriger op.
Het Volume omlaag Draaien (Onderdrukking): Wanneer ze deze schakelaars lager zetten, stortte de prestatie van het model in. Het kon de problemen niet meer oplossen.
Fine-tuning: Ze ontdekten dat ze verschillende aspecten van redeneren konden controleren. Sommige schakelaars controleerden hoe grondig het denken was, terwijl andere de lengte van de redeneerketen controleerden. Het is alsof je aparte knoppen hebt voor "Volume", "Bass" en "Treble" in plaats van slechts één "Aan/Uit"-schakelaar.

4. De Magie van Overdraagbaarheid

Een van de coolste bevindingen is dat deze "redeneer-schakelaars" universeel zijn.

De Analogie: Stel je voor dat je het specifieke tandwiel vindt in een automotor dat de auto snel laat gaan. Je vindt het in een kleine sedan. Het paper laat zien dat als je datzelfde tandwiel neemt en in een grote vrachtwagen plaatst (een ander model van dezelfde familie), het nog steeds werkt om de vrachtwagen sneller te laten gaan.
De Claim: Ze namen de schakelaars die ze hadden gevonden in een model dat leerde redeneren door simpelweg geprompt te worden (zoals een student die een boek leest) en pasten deze toe op een model dat specifiek getraind was om te redeneren (zoals een student die naar een speciale school is gegaan). De schakelaars werkten perfect in beide gevallen, wat suggereert dat de kern van de "redeneer-machinerie" hetzelfde is.

5. Waarom Dit Er Toe Doet (Volgens het Paper)

Het paper beweert dat dit een grote stap voorwaarts is omdat:

Geen Training Nodig: Je hoeft het enorme model niet opnieuw te trainen (wat duur en traag is). Je identificeert simpelweg de onderdelen en past ze aan.
Precieze Controle: Het stelt ons in staat om het gedrag van het model betrouwbaar te sturen, waardoor we het slimmer maken of de manier waarop het denkt veranderen, zonder het te breken.
Begrijpen van het "Waarom": Het brengt ons van het gokken welke delen van het brein actief zijn naar het daadwerkelijk weten welke delen de succesvolle uitkomst hebben veroorzaakt.

Kortom, IPG is een tool die ons in de black box laat kijken, de specifieke draaiknoppen vindt die de intelligentie van het model regelen, en die knoppen harder of zachter kan draaien om het model beter te laten denken, allemaal zonder de machine opnieuw te hoeven bouwen.

Technische Samenvatting: Interpretatie en Controle van LLM-redenering via Geïntegreerde Policy Gradient

Probleemstelling

Large Language Models (LLMs) hebben geavanceerde redeneercapaciteiten getoond, maar de interne mechanismen die deze gedragingen aansturen blijven opaak. Bestaande methoden voor mechanistische interpreteerbaarheid van redenering worden geconfronteerd met twee primaire beperkingen:

Afhankelijkheid van Co-occurrences: Veel methoden identificeren componenten (bijv. neuronen of SAE-features) uitsluitend op basis van correlaties met specifieke tekstpatronen (bijv. tokens zoals "wait") of kortetermijneffecten (bijv. rekenkundige operaties). Deze benaderingen falen in het isoleren van componenten die causaal complexe, meerstaps redeneergedragingen aansturen.
Verwaarlozing van Sequentiële Invloed: Huidige methoden leggen vaak alleen directe, kortetermijneffecten vast, waarbij de cumulatieve, langetermijninvloed wordt genegeerd die vereist is voor meerstaps redeneringstaken waarbij de uiteindelijke uitkomst (bijv. de juistheid van het antwoord) afhangt van een sequentie van tussenliggende beslissingen. Bovendien hebben methoden die vertrouwen op door mensen geannoteerde contrastieve paren om controlevectoren af te leiden, moeite om te garanderen dat de beoogde doeltoestanden daadwerkelijk worden opgeroepen.

Er is een kritieke behoefte aan een framework dat zowel resultaatgericht is (het evalueren van componenten op basis van hun bijdrage aan het uiteindelijke redeneerresultaat) als sequentiële invloedsbewust (rekening houdend met de cumulatieve impact van interne componenten over de gehele inferentie-trajectorie).

Methodologie: Integrated Policy Gradient (IPG)

De auteurs stellen Integrated Policy Gradient (IPG) voor, een nieuw, training-vrij framework ontworpen om de redenering van LLM's te interpreteren en te controleren door gedrag toe te schrijven aan interne componenten op basis van langetermijnuitkomsten.

Kernprincipes

Resultaatgericht: De bijdrage van interne componenten wordt geëvalueerd tegen de uiteindelijke redeneeruitkomst (bijv. de juistheid van het antwoord of de lengte van de redeneerketen).
Sequentiële Invloedsbewust: De methode legt de cumulatieve invloed van componenten vast over de volledige generatie-trajectorie, in plaats van geïsoleerde stappen.

Technisch Framework

Representatie Ruimte Policy Gradients:
In tegenstelling tot standaard policy gradient-methoden die modelparameters ( $\theta$ ) updaten, breidt IPG het perspectief uit naar de representatieruimte. Het propageert uitkomstgebaseerde signalen (bijv. beloningen afgeleid van een verifier) backward door de inferentie-trajectorie naar interne componenten ( $h_t$ ), zoals neuronen of Sparse Autoencoder (SAE) features.
De policy gradient in de representatieruimte wordt geformuleerd als:
$\frac{\partial J}{\partial h} = \mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t=1}^T \frac{\partial}{\partial h_t} \log \pi_\theta(a_t | s_t; h_t) \cdot A_\pi(s_t, a_t) \right]$
Waarbij $J$ de signaalfunctie is (bijv. binaire correctheid), $\tau$ de redeneer-trajectorie is, en $A_\pi$ de advantage functie is die de langetermijnvoordelen van een token-selectie schat.
Path Integral Attribution (Integrated Policy Gradient):
Om de ruis en lokale gevoeligheid van ruwe gradiënten aan te pakken, gebruikt IPG een padintegraal-benadering. Het cumuleert policy gradiënten langs een lineair geïnterpoleerd pad van een baseline (bijv. de nulvector) naar de doelactivatiewaarde. Dit zorgt ervoor dat de attributiescore de globale bijdrage van een component over de gehele verandering in de policy output meeneemt, waardoor de eigenschap van volledigheid (completeness) wordt vervuld.
$\text{IPG}(i; x) = \sum_{t=1}^T (h_{t,i} - h'_{t,i}) \int_0^1 \mathbb{E}_{\tau \sim \pi_\theta} \left[ \frac{\partial}{\partial h_{t,i}} \log \pi_\theta(a_t | s_t; h'_{t} + \alpha(h_t - h'_t)) \cdot A_\pi(s_t, a_t) \right] d\alpha$
Component Selectie en Interventie:
- Identificatie: IPG berekent attributiescores over een dataset en aggregeert deze om de top- $p$ meest invloedrijke componenten (neuronen of SAE-features) te identificeren.
- Controle: Eenmaal geïdentificeerd, worden deze componenten causaal beïnvloed door een multiplicatieve schalfactor $\gamma$ toe te passen. Het instellen van $\gamma > 1$ versterkt de invloed van de component, terwijl $0 \le \gamma < 1$ (of $\gamma=0$ ) de invloed onderdrukt. Dit maakt het mogelijk om redeneergedragingen zoals redeneercapaciteit (nauwkeurigheid) en redeneerkracht (ketenlengte) te moduleren.

Belangrijkste Bijdragen

Nieuw Framework (IPG): Introductie van een training-vrij framework dat redeneergedrag direct toeschrijft aan interne componenten op basis van langetermijnuitkomsten, waarmee de beperkingen van tekstpatroon-correlatie en kortetermijneffect-analyse worden overwonnen.
Verenigde Tool voor Interpretatie en Controle: De benadering strekt zich uit tot diverse interne eenheden, inclusief individuele neuronen en SAE-features, wat een verenigd mechanisme biedt om redeneergedrag te interpreteren en te moduleren over verschillende modelarchitecturen en schalen.
Aangetoonde Effectiviteit en Overdraagbaarheid: Empirisch bewijs toont aan dat IPG een superieure controle-effectiviteit bereikt vergeleken met baselines (bijv. Control Vectors, Reasoning Neurons). Cruciaal is dat de geïdentificeerde componenten een sterke overdraagbaarheid vertonen, waardoor redenemechanismen ontdekt in prompt-geëliciteerde modellen direct kunnen worden toegepast op gedestilleerde varianten binnen dezelfde modelfamilie.

Experimentele Resultaten

De auteurs evalueerden IPG op representatieve open-source LLM's (Qwen2.5-Math-1.5B-Instruct en Llama3.1-8B-Instruct) over diverse redeneerbenchmarks (GSM8K, MATH-500, AIME-2024, GPQA-Diamond).

Precieze Lokalisatie en Controle: IPG behaalde consistent een hogere nauwkeurigheid in zowel het verbeteren als het onderdrukken van redeneercapaciteiten vergeleken met de baselines. Bijvoorbeeld, op Qwen2.5-Math-1.5B verbeterde IPG de GSM8K-nauwkeurigheid naar 84,61% (tegenover 82,41% origineel) en verminderde het deze naar 10,69% onder onderdrukking, wat precieze controle demonstreert.
Fijnmazige Modulatie: De methode slaagde er succesvol in om onderscheidende redeneergedragingen te moduleren. Interventies konden de redeneercapaciteit (nauwkeurigheid) versterken of de redeneerkracht (sequentielengte) aanpassen zonder de andere te benadelen, wat aangeeft dat onderscheidende gedragingen in specifieke componenten zijn gecodeerd.
Cross-Dataset en Cross-Model Overdracht: Componenten geïdentificeerd op één dataset (bijv. GSM8K) werden effectief overgedragen naar andere (bijv. MATH-500), en mechanismen geïdentificeerd in prompt-geëliciteerde modellen verbeterden de prestaties van redeneer-gedestilleerde modellen (bijv. DeepSeek-R1-Distilled-Qwen-1.5B).
Granulaire Inzichten: Analyse toonde aan dat door SAE afgeleide features minder verstrengeld (disentangled) zijn dan neuronen, waarbij ze vaak slechts één aspect van redeneren beïnvloeden (bijv. berekening versus decompositie), terwijl neuronen vaak polysemantisch zijn en meerdere dimensies tegelijkertijd beïnvloeden.

Betekenis en Claims

Het artikel claimt dat IPG een significante vooruitgang biedt in de mechanistische interpreteerbaarheid van LLM-redenering door de focus te verschuiven van oppervlakkige correlaties naar causale, resultaatgestuurde attributie. Door de sequentiële invloed van interne componenten effectief te vangen, maakt IPG betrouwbare sturing van redeneergedrag mogelijk zonder de noodzaak van hertraining.

De auteurs positioneren IPG als een robuuste oplossing voor het begrijpen van de "black box" van complexe redenering, wat een pad biedt naar:

Verbetering van de waarachtigheid, veiligheid en controleerbaarheid van redeneringssystemen.
Vermindering van redundante interpreteerbaarheidsinspanningen door het benutten van overdraagbare redenemechanismen over modelvarianten heen.
Het bieden van fijnmazige inzichten in specifieke aspecten van redeneren (bijv. probleembegrip, taakdecompositie), waardoor het theoretische begrip van hoe LLM's redeneren coderen en uitvoeren wordt geavanceerd.

Het werk concludeert dat, hoewel huidige methoden worstelen met de complexiteit van meerstaps redenering, de integratie van policy gradients met path integration in IPG een principieel en effectief mechanisme biedt om zowel deze kritieke modelgedragingen te interpreteren als te controleren.