Intrinsic Self-Correction in LLMs: Towards Explainable Prompting via Mechanistic Interpretability

Technische Samenvatting: Intrinsieke Zelfcorrectie in LLM's via Mechanistische Interpreteerbaarheid

1. Het Probleem (Problem Statement)

Large Language Models (LLM's) vertonen vaak ongewenst gedrag, zoals het genereren van toxische content. Een veelgebruikte methode om dit te verbeteren is intrinsieke zelfcorrectie: het fenomeen waarbij een model zijn eigen output verbetert puur door middel van prompting (instructies in de context), zonder externe feedback of aanpassing van de modelparameters.

Hoewel dit empirisch effectief is, blijft het onderliggende mechanisme onduidelijk. Bestaande studies focussen op onzekerheid, zelfvertrouwen of het activeren van specifieke concepten via probing, maar ze verklaren niet hoe een prompt de interne representaties van een model causaal verplaatst tijdens het generatieproces. De centrale onderzoeksvraag is: Werkt intrinsieke zelfcorrectie-prompting als het sturen (steering) van representaties langs interpreteerbare latente richtingen?

2. Methodologie (Methodology)

De auteurs gebruiken een mechanistische interpreteerbaarheidsbenadering die uit vier stappen bestaat:

• Prompt-geïnduceerde verschuivingen (Prompt-Induced Shifts): Ze definiëren de verschuiving ($\ell_{k+1}$) als het verschil in de gemiddelde activaties van de verborgen representaties tussen opeenvolgende rondes van zelfcorrectie. Dit meet hoe de prompt de representatieruimte verplaatst.
• Constructie van Steering Vectors: Met behulp van contrastive pairs (paren van toxische en niet-toxische prompts) extraheren ze interpreteerbare latente richtingen ($\mu^{(l)}$). Dit zijn vectoren die de richting aangeven waarin de gemiddelde activaties van toxische en niet-toxische input verschillen.
• Activatie-interventie (Activation Intervention): Om causaliteit te testen, passen ze Activation Addition toe. Ze voegen de berekende steering vectors toe aan de activaties van het model tijdens de inferentie om te zien of ze het gewenste gedrag (bijv. minder toxiciteit) kunnen forceren.
• Alignment Analyse: Ze berekenen de cosinus-gelijkenis (cosine similarity) tussen de door de prompt veroorzaakte verschuivingen en de geconstrueerde steering vectors om te kwantificeren of de prompt de representaties in de "juiste" richting duwt.

3. Belangrijkste Bijdragen (Key Contributions)

1. Nieuwe Methodologie: Een raamwerk om zelfcorrectie te analyseren via verschuivingen in de representatieruimte.
2. Mechanistisch Bewijs: Het aantonen dat zelfcorrectie niet slechts een statistische verandering is, maar een causale verschuiving langs interpreteerbare latente richtingen.
3. Validatie van Causaliteit: Het bevestigen dat het handmatig "sturen" van de activaties (via steering vectors) hetzelfde gedrag reproduceert als de zelfcorrectie-prompts.

4. Resultaten (Results)

De auteurs testten zes open-source LLM's op taken zoals text detoxification (het minder toxisch maken van tekst) en text toxification (het toxischer maken van tekst).

• Gedragsverandering: Zowel detoxificatie als toxificatie-prompts werken effectief. De meeste verandering vindt plaats in de eerste ronde van zelfcorrectie; daarna vlakt het effect af.
• Causale Effectiviteit: Interventies met steering vectors in de vroege tot middenlagen van het model verlagen effectief de toxiciteit (bij $\alpha > 0$) of verhogen deze (bij $\alpha < 0$).
• Hoge Alignment: Er is een significante cosinus-gelijkenis tussen de door prompts geïnduceerde verschuivingen en de steering vectors. Bij detoxificatie wijst de verschuiving in de richting van de "niet-toxische" vector, en bij toxificatie in de "toxische" richting. Deze alignment piekt vaak in de midden- tot laat-lagen van het model.

5. Betekenis (Significance)

Dit onderzoek biedt een fundamenteel nieuw inzicht in hoe LLM's reageren op instructies. In plaats van zelfcorrectie te zien als een abstract proces van "nadenken", bewijst dit werk dat het een representational steering proces is. Dit heeft grote implicaties voor de Explainable AI (XAI): het suggereert dat we het gedrag van LLM's direct kunnen begrijpen en controleren door de interne latente richtingen te analyseren en te manipuleren. Bovendien kan dit raamwerk worden uitgebreid naar andere complexe processen, zoals Chain-of-Thought redenering.