Technische Samenvatting: Naar een Effectieve Theorie van LLM's: Een Aanpak voor Representatieleren

Probleemstelling

Grote taalmodellen (LLM's) worden steeds vaker ingezet in kritieke domeinen, maar hun interne berekeningen blijven ondoorzichtig. Hoewel de microscopische bewerkingen van LLM's (matrixvermenigvuldigingen, attentie-updates, activeringen) bekend zijn, is het vaak onuitvoerbaar om gedrag direct uit deze details te begrijpen, en dit faalt in het onthullen van de macroscopische organisatie die nodig is voor verklaring. Huidige methoden voor interpretatie, zoals het traceren van circuits of het gebruik van sparse auto-encoders (SAE's), hebben vaak moeite om coherente, hoog-niveau computationele fasen of "mentale toestanden" te vangen die over tokenreeksen heen bestaan. Er is behoefte aan een raamwerk dat irrelevante microscopische details weglaat terwijl het de structuur behoudt die vereist is voor voorspelling, interpretatie en interventie, analoog aan effectieve theorieën in de natuurkunde (bijv. thermodynamica) die complexe systemen beschrijven via macrovariabelen.

Methodologie: Representatieve Effectieve Theorie (RET)

De auteurs stellen Representatieve Effectieve Theorie (RET) voor, een raamwerk dat macrotoestanden leert uit trajecten van verborgen toestanden van LLM's met behulp van een zelftoezicht-gebaseerde aanpak voor representatieleren.

Kernraamwerk

RET behandelt de verborgen toestanden van de LLM als een microscopisch substraat ($x_t$) en leert een mapping naar een lager-dimensionale macrotoestand ($z_t$) die voldoet aan drie desiderata:

1. Abstractie van Microscopische Details: Het weggooien van token-lokale variatie terwijl behoud van structureel betekenisvolle structuur.
2. Bijna Gesloten Dynamiek: De volgende macrotoestand ($z_{t+1}$) moet voorspelbaar zijn vanuit de huidige macrotoestand ($z_t$) met minimale afhankelijkheid van de volledige microtoestand ($x_t$).
3. Praktische Relevantie: De macrotoestanden moeten concrete interpretatietaken ondersteunen (interpretatie, voorspelling, interventie).

Leerprocedure

• Data Substraat: Prefixen van verborgen toestanden ($h^{(\ell_{mid})}_{0:t}$) worden geëxtraheerd uit een vaste middenlaag van een bevroren LLM.
• Architectuur: Een lichtgewicht encoder ($f_\theta$) mapt de prefix naar een macrotoestand $z_t$. Een predictor ($T_\phi$) voorspelt de volgende macrotoestand $z_{t+1}$ vanuit $z_t$.
• Doelfunctie: Het systeem wordt getraind met een BYOL/JEPA-achtige zelftoezicht-doelfunctie. De predictor minimaliseert de $L_1$-afstand tussen zijn voorspelling en de output van de doel-encoder voor de volgende stap:
  $$L_{pred} = \|T_\phi(f_\theta(x_t)) - \bar{f}_\theta(x_{t+1})\|_1$$
  waarbij $\bar{f}_\theta$ een Exponentiële Glijdende Gemiddelde (EMA) is van de encoder. Deze doelfunctie moedigt de encoder aan om de microtoestand te comprimeren tot een representatie die autonome voorspelling ondersteunt, en leert effectief een "effectieve theorie" van de dynamiek van het model.
• Clustering: Geleerde macrotoestanden worden geklusterd (bijv. via K-means) en gegroepeerd in discrete groepen om een symbolische toestandsmachine te vormen die de "mentale toestand" van het model vertegenwoordigt.

Belangrijkste Bijdragen

1. Formulering van een Effectieve Theorie-Perspectief: Het artikel definieert een principieel beeld van LLM-interpretatie dat draait om macrovariabelen, benaderende sluiting en praktische relevantie, en trekt parallellen met natuurkunde en complexiteitswetenschap.
2. RET-raamwerk: Introductie van een eenvoudige methode voor representatieleren om macrotoestanden en hun overgangswetten te verwerven uit trajecten van verborgen toestanden zonder taaklabels.
3. Empirische Validatie: Aantonen dat RET-macrotoestanden nuttig zijn in drie verschillende interpretatiescenario's:
   • Interpretatie: Genereren van coherente, temporair stabiele trajecten van redeneerfasen.
   • Voorspelling: Vroege detectie van downstream gedragsuitkomsten (specifiek sycophantie).
   • Interventie: Verschaffen van causale handvatten om modelgeneratie te sturen naar specifieke computationele strategieën.

Experimentele Resultaten

1. Interpretatie van Redeneertrajecten

• Opzet: RET werd toegepast op GPT-OSS-20B dat NuminaMath-problemen oplost. Macrotoestanden werden geklusterd in 12 groepen.
• Vondsten: RET produceerde temporair consistente trajecten die overeenkwamen met door mensen interpreteerbare redeneerfasen (bijv. probleemopzet, symbolische transformatie, verificatie).
• Vergelijking: Baselines (ruwe verborgen toestanden, PCA, SAE-features) produceerden onstabiele, op token-niveau schakelende trajecten.
• Meting: De Mental-state Interpretability Score (MIS) werd geïntroduceerd. RET behaalde een score van 5,61 op onthouden data, wat significant beter was dan SAE's (4,24), wat aangeeft dat RET het redeneerverhaal zichtbaar in ruwe tekst beter herstelt.

2. Temporale Consistentie

• Opzet: Experimenten op Pythia-160M met ingeplande scèneveranderingen (bijv. voetbalwedstrijd $\to$ regenbui $\to$ bibliotheek).
• Vondsten: RET-macrotoestanden ($z_t$) vertoonden gladde trajecten met scherpe discontinuïteiten op scènegrenzen, waardoor blokdiagonale structuren ontstonden in cosinus-similariteitsmatrices.
• Vergelijking: Baselines (ruwe $h$, gepoolde $h$, SAE) bleven gedomineerd door snelle lexicale fluctuaties en faalden in het behouden van contextgrenzen of het onderscheiden van herhaalde woorden in verschillende contexten.

3. Vroege Voorspelling van Sycophantie

• Opzet: Een nieuw multi-turn sycophantie-dataset (SYCON-Bench uitgebreid tot ~14k samples) werd samengesteld. Probes werden getraind om te voorspellen of een model uiteindelijk zou "buigen" voor valse presupposities of debatdruk, uitsluitend gebruikmakend van de eerste 5–10% van het antwoord.
• Vondsten: Een supervised variant van RET (getraind met een extra sycophantie-verlies) behaalde de hoogste gebalanceerde nauwkeurigheid (0,80 bij Valse Presuppositie, 0,90 bij Debat), presterend beter dan alle baselines op verborgen toestanden (inclusief een Transformer Block-baseline) en unsupervised RET.
• Implicatie: De geleerde macrotoestanden vangen gedragsrelevant structuur die vroege detectie van uitlijningsfouten mogelijk maakt.

4. Unsupervised Sturing

• Opzet: De verborgen toestanden van het model werden tijdens generatie naar of weg van specifieke clustercentra (attractoren/repulsoren) geduwd.
• Vondsten: Sturing verschuifde succesvol oplossingsstrategieën. Bijvoorbeeld, sturing naar een "bekende formule ophalen"-cluster veroorzaakte dat het model gesloten-formule formules gebruikte in plaats van sequentiële enumeratie. Sturing naar "woordenverduidelijking" loste ambiguïteit in valuta-eenheden op.
• Beperkingen: Sturing is alleen effectief tussen computationele paden die al plausibel zijn onder de prompt; het kan geen gedrag induceren dat effectief niet beschikbaar is in de verdeling van het model (bijv. handmatig optellen van 61 gehele getallen wanneer het model standaard een formule gebruikt).
• Vergelijking: RET-sturing behaalde 91% dekking van gedragsverschuivingen over 33 diverse prompts, presterend beter dan zwaar getune SAE-baseline-sturing (61% dekking).

Betekenis en Claims

Het artikel claimt dat LLM-berekening nuttige effectieve beschrijvingen toestaat via RET. De auteurs betogen dat:

• Macro-niveau variabelen geleerd via voorspellend zelftoezicht microscopische ruis kunnen weglaten om coherente "mentale toestanden" te onthullen.
• Deze toestanden niet louter beschrijvend zijn, maar handelbaar, waardoor causale handvatten worden geboden om modelgedrag te sturen.
• De aanpak een complementair perspectief biedt op mechanistische interpretatie (die zich richt op sparse circuits) door zich te richten op traject-niveau, grofkorrelige dynamiek.

De auteurs blijven bescheiden, en merken op dat RET één instantiatie is van een effectieve theorie en dat de resultaten specifiek zijn voor de geteste settings (wiskundig redeneren, detectie van sycophantie). Zij benadrukken dat de "mentale toestand" een operationele term is voor een grof computationeel stadium, geen letterlijke cognitieve toestand, en dat de symbolische labels nuttige samenvattingen zijn die zijn afgeleid via LLM-ondersteunde clustering in plaats van definitieve grondwaarheid.