Technische Samenvatting: Verhalen in Ruimte: Trajecten van In-Context Learning in Conceptuele Geloofsruimte

Probleemstelling

Grote Taalmodellen (LLMs) vertonen indrukwekkende capaciteiten voor in-context learning (ICL), waarbij ze hun gedrag aanpassen aan nieuwe informatie zonder gewichtsupdates. Dit proces wordt vaak geformuleerd als Bayesiaanse inferentie, waarbij het model latente concepten opnieuw weegt op basis van invoergegevens. De structuur van de latente hypothese-ruimte waarover deze inferentie plaatsvindt, blijft echter onduidelijk. Specifiek is niet bekend hoe LLMs complexe concepten representeren en hoe ze geloofsovertuigingen over deze concepten dynamisch bijwerken terwijl ze vrije tekst, zoals verhalen, verwerken, waarbij geloofsupdates niet-lineair en idiosyncratisch kunnen zijn in plaats van gestaag en monotoon.

Methodologie

De auteurs stellen dat LLMs geloofsovertuigingen toekennen over een laag-dimensionale meetkundige ruimte, een conceptuele geloofsruimte genoemd, en dat ICL overeenkomt met een traject door deze ruimte. Om dit te onderzoeken combineren ze gedrags- en representatieanalyses met verhaalbegrip als een natuurlijke setting voor dynamische geloofsupdates.

Theoretisch Kader

Het werk breidt de theorie van conceptuele ruimten (Gärdenfors, 2000) uit om onzekerheid en geloof in rekening te brengen.

• Conceptuele Ruimte ($C$): Een meetkundige ruimte over attributen waar concepten worden gedefinieerd als convexe deelruimten.
• Conceptuele Geloofsruimte ($B$): Een meetkundige ruimte van kansverdelingen over $C$, die de geloofstoestanden van het model vertegenwoordigt.
• Geloofstrajecten: Een reeks geloofstoestanden ($b_{1:T}$) terwijl het model een verhaal $x_{1:T}$ verwerkt, vormend een pad door de geloofsruimte.

Experimentele Opzet

• Dataset: De auteurs gebruiken de SimpleStories-dataset, bestaande uit synthetisch gegenereerde korte verhalen in verschillende stijlen (avontuur, klassiek, licht, melancholisch, tragisch).
• Domeinen: Drie conceptuele domeinen werden getest:
  1. Emoties: Vreugde, Verdriet, Boosheid, Verrassing, Angst, Walging.
  2. Genres: Licht, Sprookje, Avontuur, Spannend, Tragisch, Horror.
  3. Arbitrair: Magie, Dieren, Nieuwsgierigheid, Teamwerk, Creativiteit, Verantwoordelijkheid (dienend als tegenbeeld zonder verwachte structuur).
• Model: Llama-3.1-8b-instruct (4-bit gekwantiseerd).

Kerntechnieken

1. Geloofselicitatie: Het model wordt na elke zin van een verhaal gevraagd om de toepasbaarheid van specifieke concepten te beoordelen op een schaal van 0–10. De gedragsmatige geloofstoestand $y_{t,c}$ wordt berekend als de verwachte waarde van de token-kansen van het model.
2. Dimensionaliteitsreductie: Uniform Manifold Approximation and Projection (UMAP) en PCA worden toegepast op zowel gedragsgegevens ($Y$) als residuale activaties ($Z$) om laag-dimensionale variëteiten te identificeren ($\mathcal{M}_y$ en $\mathcal{M}_z$).
3. Lineaire Probes: Lineaire regressiemodellen worden getraind om gedragsmatige geloofsovertuigingen ($y_{t,c}$) te voorspellen uit activaties in verborgen lagen ($z_{t,\ell}$) om te testen of geloofsovertuigingen lineair zijn gecodeerd.
4. Actiatiesturing: De auteurs interveniëren op latente activaties door stuurvectoren (afgeleid van gewichten van lineaire probes of verschil-in-gemiddelden) toe te voegen om causale controle over geloofstrajecten te testen.

Belangrijkste Bijdragen en Resultaten

1. Laag-dimensionale Gestructureerde Variëteiten

De studie vindt dat geloofsupdates in LLMs goed worden beschreven als trajecten op laag-dimensionale, gestructureerde variëteiten.

• Gedrags- en Representatie-Alignering: De variëteiten afgeleid uit modelgedrag ($\mathcal{M}_y$) en interne activaties ($\mathcal{M}_z$) zijn sterk gecorreleerd en delen structurele eigenschappen.
• Domeinstructuur: Voor de domeinen Emoties en Genres vertonen de variëteiten een duidelijke structuur. Voor Emoties komt de meetkunde van de geleerde variëteit nauw overeen met de menselijk gevalideerde Valentie-Arousal-ruimte (Russell & Mehrabian, 1977), met een correlatie van $r=0,93$ tussen menselijke beoordelingen en het gedragsmatige variëteit van het model.
• Contrast met Arbitrair: Het Arbitraire domein, zonder inherente semantische structuur, vertoonde een minder duidelijke variëteitsstructuur en een lagere correlatie tussen gedrags- en activatievariëteiten ($r=0,71$), wat de hypothese ondersteunt dat structuur voortkomt uit betekenisvolle conceptuele relaties.

2. Lineaire Decodeerbaarheid van Geloofsovertuigingen

Lineaire probes getraind op verborgen activaties kunnen de gedragsmatige geloofsovertuigingen van het model nauwkeurig voorspellen.

• Probes in laag $\ell=9$ bereikten een lage Root Mean Square Error (RMSE) bij het voorspellen van geloofsdynamiek: 0,09 voor Emoties, 0,09 voor Genres en 0,11 voor Arbitrair.
• Dit suggereert dat de informatie over de "geloofsovertuigingen" van het model over het verhaal lineair toegankelijk is in de residustroom, zelfs wanneer het model niet expliciet wordt geïnstrueerd om specifieke concepten te overwegen.

3. Causale Sturing en Meetkunde

Interventies op verborgen representaties sturen causaal geloofstrajecten, en de effecten van deze interventies zijn voorspelbaar vanuit de meetkunde van de conceptuele ruimte.

• Sturend Effect: Het toevoegen van stuurvectoren voor een doelconcept (bijvoorbeeld verdriet) verschuift het traject van het model in de geloofsvariëteit naar dat concept toe.
• Sturingsverstrengeling: Sturen voor één concept beïnvloedt vaak gerelateerde concepten (bijvoorbeeld: sturen voor verdriet verhoogt boosheid en verlaagt vreugde). Deze verstrengeling weerspiegelt de meetkundige afstanden tussen conceptcentroïden in de variëteit.
• Voorspelbaarheid: De mate van sturingsverstrengeling tussen concepten correleert significant met de afstand tussen hun centroïden in de geleerde variëteit ($r=0,65$ voor Emoties).
• Lagedynamiek: Sturen op een enkele laag faalt vaak om aan te houden tot de output vanwege zelfcorrectie van het model; echter, sturen over een reeks lagen (bijvoorbeeld lagen 7–14) verandert de uiteindelijke outputgedrag succesvol.

Betekenis en Claims

Het artikel claimt een meetkundige account van geloofsdynamiek in LLMs te bieden, waarbij Bayesiaanse interpretaties van in-context learning worden verankerd in gestructureerde conceptuele representaties.

• Unificatie van Kaders: Het werk overbrugt de kloof tussen probabilistische theorieën van leren (Bayesiaanse inferentie) en meetkundige theorieën van conceptuele representatie (conceptuele ruimten) in de cognitiewetenschap.
• Interpreteerbaarheid: Het toont aan dat complexe, dynamische geloofsupdates in vrije tekst kunnen worden begrepen als gladde trajecten door een laag-dimensionale ruimte, die kunnen worden gedecodeerd en gemanipuleerd.
• Bescheidenheid: De auteurs erkennen beperkingen, en merken op dat de studie steunt op handmatig geselecteerde domeinen en concepten, concepten behandelt als unitair in plaats van compositorisch, en zich richt op globale geloofsovertuigingen op verhalenniveau in plaats van op die van specifieke personages. Ze presenteren dit als een eerste stap naar een theoretische basis voor de interpreteerbaarheid van LLMs, en suggereren dat toekomstig werk "auto-interpretabiliteits"-methoden moet verkennen om conceptuele domeinen te ontdekken en te onderzoeken hoe deze ruimten onzekerheid vormen in generatie van lange teksten.

Kortom, het artikel betoogt dat LLMs tekst niet slechts verwerken als een reeks tokens, maar navigeren door een gestructureerde, laag-dimensionale conceptuele geloofsruimte, waarbij ze hun interne staat bijwerken langs gladde trajecten die de semantische en emotionele inhoud van het verhaal weerspiegelen.