🤖 machine learning

Emergent Causal-Geometric Dynamics Across Depth in Large Language Models

Dit artikel synthetiseert geometrische en causale perspectieven om een diepte-afhankelijke dynamiek in decoder-only LLMs bloot te leggen waarbij een scherpe overgang van contextverwerking naar vorming van voorspellingen gepaard gaat met een geleidelijke geometrische herorganisatie, wat aantoont dat hoekstructuur in late lagen voorspellende gelijkenis codeert terwijl normen ontkoppeld blijven, en aldus vaststelt dat effectieve interventie vereist dat men het emergente globale dynamische structuur van het netwerk begrijpt in plaats van geïsoleerde lagen.

Oorspronkelijke auteurs: Shahar Haim, Daniel C McNamee

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shahar Haim, Daniel C McNamee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) niet voor als een magische zwarte doos, maar als een meerdere verdiepingen tellende fabriek waar een ruw idee aan de onderkant binnenkomt en een eindproduct (een voorspeld woord) aan de bovenkant verlaat.

Lange tijd hebben wetenschappers deze fabriek op twee verschillende manieren bestudeerd, maar ze waren het niet helemaal eens over hoe deze twee perspectieven bij elkaar passen:

Het Geometrische Perspectief: Ze keken naar de "vorm" van de data terwijl deze de verdiepingen opliep, en merkten op dat de data georganiseerder en abstracter wordt naarmate het hoger komt.
Het Causale Perspectief: Ze probeerden de data op verschillende verdiepingen te "prikken" om te zien wat er gebeurde. Ze ontdekten dat prikken op de vroege verdiepingen veranderde hoe het model de invoer begreep, terwijl prikken op de latere verdiepingen het eindantwoord veranderde.

Dit artikel verbindt deze twee perspectieven. Het onthult dat de fabriek eigenlijk twee distincte fasen van werk heeft, gescheiden door een scherpe overgangspunt.

Fase 1: De "Contextverwerking"-verdieping (De onderste twee derde)

Stel je de onderste verdiepingen van de fabriek voor als het Onderzoek en Ontwikkeling (O&O)-team.

Wat ze doen: Wanneer een zin binnenkomt (bijvoorbeeld: "Laten we wat kalenderrekenen doen..."), is dit team druk bezig met het verzamelen van alle aanwijzingen. Ze kijken naar de woorden, de volgorde en de betekenis van de hele zin.
De Geometrie: In deze fase is de data rommelig en hoogdimensionaal. Het is als een chaotische brainstormsessie waar elk detail telt.
De Test: Als je hier probeert het model te "sturen" (door de invoerwoorden te veranderen), werkt dat. Maar als je hier probeert een specifiek antwoord af te dwingen, werkt dat niet goed. Het model is nog steeds bezig met het verhaal uit te werken, niet met het schrijven van het einde.

De Overgang: De "Overdracht"

Iets in het midden van de fabriek (ongeveer het laatste derde deel van de lagen) is er een scherpe schakelaar. Het model stopt met alleen "nadenken over de context" en begint met "het beslissen over het antwoord".

Fase 2: De "Voorspellingvorming"-verdieping (De bovenste derde)

De bovenste verdiepingen zijn de Assemblagelijn.

Wat ze doen: Het O&O-team heeft de voltooide blauwdruk aan dit team doorgegeven. Nu is de taak puur om het volgende woord te kiezen.
De Geometrie (De Grote Ontdekking): Hier wordt het artikel interessant. De wetenschappers ontdekten dat de data in dit bovenste gedeelte zichzelf organiseert in een zeer specifieke, tweeledige code:
1. De Richting (De Pijl): Stel je voor dat elk mogelijk antwoord een specifieke richting in de ruimte heeft. In dit bovenste gedeelte vertelt de richting waarin de data wijst het model precies welk woord het moet kiezen. Als de data naar het "Noorden" wijst, zegt het model "Januari". Als het naar het "Zuiden" wijst, zegt het "Februari".
2. De Grootte (Het Volumeknopje): De grootte (of lengte) van de datavektor draagt andere informatie—zoals hoe zeker het model is of details over de specifieke zin—maar het bepaalt niet welk woord wordt gekozen. Het is als een volumeknopje dat het antwoord harder of zachter maakt, maar niet verandert wat het antwoord is.

Het "Stuurwiel"-Experiment

Om dit te bewijzen, probeerden de onderzoekers twee soorten "sturen":

Veranderen van de Grootte (Volume): Ze probeerden alleen de "grootte" van de data in de bovenste verdiepingen te veranderen om een ander antwoord af te dwingen. Resultaat: Het werkte niet. Het model bleef hetzelfde woord zeggen, misschien wel met meer of minder zekerheid.
Veranderen van de Richting (Pijl): Ze probeerden alleen de "richting" van de data in de bovenste verdiepingen te veranderen. Resultaat: Het werkte perfect! Ze konden het antwoord van het model direct omschakelen van "Januari" naar "Februari" door simpelweg de richting van de data te roteren.

De Conclusie

Het artikel concludeert dat je een AI niet kunt begrijpen of controleren door ernaar te kijken als één grote klomp.

Vroege lagen gaan over context. Ze zijn gevoelig voor de invoerwoorden, maar geven nog niet om de geometrie van het eindantwoord.
Late lagen gaan over voorspelling. Ze gebruiken een specifieke "richtingscode" om de output te beslissen.

De Analogie:
Stel je voor dat je een brief schrijft.

De onderste lagen zijn jij die je gedachten, herinneringen en feiten verzamelt (de context).
De bovenste lagen zijn je hand die daadwerkelijk de pen vasthoudt.
Het artikel toont aan dat om te veranderen wat je schrijft (de voorspelling), je niet je gedachten hoeft te veranderen (de grootte van de data); je hoeft alleen maar de richting te veranderen waarin je hand beweegt (de hoekige geometrie).

Dit verklaart waarom sommige eerdere pogingen om AI te controleren faalden: mensen probeerden het "volume" (norm) te veranderen of keken naar de "gedachten" (vroege lagen), terwijl ze het "stuurwiel" (richting van de late lagen) hadden moeten sturen. Het artikel biedt een kaart die precies aangeeft waar het "stuurwiel" zich bevindt.

Technische Samenvatting: Emergente Causaal-Geometrische Dynamiek Over Diepte in Grote Taalmodellen

Probleemstelling

Huidig onderzoek naar Grote Taalmodellen (LLMs) is gesplitst in twee distincte, maar vaak losgekoppelde benaderingen: geometrische analyse en causale interventie.

Geometrische analyses karakteriseren de evolutie van token-representaties over de netwerkdiepte heen met behulp van metrieken zoals gelijkenis, dimensionaliteit en kromming. Hoewel deze studies gestructureerde, diepte-afhankelijke variaties onthullen, blijven ze grotendeels correlatief. Ze beschrijven hoe context wordt gecodeerd, maar falen erin om te identificeren welke specifieke geometrische kenmerken de voorspellingsverdeling van de output direct beheersen.
Causale interventies (mechanistische studies) perturberen interne toestanden om veranderingen in de output waar te nemen. Deze studies hebben diepte-afhankelijke efficentieprofielen onthuld (bijvoorbeeld: bepaalde interventies werken beter in vroege versus late lagen), maar missen vaak een unificerend representatief raamwerk. Het blijft onduidelijk hoe de gemanipuleerde representaties geometrisch zijn georganiseerd of waarom interventies slagen in specifieke lagen maar niet in andere.

De centrale onopgeloste kwestie is hoe de geometrische structuur van interne representaties over de netwerkdiepte wordt herorganiseerd om voorspellingen causaal te vormen. Specifiek kan representatieve structuur beschrijvend toegankelijk en lineair decodeerbaar zijn zonder causaal operationeel te zijn bij het genereren van outputs. Dit artikel tracht deze perspectieven te synthetiseren door "mechanistische geometrie" te definiëren: representatieve geometrie waarvan de structuur direct gekoppeld is aan causale controle over voorspelling.

Methodologie

De auteurs hanteren een geïntegreerde aanpak die geometrische analyse combineert met gerichte causale interventies over drie decoder-only LLM's: Llama V3.1 8B, Mistral 0.3 7B en Qwen 2.5 7B.

1. Interventie-analyses

De studie maakt gebruik van drie modulaire taken met goed gedefinieerde input-output ruimten: "Maanden van het jaar", "Dagen van de week" en "Klokrekenen". Er worden twee primaire interventietypes toegepast:

Input-gerichte interventies: Stuurvectoren ( $V_L$ ) worden berekend op basis van centroidverschillen tussen specifieke input-tokenrepresentaties (bijvoorbeeld: het verschuiven van de representatie van "januari" naar "februari"). Deze vectoren worden toegevoegd aan de verborgen activaties van input-tokens op specifieke lagen.
Output-gerichte interventies: Stuurvectoren worden berekend op basis van centroidverschillen tussen de verborgen representaties van het laatste token die geassocieerd zijn met verschillende voorspelde outputs. Deze worden toegepast op de activatie van het laatste token.
Metriek: De efficentie van een interventie wordt gekwantificeerd door de verandering in de logit-preferentie van het model tussen de originele en de doelvoorspelling.

2. Representatie-analyses

Om de onderliggende geometrie te karakteriseren, analyseren de auteurs representaties met behulp van het WikiText-103-dataset, met focus op:

Dimensionaliteit: Gemeten via de Participatieverhouding (PR) van verborgen laagactivaties om de effectieve dimensionaliteit te bepalen. Vergelijkingen worden gemaakt tussen "identieke tokens" (het laatste token over verschillende sequenties) en "niet-identieke tokens" (tokens nabij het einde die variëren per sequentie).
Geometrische codering: Paarsgewijze Euclidische en hoekafstanden tussen tokenrepresentaties worden gecorreleerd met de symmetrische Kullback-Leibler (KL)-divergentie van hun overeenkomstige outputvoorspellingsverdelingen.
Pure interventies: Om geometrische componenten te isoleren, voeren de auteurs "pure hoekinterventies" uit (vectoren normaliseren voor het sturen om alleen de richting te behouden) en "pure norminterventies" (vectoren herschalen om gemiddelde normen te matchen).

Belangrijkste Resultaten

1. Een Scherpe Diepte-gewijze Transitie

Interventie-experimenten onthullen een bi-fasische computatiestructuur in alle geteste modellen:

Vroege Fase (Context-gericht): Ongeveer de eerste twee derde van de lagen is selectief gevoelig voor input-gerichte interventies. Het perturberen van input-tokens hier verschuift voorspellingen effectief.
Late Fase (Voorspelling-gericht): Ongeveer de laatste derde van de lagen is selectief gevoelig voor output-gerichte interventies. Het perturberen van de representatie van het laatste token hier verschuift voorspellingen effectief.
Deze transitie vertegenwoordigt een verschuiving van contextverwerkende berekening naar voorspellingsvormende berekening.

2. Herorganisatie van Representatieve Geometrie

Geometrische analyse onthult een duidelijke herorganisatie van de representatieruimte na het transitiepunt:

Dimensionaliteit: Identieke tokens tonen een expansie en daaropvolgende contractie van effectieve dimensionaliteit in vroege lagen, die stabiliseert in latere lagen. Niet-identieke tokens vertonen bredere, meerpiekige dimensionaliteitsprofielen gedreven door tokenidentiteit en context.
Hoek- versus Euclidische codering: In de voorspellingsgerichte fase (late lagen) ontstaat een tweecomponenten geometrische code:
- Hoekstructuur: Hoekafstanden tussen tokenrepresentaties worden sterk positief gecorreleerd met de gelijkenis van hun outputvoorspellingsverdelingen.
- Normen: Euclidische afstanden worden grotendeels ontkoppeld van voorspellingsgelijkenis. De divergentie tussen Euclidische en hoekafstanden geeft aan dat vectornormen informatie coderen (token- en contextspecifieke variatie) die orthogonaal is aan het voorspellingsmechanisme.

3. Causale Validatie van Hoekcodering

De hypothese dat voorspelling wordt gecontroleerd door hoekgeometrie in late lagen, wordt bevestigd door pure interventies:

Hoekinterventies: Puur directionele interventies op het laatste token zijn zeer effectief in de late (voorspellingsgerichte) fase maar ineffectief in de vroege fase.
Norminterventies: Puur op normen gebaseerde interventies zijn grotendeels ineffectief over alle lagen en interventietypes heen.
Mechanisme: De auteurs stellen dat in de laatste laag de outputverdeling $p \propto \text{Softmax}(W_{out} h_L)$ afhankelijk is van de richting van $h_L$ voor relatieve logit-waarden, terwijl de norm slechts fungeert als een globale schalingsfactor (inverse temperatuur). Het modificeren van de hoekstructuur verandert dus direct de voorspellingsidentiteit.

Belangrijkste Bijdragen

Synthese van Perspectieven: Het artikel verenigt geometrische en causale benaderingen en demonstreert dat, hoewel geometrische structuur door het hele netwerk bestaat, slechts specifieke aspecten (hoekorganisatie in late lagen) causaal relevant zijn voor voorspelling.
Identificatie van een Bi-fasische Architectuur: Het vestigt een duidelijke functionele dissociatie waarbij vroege lagen context verwerken en late lagen voorspellingen vormen, gemarkeerd door een scherpe transitie in interventie-efficentie.
Mechanistische Geometrie van Voorspelling: Het identificeert een specifieke geometrische code in late lagen waarbij hoekstructuur de volgende-tokenverdelingsgelijkenis parameteriseert, terwijl representatienormen informatie dragen die ontkoppeld is van voorspelling.
Refutatie van Decodeerbaarheid als Causaliteit: Het werk demonstreert dat de blote aanwezigheid van decodeerbare semantische structuur (lineaire scheidbaarheid) niet impliceert dat deze causaal relevant is voor voorspelling, wat aannames in eerdere interventieliteratuur uitdaagt.

Betekenis en Claims

De auteurs claimen dat hun bevindingen een mechanistische rekening bieden van hoe LLM's context omzetten in voorspelling. De betekenis ligt in:

Verzoening van Verwarrende Bevindingen: Het verklaart waarom interventies diepte-afhankelijk zijn en waarom hoekgelijkenis alleen in specifieke contexten (late lagen) correleert met semantische verwantschap.
Implicaties voor Controle: Het artikel betoogt dat laag-voor-laag functie niet in isolatie kan worden begrepen of effectief kan worden beïnvloed. Effectieve controle vereist het richten op de emergente globale dynamische structuur, specifiek de late-laag hoekgeometrie. Interventies die gericht zijn op makkelijk decodeerbare kenmerken (die op normen kunnen zijn gebaseerd of in vroege lagen voorkomen) kunnen falen in generalisatie of slechts indirecte controle uitoefenen.
Architecturale Inzichten: De resultaten suggereren dat normalisatieschema's (zoals RMSNorm) gunstige voorwaarden kunnen creëren voor hoekcodering, waarbij richting een betrouwbaarder signaal wordt dan grootte voor voorspelling.

De auteurs blijven bescheiden en merken op dat deze bevindingen gebaseerd zijn op specifieke modulaire taken en modelfamilies, en dat de relatie tussen de geometrie van context in vroege lagen en het ontstaan van hoekcodes in late lagen een open vraag blijft. Zij stellen geen nieuwe veiligheidsinterventies of implementatiestrategieën voor, maar focussen in plaats daarvan op het verbeteren van het wetenschappelijke begrip van LLM-berekening.