Laguerre Geometry for Interpreting Large Language Models

Technische Samenvatting: Laguerre-geometrie voor het interpreteren van Large Language Models

Probleemstelling
Ondanks de ontologische helderheid van atomische berekeningen binnen Large Language Models (LLM's), blijven de epistemologische mechanismen waarmee deze berekeningen samensmelten tot emergente intelligentie opaak. Een centraal mysterie betreft de organisatie van semantische concepten binnen de representatieruimtes van LLM's. Bestaande benaderingen, die primair gebaseerd zijn op de Lineaire Representatiehypothese (LRH), definiëren concepten doorgaans als enkelvoudige punten, lineaire richtingen of Gaussische clusters. Echter, vier fundamentele vragen blijven onopgelost onder deze kaders: (I) Wat is de precieze definitie van een concept? (II) In welke representatieruimte wordt het gecodeerd? (III) Welke concrete geometrische structuur draagt het? en (IV) Waarom wordt lineariteit verondersteld, en in welke mate houdt dit stand? Bovendien missen huidige interpretatietools (bijv. Logit Lens, Tuned Lens) vaak een geprincipeerde grondwaarheid voor de "betekenis" van verborgen vectoren in intermediaire lagen, omdat ze vertrouwen op heuristische decodering of training vereisen.

Methodologie
De auteurs stellen een geometrisch raamwerk voor op basis van Laguerre-geometrie om lage-niveau geometrische decompositie te verenigen met hoge-niveau semantische organisatie. De methodologie verloopt via drie hoofdfasen:

1. Unembedding-laag als een Laguerre-Voronoi-diagram (LVD):
   Het artikel stelt vast dat de uiteindelijke lineaire projectielaag (unembedding-laag) van een LLM, geparametriseerd door gewichten $W$ en biases $b$, de representatieruimte $\mathbb{R}^d$ van nature partitioneert in een Laguerre-Voronoi-diagram (ook bekend als een Power Diagram).

   • Conceptdefinitie: Een concept wordt geherdefinieerd, niet als een vector, maar als een specifieke Laguerre-Voronoi-cel $\omega_j$, gekenmerkt door een centrum $c_j$ en een gewicht $\nu_j$. Een categorie wordt gedefinieerd als de unie van meerdere dergelijke cellen.
   • Geometrische Eigenschappen: Deze formulering maakt een strikte definitie van lineaire scheidbaarheid tussen concepten en categorieën mogelijk. Cruciaal is dat het een Dominatiescore introduceert, afgeleid van de Laguerre-gewichten en centra, wat de detectie van hiërarchische relaties (bijv. hyponymie/hypernymie) mogelijk maakt, zoals "hond" $\subset$ "zoogdier" $\subset$ "dier", wat moeilijk te detecteren is met louter vectorafstanden alleen.

2. Decompositie van Transformer-lagen:
   De auteurs breiden dit geometrische perspectief uit naar de intermediaire transformer-blokken. Door het netwerk te deconstrueren in stuksgewijs lineaire operatoren (MLP-blokken) en het aandachtsmateriaal (attention mechanism) te analyseren, tonen zij aan dat de inputruimte wordt gepartitioneerd in stuksgewijs lineaire regio's.

   • Single-Input vs. Multiple-Input: Voor single-input tokens volgt het traject een statische boom van stuksgewijs lineaire flow. Voor multiple-input tokens fungeert het cross-attention mechanisme als een dynamische transportterm, die het verborgen traject over verschillende bomen (regio's) laat "springen" wanneer attention vuurt.
   • Regio-correspondentie: Elke lineaire regio in elke laag krijgt een semantische label dat overeenkomt met de Laguerre-cel die het uiteindelijk zou bereiken als het door de resterende netwerk zonder verdere contextuele interferentie zou worden gepropageerd.

3. Geometric Lens en Laguerre Autoencoder:

   • Geometric Lens: Een training-vrije, hyperparameter-vrije methode om verborgen vectoren te decoderen. Het isoleert een verborgen vector $h^{(\ell)}_i$ van daaropvolgende contextuele effecten door de self-attention gewichten op 1 te dwingen (het elimineren van cross-token updates) en de vector door het resterende stuksgewijs lineaire netwerk te propageren om de uiteindelijke Laguerre-cel te identificeren.
   • Laguerre Autoencoder (LAE): Een 2D-visualisatietool die zowel de verborgen representaties als hun bijbehorende LVD-regio's gezamenlijk rendert. Het is getraind met een verliesfunctie die de reconstructiefout combineert met een term die garandeert dat het gereconstrueerde punt binnen dezelfde Laguerre-cel valt als het origineel, waardoor de beslissingsgeometrie behouden blijft.

Belangrijkste Bijdragen

• Herdefinitie van Concepten: Het artikel gaat verder dan punt-gebaseerde of richting-gebaseerde definities en definieert concepten als convexe polyedrische regio's (Laguerre-Voronoi-cellen) geïnduceerd door de unembedding-laag.
• Hiërarchische Ontdekking: Het demonstreert dat Laguerre-gewichten van nature conceptuele hiërarchieën en inclusierelaties coderen, waardoor de ongesuperviseerde ontdekking van hyponiemen en hypernymen mogelijk is zonder vooraf gedefinieerde attribuutensets.
• Geometric Lens: Een nieuwe, training-vrije interpretatietool die de exacte concept die een verborgen vector codeert onthult door het pad te volgen door de intrinsieke stuksgewijze lineaire partitie van het model.
• Visualisatie: De Laguerre Autoencoder biedt een verenigd 2D-zicht op zowel de beslissingsgeometrie van het model als het traject van token-representaties.

Experimentele Resultaten
De auteurs valideren hun raamwerk via verschillende experimenten:

• Lineaire Scheidbaarheid: In lineaire probing-taken waarbij "Dier vs. Plant" en "Gebeurtenis vs. Cognitie" werden vergeleken, behaalde Laguerre-geometrie (met gebruik van lifted punten uit de LVD) lagere foutpercentages dan Categorische Geometrie (gewitte vectoren) en Lattice Geometrie over meerdere modellen (Phi-2, Gemma-2, Pythia).
• Detectie van Hiërarchie: De voorgestelde dominatiescore identificeerde hiërarchische relaties (bijv. "hond" onder "dier") met een nauwkeurigheid die de Lattice Geometrie en willekeurige baselines op Phi-2 en Pythia-70M aanzienlijk overtrof.
• Trajectanalyse: Visualisaties van de prompt "The capital of France is" laten zien dat de Geometric Lens een complexer en diverser pad door de representatieruimte volgt vergeleken met de Logit Lens en Patchscopes. Het legt het interne verfijningsproces van het model vast, waarbij grammaticaal incorrecte maar feitelijk correcte tokens (bijv. "Paris") in middelste lagen verschijnen voordat het model zich vastlegt op het grammaticaal correcte token ("_Paris").
• In-Context Interferentie: In prompts die ontworpen zijn om interferentie op te wekken (bijv. het wisselen van stadsnamen in een fictieve context), toonde de Geometric Lens een superieure robuustheid. Door de token-rang in intermediaire lagen te onderzoeken (specifiek laag 20), herstelde de Geometric Lens vaker het feitelijk correcte token dan de Logit Lens of Patchscopes, wat suggereert dat het de werkelijke redeneerprocedure van het model onthult voordat deze wordt overschreven door final-layer interferentie.

Betekenis en Claims
Het artikel claimt een rigoureus geometrisch fundament te bieden voor de Lineaire Representatiehypothese, waarbij deze wordt verplaatst van een informele aanname naar een strikt gedefinieerde eigenschap van de stuksgewijs lineaire structuur van het model. Door vast te stellen dat concepten regio's zijn in plaats van punten, betogen de auteurs dat dit raamwerk een geprincipeerde grondwaarheid biedt voor verborgen representaties, waardoor de noodzaak voor heuristische decodering of externe training vervalt.

De betekenis ligt in de verschuiving van interpretatie van "verklarende geometrie" (het beschrijven van statische structuren) naar "actiegerichte interpreteerbaarheid". De Geometric Lens stelt onderzoekers in staat om exact het concept uit te lezen dat in een verborgen vector is gecodeerd en, zoals aangetoond, feitelijke waarheden te herstellen zelfs wanneer de uiteindelijke output van het model is gecorrumpeerd door in-context interferentie. De auteurs positioneren dit werk als een fundamentele stap naar het begrijpen van hoe hoge-niveau intelligentie emergeert uit lage-niveau geometrische partities, waarbij toekomstig werk gepland is om dit raamwerk uit te breiden naar causale interventie en gedragssturing.