🤖 machine learning

Relational Rank Geometry in Transformers: Detecting and Steering Hidden-State Relation Frames

Dit artikel toont aan dat hoog-orde relationele structuren in de verborgen toestanden van Transformers kunnen worden gedetecteerd via Plücker-tekenentropie en effectief kunnen worden gestuurd door gerichte ingrepen op de meetkunde van relationsframes, waardoor correcte gedragsoutput wordt hersteld bij Llama-modellen van verschillende schalen.

Oorspronkelijke auteurs: Mazen Kobrosly

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mazen Kobrosly

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een groot taalmodel (zoals die chatbots aandrijven) voor als een enorme, drukke stad. In deze stad stroomt informatie door straten die "verborgen toestanden" heten. De meeste onderzoekers hebben deze stad bestudeerd door individuele gebouwen (neuronen), enkele verkeerslichten (attention heads) of specifieke wegen (richtingen) te analyseren. Ze vragen: "Wat doet dit specifieke gebouw?"

Dit artikel stelt een andere vraag: "Hoe ziet de relatie tussen meerdere gebouwen er als geheel uit?"

De auteur, Mazen Kobrosly, stelt dat wanneer een model een complexe relatie begrijpt (zoals "A staat tot B als C staat tot D"), het niet zomaar een paar willekeurige plekken verlicht. In plaats daarvan vormen de betrokken tokens (woorden) een specifieke, stijve geometrische vorm in de interne ruimte van het model. Het artikel noemt dit een "Relatiekader".

Hieronder volgt een uiteenzetting van de bevindingen van het artikel met eenvoudige analogieën:

1. De "Loodniveaubel" (Het vorm detecteren)

Om deze vormen te vinden, bedacht de auteur een hulpmiddel genaamd Plücker-tekenentropie.

De Analogie: Stel je een set van drie stokken voor die in de 3D-ruimte zweven. Je kunt ze zo rangschikken dat ze een piramide vormen. Als je de volgorde van de stokken verwisselt, kan de piramide ondersteboven of binnenstebuiten keren. Deze "flip" is een verandering in oriëntatie (zoals een linkerhand versus een rechterhand).
De Test: De auteur bekijkt groepen woorden die zouden moeten samenhangen (bijvoorbeeld drie woorden die een specifiek logisch raadsel vormen) en groepen woorden die slechts een willekeurige onzin zijn.
De Bevinding: Wanneer het model de juiste samenhangende woorden verwerkt, rangschikken ze zich in een zeer consistente, voorspelbare geometrische oriëntatie (zoals een perfect gebouwde piramide). Wanneer de woorden in de war zijn, lijken ze op een rommelige hoop stokken zonder consistente vorm.
Het Resultaat: Deze "geometrische signatuur" werd gevonden in Llama-modellen van verschillende groottes (8 miljard, 70 miljard en 405 miljard parameters). Hoe groter het model, hoe duidelijker en consistenter deze vorm was.

2. Het "Magische Raster" (Het experiment)

Om te bewijzen dat deze vorm daadwerkelijk veroorzaakt dat het model correct denkt, creëerde de auteur een spel genaamd de Edge-Grid Assay.

De Analogie: Stel je een spreadsheet voor met 8 rijen en 8 kolommen.
- Schone Toestand: De "JA"-markeringen vormen een perfecte diagonale lijn (Rij 1 verbindt met Kolom 1, Rij 2 met Kolom 2, enzovoort). Het model identificeert dit correct als een "diagonaal patroon".
- Corrupte Toestand: De "JA"-markeringen zijn zo in de war dat meerdere rijen naar dezelfde kolom wijzen. Het model identificeert dit correct als een "dubbel patroon".
De Interventie: De auteur nam de "Corrupte" toestand (waar het model in de war was) en probeerde deze te "sturen". Ze duwden het model niet alleen een beetje; ze probeerden de interne "wolk" van gegevens die deze woorden vertegenwoordigde fysiek te hervormen.

3. De "Kleisculptuur" (Het model sturen)

De auteur probeerde het "Corrupte" model te repareren door de interne gegevens op verschillende manieren te verplaatsen. Denk aan de gegevens als een klomp klei.

Poging A: Het centrum verplaatsen (alleen zwaartepunt): Ze probeerden de hele klomp klei in de richting van het "Schone" antwoord te duwen.
- Resultaat: Mislukt. Het model bleef in de war. Het verplaatsen van het zwaartepunt loste de logica niet op.
Poging B: Ruis toevoegen: Ze voegden willekeurige statische ruis toe aan de gegevens.
- Resultaat: Mislukt. Het model bleef in de war.
Poging C: De klomp hervormen (alleen vorm): Ze hielden de klomp op dezelfde plek, maar hervormden deze zodat deze overeenkwam met de geometrie van het "Schone" antwoord. Ze draaiden en draaiden aan de klei totdat het er precies zo uitzag als de "Schone" sculptuur.
- Resultaat: Geslaagd! Het model begon plotseling het juiste antwoord te geven.

De Kerninzicht: Het was niet waar de gegevens waren (de locatie) dat er toe deed; het was hoe de gegevens ten opzichte van elkaar waren gerangschikt (de vorm). Het model heeft de specifieke geometrische "skeletstructuur" van de relatie nodig om te werken.

4. De "Blauwdrukoverdracht" (Succes over prompts heen)

De auteur testte of deze "Schone Vorm" een universele oplossing was.

Ze namen de "Schone Vorm" uit een specifiek raadsel en pasten deze toe op een ander raadsel met dezelfde structuur maar andere woorden.
Resultaat: Het werkte! Het model loste het nieuwe raadsel op.
De Haken: Dit werkte alleen als de "Schone Vorm" afkomstig was van een correct opgelost voorbeeld. Als ze probeerden een "Schone Vorm" over te dragen van een corrupt voorbeeld, faalde het. Dit bewijst dat het model niet zomaar specifieke woorden uit het hoofd leert; het leert een draagbaar geometrisch formaat voor "correctheid".

Samenvatting van de Claims

Het artikel doet drie specifieke claims, niets meer:

Detectie: We kunnen detecteren dat modellen relaties vertegenwoordigen als specifieke geometrische vormen (Relatiekaders) met behulp van een wiskundig hulpmiddel genaamd Plücker-tekenentropie.
Interventie: We kunnen de redeneerfouten van een model verhelpen, niet door de woorden te veranderen, maar door chirurgisch de interne geometrische "wolk" van de relatie te hervormen zodat deze overeenkomt met een correct voorbeeld.
Specificiteit: Dit werkt vanwege de vorm van de gegevens, niet alleen vanwege de locatie of grootte. Het model vertrouwt op deze specifieke geometrische rangschikking om het juiste antwoord te krijgen.

Wat het artikel NIET claimt:

Het claimt niet de "ziel" van de AI te hebben gevonden.
Het claimt niet dat dit werkt voor elk type vraag (het is getest op specifieke logische roosters).
Het claimt niet de volledige schakeling te hebben in kaart gebracht van hoe het model deze vormen bouwt (het keek alleen naar de vorm zelf, niet naar de "machinerie" die deze bouwt).

Kortom, het artikel toont aan dat binnen de "black box" van een grote AI relaties een onderscheidende, meetbare 3D-vorm hebben, en als je die vorm kunt repareren, kun je het antwoord van de AI repareren.

Technische Samenvatting: Relationele Ranggeometrie in Transformers

Probleemstelling

Huidige mechanistische interpretatie richt zich grotendeels op lokale of laag-orde objecten, zoals individuele neuronen, attention-heads, schaarse kenmerken of lineaire richtingen in de residustroom. Hoewel deze instrumenten effectief zijn voor gelokaliseerde kenmerken, laten ze een fundamentele kloof over: ze beschrijven de geometrie van relaties tussen meerdere tokens als een unificerend object niet adequaat. Recent literatuur suggereert dat concepten gebogen variëteiten kunnen vormen en dat relationele binding een systematische moeilijkheid blijft voor geavanceerde modellen. Dit artikel stelt dat wanneer een model een relatie tussen meerdere tokens representeert, de relatie zelf een distinct geometrisch object vormt—een relatieraster—gedefinieerd als de verborgen-toestandconfiguratie van de deelnemende token-tupels. Het kernprobleem is om te bepalen of deze rasters een meetbare, rang-geïndexeerde oriëntatiestructuur bezitten en of deze structuur kan worden aangesproken om het modelgedrag te sturen.

Methodologie

1. Diagnostiek: Plücker-tekenentropie

Om de geometrie van relaties te detecteren, introduceert het artikel Plücker-tekenentropie, een diagnostische statistiek afgeleid van Plücker-coördinaten (determinant-minoren).

Projectie: Verborgen toestanden worden geprojecteerd in een vaste, laag-dimensionale deelruimte (dimensie $p=64$ ) met behulp van een Gaussische projectiematrix.
Oriëntatiemeting: Voor een tupel van $k$ tokens berekent de methode het teken van de determinant van de geselecteerde rij-minor in de top- $k$ links-singuliere token-inbedding. Dit teken registreert de oriëntatie (handigheid) van de tupel terwijl de schaal wordt genegeerd.
Entropieberekening: De entropie van deze tekens wordt berekend over sets van ware relatietupels, verward tupels (dezelfde tokens, gebroken binding) en willekeurige controles. Lagere tekenentropie duidt op een consistentere oriëntatiehandtekening.
Ranghypothese: Het artikel hypothesiseert dat een $r-argumentrelatie$ zijn sterkste oriëntatieconsistentie (laagste entropie) zal vertonen bij Plücker-rang $k=r$ . De diagnostiek meet de "diagonale marge", waarbij de entropiekloof bij de verwachte rang $k=r$ wordt vergeleken met andere toelaatbare rangen.

2. Interventie: Edge-grid Clean/Corrupt Assay

Om te testen of deze rasters hanteerbaar zijn, hanteert het artikel een edge-grid assay met $8 \times 8$ roosters van rij-/kolomtokens met JA/NEE-markeringen.

Opzet: Prompts delen hetzelfde rij-/kolomschakel en dezelfde vocabulaire, maar verschillen in de JA/NEE-relatiemap (Schoon: coherent identiteitsmap; Corrupt: duplicaat-doelmap). Dit creëert een gecontroleerde setting waarin de relatietoestand verandert terwijl de oppervlaktestructuur vast blijft.
Stuurpaden: De studie patcht verborgen toestanden op specifieke JA/NEE-markertokenposities (Laag 5) om de "corrupte" relatie-markerwolk naar de "schone" wolk te verplaatsen. Verschillende interventiefamilies worden getest:
- Vormgebaseerd: Het vervangen van de relatieve rangschikking van markeringen (gecentreerde vorm) terwijl het zwaartepunt vast blijft.
- Zwaartepuntsgebaseerd: Alleen het gemiddelde vector verplaatsen.
- Deelruimtegebaseerd: De Grassmann-deelruimte verplaatsen die wordt opgespannen door de wolk.
- Controles: Gelijk-norm ruis, willekeurige rotaties en patches op verkeerde locaties.
Uitlezing: Herstel wordt gemeten door twee metrieken op de uitleeslaag (Laag 35 voor 70B/405B):
1. Gedragsherstel: De verschuiving in antwoord-logits naar het schone antwoord.
2. Residugeometrieherstel: De verschuiving in een residu-relatie-bladvector (geconstrueerd uit uitwendige producten van rij-/kolomtokens) naar de schone geometrie.
3. Gekoppeld Herstel: Een metriek die garandeert dat gedrag en geometrie samen bewegen langs het pad.

Belangrijkste Bijdragen

Rang-geïndexeerde Diagnostische Assay: Het artikel toont aan dat gecontroleerde $r-argumentrelatie$-tupels sterkere oriëntatie-tekenconsistentie vertonen bij de verwachte Plücker-rang $k=r$ over Llama-familie 8B, 70B en 405B modellen. Dit signaal is het uniformst in het 405B-model en blijft bestaan over multi-sjabloon audits, waardoor het zich onderscheidt van oppervlakkige artefacten.
Competentie-gestuurde Edge-grid Assay: Een nieuw experimenteel ontwerp dat relatie-marker-geometrie isoleert van de omliggende prompt-schakel, wat precieze interventie op de relatietoestand mogelijk maakt zonder de taakstructuur te veranderen.
Interventief Bewijs voor Relatierasters: De studie toont aan dat in competente modellen (70B en 405B) het sturen van de vorm van de relatie-markerwolk (specifiek de geordende, schone-toestand-geometrie) zowel schone-antwoord-gedrag als residu-relatiegeometrie herstelt. Cruciaal is dat alleen zwaartepuntsverschuiving en gelijk-norm ruis dit herstel niet produceren, wat aangeeft dat de gestructureerde vorm, en niet alleen het gemiddelde of de perturbatiemagnitude, het causaal effectieve object is.

Resultaten

Detectie: Over alle modelgroottes heen tonen ware relatietupels positieve diagonale marges bij de verwachte rang ( $k=r$ voor alleen-argument, $k=r+1$ voor predikaat-plus-argument). Het 405B-model toont consistente positieve marges over alle geteste constructoren en ariteiten ( $r=3$ tot $6$), terwijl 8B en 70B gestructureerde maar constructor-specifieke variaties tonen.
Sturing: In 70B en 405B bereiken gladde relatierasterpaden (lineaire marker, alleen-vorm, Grassmann-vorm) bijna volledig eindpunt-herstel van zowel gedrag als residugeometrie.
- Vorm versus Zwaartepunt: Interventies die alleen de vorm herstellen, herstellen het gedrag bijna even effectief als volledige zwaartepunt-plus-vorm interventies, terwijl alleen zwaartepuntsverschuiving verwaarloosbaar herstel oplevert ( $\approx 0.002$ ).
- Locatie/Volgorde Controles: Het permuteren van de volgorde van schone vormen of het reflecteren ervan doet het herstel verdwijnen, wat bevestigt dat de geordende geometrie essentieel is. Cross-prompt overdracht van de schone vorm slaagt, maar het overdragen van een corrupte vorm of het toepassen van schone delta's op verkeerde locaties faalt.
- Plücker Uitlezing: Succesvolle interventies herstellen ook de edge-marker Plücker-uitlezing (determinant-tekenstructuur) naar de schone toestand, waardoor de diagnostische en interventie-helften van de studie worden verbonden.
Beperkingen: Het 8B-model wordt geïdentificeerd als een competentiegrens; het mist de basale gedragscompetentie om de stuurclaim te verankeren, hoewel enige geometrische beweging wordt waargenomen. De cross-prompt overdrachtresultaten zijn specifiek voor de identiteitsmap-schone toestand die in de promptbank wordt gebruikt en bewijzen nog geen overdracht over willekeurige relatie-inhoud.

Betekenis en Claims

Het artikel claimt een toestand-niveau brug te vestigen van relatie-probing naar relatie-raster-interventie. Het betoogt dat relationele ranggeometrie zowel detecteerbaar is via determinant-tekenstatistieken als hanteerbaar via verborgen-toestandinterventies die relatie-afhankelijk gedrag herstellen.

De betekenis ligt in het verschuiven van de eenheid van analyse van geïsoleerde kenmerken of lineaire richtingen naar finiete, geordende configuraties van token-verborgen toestanden. De resultaten suggereren dat voor hogere-orde relaties het model een geometrisch object (het relatieraster) gebruikt waarvan de gestructureerde vorm de primaire drijfveer is voor correct gedrag. Dit biedt een concrete, relatie-niveau handvat voor mechanistische interpretatie, dat onderscheidend maar complementair is aan circuit-niveau of kenmerk-niveau objecten. Het artikel stelt expliciet dat het niet claimt de volledige upstream/downstream circuitry te hebben gelokaliseerd, maar wel een meetbaar en stuurbaar toestandsobject te hebben geïdentificeerd dat relationeel gedrag bemiddelt.