A Gauge Theory of Superposition: Toward a Sheaf-Theoretic Atlas of Neural Representations

Probleemstelling

Traditionele mechanische interpretatie van Large Language Models (LLMs) gaat vaak uit van het idee dat er één enkele, globaal consistente "woordenlijst" (feature dictionary) bestaat die een neurale laag uniform kan verklaren over alle contexten heen. Echter, zowel theoretische modellen van superpositie als empirische bevindingen suggereren dat dit premise faalt. Neuronale representaties kunnen meer features bevatten dan de omringende dimensie toelaat door deze op te pakken in een overcompleet systeem. Dit leidt tot:

• Interferentie: Features overlappen en beïnvloeden elkaar.
• Context-afhankelijkheid: De identiteit van een feature verandert afhankelijk van de context.
• Het falen van globale interpretatie: Het is onmogelijk om één enkele globale beschrijving te vinden die overal werkt.

Het artikel stelt dat interpretatie niet als een zoektocht naar één globale dictionary moet worden gezien, maar als een lokaal-naar-globaal constructieprobleem, waarbij lokale beschrijvingen coherent zijn maar obstakels vertonen bij het "plakken" aan elkaar tot één geheel.

Methodologie: Een Gauge-Theoretisch Kader

De auteurs ontwikkelen een discreet gauge-theoretisch raamwerk gebaseerd op sheaf-theorie (kokertheorie). In plaats van één globale ruimte, modelleren ze de contextruimte als een stratificatie van een simpliciaal complex (een graaf van context-clusters).

De kerncomponenten van de methode zijn:

1. Lokale Kaarten (Charts): Activaties worden geclusterd in lokale domeinen. Elk domein heeft zijn eigen lokale feature-ruimte en een lokale informatie-geometrische metriek (Fisher/Gauss-Newton) die bepaalt welke feature-interacties voorspellend relevant zijn.
2. Transporten: Overgangen tussen naburige clusters worden gemodelleerd als partiële transporten (lineaire afbeeldingen).
3. Obstakels: Het falen van globale interpretatie wordt gekwantificeerd via drie meetbare geometrische obstakels:
   • O1: Lokale Jamming (Verstopping): De actieve lading van features overschrijdt de beschikbare "bandbreedte" (Fisher-bandbreedte) van de lokale ruimte.
   • O2: Proxy Shearing (Schuiving): Een mismatch tussen de geometrisch afgeleide transporten en een vaste "correspondentie-proxy" (een referentie voor hoe features zouden moeten overeenkomen) in de overlapgebieden.
   • O3: Niet-triviale Holonomie: Een path-afhankelijke transportfout. Als je rond een lus in de contextgraaf beweegt, komt je niet terug bij de starttoestand; dit impliceert dat er geen globale trivialisatie mogelijk is.

Belangrijkste Bijdragen en Theoretische Resultaten

Het paper presenteert vier bewezen en empirisch gevalideerde resultaten (A–D) die theorie verbinden met praktijk:

• Resultaat A (Spanning-tree Gauge Identiteit):
  De auteurs bewijzen dat na het "gauge-fixen" (het vaststellen van een referentiestelsel) op een opspannende boom in de graaf, de defecten op de boom-randen verdwijnen. De defecten op de overige randen (chords) zijn exact gelijk aan de holonomie van de fundamentele cyclus die ze vormen. Dit maakt holonomie direct berekenbaar en meetbaar, in plaats van een abstracte loopstatistiek.
• Resultaat B (Shearing als Ondergrens voor Mismatch):
  De "shearing"-score ($D_{shear}$) wordt bewezen als een ondergrens voor de daadwerkelijke transfer-mismatch-energie. Dit betekent dat een grote shearing-score een onvermijdelijke fout impliceert bij het overdragen van representaties tussen contexten, gezien een vaste proxy.
• Resultaat C (Gecertificeerde Jamming/Interferentie):
  Er wordt een niet-triviale ondergrens bewezen voor interferentie op een "consequente subset" van atomen. Dit certificeert dat interferentie niet slechts kwalitatief is, maar dat er een wiskundig bewezen ondergrens bestaat voor de verstoring, zelfs met hoge dekking en zonder schendingen over verschillende seeds.
• Resultaat D (Stabiliteit van Schatters):
  Via bootstrap-resampling en sample-size experimenten wordt aangetoond dat de maten voor shearing en holonomie stabiel zijn, vooral op goed geconditioneerde ("persistent") subsystemen. Dit bevestigt dat de resultaten geen artefacten zijn van steekproeffouten.

Empirische Resultaten

De methode is getest op een bevroren Llama 3.2 3B Instruct model (laag 16) met diverse datasets (WikiText-103, C4, The Stack).

• Validatie van Gauge-Identiteit: De numerieke tests tonen aan dat boom-rand-residuen verwaarloosbaar klein zijn ($\sim 10^{-5}$), terwijl de chord-residuen exact overeenkomen met de berekende holonomie (tot op machineprecisie).
• Holonomie: Er wordt een significante, niet-triviale holonomie gevonden (gemiddelde $D_{hol} \approx 0.55$), wat aangeeft dat representaties path-afhankelijk zijn. Het filteren op goed geconditioneerde randen vermindert de holonomie iets, maar elimineert het niet.
• Shearing: De gemiddelde shearing-score is significant ($\approx 0.20$), wat wijst op structurele mismatch tussen lokale kaarten. De theoretische ondergrens (Resultaat B) wordt empirisch bevestigd, hoewel de ondergrens vaak conservatief is vanwege anisotrope overlap.
• Jamming: In ongeveer 85-90% van de geanalyseerde kaarten wordt een niet-triviale ondergrens voor interferentie gecertificeerd, zonder enige schending van de theoretische ongelijkheid.
• Robuustheidsexperimenten (Appendix):
  • Model-generalisatie: De resultaten houden stand op Qwen 2.5 3B en Gemma 2 2B, hoewel de exacte waarden modelafhankelijk zijn.
  • Diepte: De obstakels variëren systematisch met de diepte van het netwerk (niet-monotoon gedrag), wat suggereert dat de structuur diep-afhankelijk is.
  • Null-controle: Bij vervanging van de geleerde lokale bases door willekeurige orthonormale bases, explodeert de holonomie en shearing. Dit bewijst dat de gevonden structuren afhangen van de geleerde geometrie en niet van willekeurige frames.
  • Hyperparameters: De resultaten zijn robuust tegen variaties in atlas-grootte, graaf-dichtheid en regularisatie.

Significantie en Impact

Dit werk biedt een fundamentele verschuiving in hoe we interpretatie van LLMs benaderen:

1. Van Global naar Atlas: Het vervangt het ideaal van één globale dictionary door een "atlas" met lokale kaarten, waarbij de "naadlijnen" (obstakels) expliciet worden gemeten.
2. Diagnostische Hulpmiddelen: Het introduceert meetbare, falsifieerbare diagnostische tools (Jamming, Shearing, Holonomy) om te bepalen waarom en wanneer interpretatie faalt.
3. Wiskundige Rigor: Door gauge-theorie en sheaf-theorie toe te passen, krijgt het veld van mechanische interpretatie een stevige wiskundige basis voor het analyseren van context-afhankelijkheid en superpositie.
4. Reproduceerbaarheid: De framework levert reproduceerbare evaluatieprimitieven die robuust zijn tegen random seeds, model-architecturen en hyperparameters, waardoor ze bruikbaar zijn voor systematische evaluatie in plaats van anekdotische case studies.

Kortom, het paper bewijst dat globale interpretatie structureel geblokkeerd kan worden door meetbare geometrische obstakels, en biedt een methodologie om deze blokkades te kwantificeren en te lokaliseren.