Gauge Freedom and Metric Dependence in Neural Representation Spaces

Deze paper toont aan dat neurale representaties een meetkundige vrijheidsgraad hebben onder lineaire transformaties, waardoor veelgebruikte vergelijkingsmaten zoals cosinus-achtigheid afhankelijk worden van de gekozen coördinaten en niet-invariant zijn voor de daadwerkelijke modelfunctie.

De kern

De Verborgen Taal van AI: Waarom "Afstand" in Neuronale Netwerken Misleidend Kan Zijn

Stel je voor dat een kunstmatige intelligentie (zoals een chatbot of een beeldherkenningsprogramma) werkt als een enorme fabriek. In deze fabriek stroomt informatie door verschillende afdelingen (de lagen van het netwerk). Op elke afdeling wordt de informatie omgezet in een soort "geheime code": een lijst met getallen die we neuronale representaties noemen.

Wetenschappers kijken vaak naar deze getallenlijsten om te begrijpen hoe de AI denkt. Ze zeggen bijvoorbeeld: "Deze twee woorden lijken op elkaar omdat hun getallenlijsten dicht bij elkaar liggen in een denkbeeldige ruimte." Ze gebruiken daarvoor een maatstaf die cosinushoek (cosine similarity) heet.

Maar dit artikel, geschreven door Jericho Cain, onthult een verrassend geheim: deze getallenlijsten hebben geen vaste betekenis. Ze zijn net als een kaart die je kunt draaien, rekken of uitrekken zonder dat de bestemming verandert.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. De "Rijbewijs"-Analogie: Verschillende Kaarten, Dezelfde Bestemming

Stel je voor dat je een rijbewijs hebt. Je kunt het in het Nederlands, het Frans of het Duits hebben. De tekst is anders, de taal is anders, maar het feit dat je mag rijden, blijft precies hetzelfde.

In een neurale netwerk gebeurt iets vergelijkbaars:

• De AI leert een taak (bijvoorbeeld: "Is dit een hond of een kat?").
• De "geheime code" (de representatie) die de AI gebruikt om die beslissing te nemen, kan op oneindig veel manieren worden geschreven.
• Als je de getallen in die code verandert (bijvoorbeeld door ze te vermenigvuldigen met een getal of ze te draaien), moet de AI alleen maar de volgende stap (de "leeslaag") een beetje aanpassen om de uitkomst hetzelfde te houden.

De auteur noemt dit Gauge-vrijheid (of gauge freedom). Het betekent dat de "coördinaten" van de AI's gedachten niet uniek zijn. Ze zijn net als een vertaling: je kunt de zin anders zeggen, maar de betekenis blijft gelijk.

2. Het Probleem: De "Rijstafel" vs. De "Werkelijke Afstand"

Nu komt het lastige deel. Wetenschappers kijken vaak naar deze getallenlijsten en zeggen: "Hoe dichter twee lijsten bij elkaar staan, hoe meer ze op elkaar lijken." Ze gebruiken daarvoor de cosinushoek.

Stel je voor dat je een wereldbol hebt.

• De Normale Wereld: Je meet de afstand tussen Parijs en Londen op de bol. Dat is een vaste afstand.
• De AI-Wereld: De AI kan de wereldbol echter uitrekken alsof het deeg is. Je kunt Parijs en Londen dichter bij elkaar duwen, of verder uit elkaar trekken, zolang je maar tegelijkertijd de "routebeschrijving" (de rest van het netwerk) aanpast.

Het artikel toont aan dat als je de AI's "deeg" uitrekt (een wiskundige transformatie toepast):

1. De AI precies hetzelfde antwoord geeft (de hond is nog steeds een hond).
2. Maar de afstand tussen de getallenlijsten verandert drastisch!

Twee woorden die voor de AI "dichtbij" leken, kunnen plotseling "ver weg" lijken, alleen omdat we de meetlat hebben veranderd. De cosinushoek is dus niet een eigenschap van de AI zelf, maar van de manier waarop we er naar kijken.

3. De Experimenten: Het Bewijs

De auteur heeft dit getest met twee simpele modellen:

• Een model dat cijfers herkent (zoals op een postzegel).
• Een model dat foto's van dieren herkent (CIFAR-10).

Hij deed het volgende:

1. Hij liet het model een foto zien.
2. Hij "vervormde" de geheime code van het model wiskundig (een gauge transformatie).
3. Hij paste de laatste stap van het model aan zodat het antwoord niet veranderde.

Het resultaat was verbazingwekkend:

• De voorspellingen bleven 100% hetzelfde.
• Maar de "afstand" tussen de getallenlijsten (cosinushoek) veranderde enorm.
• Soms veranderde het model van mening over welke foto het "meest lijkt" op een andere (de dichtstbijzijnde buurman veranderde).

Dit betekent dat als je zegt: "Deze twee woorden zijn semantisch verwant omdat hun cosinushoek 0,9 is," je misschien gewoon toeval kijkt. Het hangt af van welke "vertaling" (coördinatenstelsel) de AI op dat moment gebruikt.

4. De Oplossing: Een Standaard Maatstaf Kiezen

Als de afstand niet vaststaat, hoe kunnen we dan nog iets zeggen? De auteur stelt twee oplossingen voor:

Optie A: Zoek naar dingen die niet veranderen.
In plaats van naar de afstand te kijken, kijken we naar dingen die onafhankelijk zijn van de "uitrekking". Denk aan de vorm van een object, niet aan hoe groot het is. In de AI-wereld zijn er methoden (zoals CKA of SVCCA) die proberen deze stabiele vormen te meten.

Optie B: Kies één vaste "standaard" (Canonische Coördinaten).
Stel je voor dat je altijd in "meters" meet, nooit in "voet" of "el". De auteur suggereert een techniek genaamd Whitening (witwassen).

• Dit is alsof je de "deeg" van de AI weer terugrekt tot een perfecte bol.
• Hierdoor verdwijnt alle willekeurige rek en krijg je een eerlijke, neutrale maatstaf.
• Als iedereen zijn AI's eerst "witwasst" voordat ze ze vergelijken, dan zijn de resultaten eerlijk en vergelijkbaar.

Conclusie: Waarom Dit Belangrijk Is

Dit artikel waarschuwt onderzoekers en ontwikkelaars: Wees voorzichtig met wat je ziet.

Wanneer we zeggen dat een AI "begrijpt" dat een hond en een kat op elkaar lijken, baseren we dat vaak op de afstand tussen hun getallenlijsten. Maar deze afstand is niet vast; het is een keuze die we maken door hoe we de data bekijken.

• De les: De "geometrie" van een AI is niet zoals de geometrie van een tafel (die blijft staan). Het is meer zoals een dans: de dansers kunnen hun armen willekeurig bewegen (gauge vrijheid), zolang ze maar in het ritme blijven (de voorspelling).
• De boodschap: Om echt te begrijpen hoe AI werkt, moeten we kijken naar wat er echt gebeurt (de voorspelling en de onderliggende structuur), en niet alleen naar de willekeurige afstanden tussen de getallenlijsten. Of we moeten ervoor kiezen om altijd in dezelfde "taal" (zoals na whitening) te praten.

Kortom: De kaart is niet het gebied. En bij AI kan je de kaart steeds opnieuw tekenen zonder dat het landschap verandert.

Technische samenvatting

Titel: Gauge-vrijheid en metriek-afhankelijkheid in neurale representatieruimten

Auteur: Jericho Cain (Portland Community College)
Datum: 10 maart 2026

---

1. Het Probleem

Neurale netwerken worden vaak geanalyseerd door de geometrie van hun interne vectorrepresentaties (zoals woordembeddings of verborgen toestanden) te bestuderen. Een veelvoorkomende aanname in deze analyses is dat de coördinaten van deze vectoren intrinsieke geometrische betekenis hebben. Metingen zoals cosinus-相似heid (cosine similarity) en Euclidische afstand worden standaard gebruikt om semantische gelijkenis of structurele eigenschappen te kwantificeren.

Het paper identificeert een fundamenteel probleem: de coördinaten van neurale representaties zijn niet uniek gedefinieerd. Als een verborgen representatie $h(x)$ wordt getransformeerd door een inverteerbare lineaire afbeelding $D$, kan de uitgang van het netwerk exact hetzelfde blijven door de daaropvolgende gewichten $W$ aan te passen met $D^{-1}$.
Dit betekent dat representaties slechts gedefinieerd zijn tot op een inverteerbare lineaire transformatie (de groep $GL(d)$). De auteurs noemen dit een gauge-vrijheid (gauge freedom) van de representatieruimte.

Het gevolg is dat meetkundige grootheden die afhankelijk zijn van de gekozen coördinaten (zoals hoeken tussen vectoren of cosinus-相似heid), niet invariant zijn onder deze transformaties. Twee netwerken die exact dezelfde functie uitvoeren en dezelfde informatie coderen, kunnen dus radicaal verschillende cosinus-相似heidsmaten vertonen, wat leidt tot inconsistente interpretaties in de literatuur (zoals anisotropie in embedding-ruimten).

2. Methodologie

De auteurs benaderen neurale representatieruimten puur vanuit een meetkundig perspectief als vectorruimten met een gauge-vrijheid onder de algemene lineaire groep $GL(d)$.

Theoretisch Kader:

• Gauge Symmetrie: Voor een verborgen laag $h(x)$ en een lineaire leslaag $W$, geldt dat de transformatie $h'(x) = Dh(x)$ en $W' = WD^{-1}$ de netwerkfunctie $y = Wh(x)$ ongewijzigd laat.
• Metriek-afhankelijkheid: Cosinus-相似heid wordt gedefinieerd als $\frac{u^\top v}{\|u\|\|v\|}$. Onder een transformatie $D$ verandert de inproductstructuur naar $\langle u, v \rangle_D = u^\top D^\top D v$. De metriek wordt dus bepaald door de gauge-kies $D$, wat de hoekrelaties tussen vectoren verandert zonder de informatie-inhoud te wijzigen.
• Canonieke Gauge: De auteurs introduceren whitening (witmaking) als een specifieke gauge-kies. Door $D = \Sigma^{-1/2}$ toe te passen (waar $\Sigma$ de covariantiematrix is), wordt de covariantie van de representaties de eenheidsmatrix. Dit creëert een isotrope ruimte waarin de metriek uniek is gedefinieerd.

Experimenteel Ontwerp:
Om de theorie te valideren, voeren de auteurs gecontroleerde experimenten uit waarbij:

1. Een getraind model (MLP op het Digits-dataset en een CNN op CIFAR-10) wordt gebruikt.
2. Een willekeurige inverteerbare lineaire transformatie $D$ wordt toegepast op de verborgen representaties van een tussenlaag.
3. De classifier-laag wordt aangepast met $D^{-1}$ om de voorspellingen identiek te houden.
4. Er wordt gekeken naar de veranderingen in cosinus-相似heid en de stabiliteit van de "nearest-neighbor" structuur, terwijl de modelvoorspellingen constant blijven.
5. Er wordt een "gauge strength sweep" uitgevoerd waarbij de conditiegetal ($\kappa$) van de transformatie $D$ wordt gevarieerd om de impact van de vervorming te meten.

3. Belangrijkste Bijdragen

1. Formulering van Gauge-vrijheid: Het paper formaliseert de onbepaaldheid van neurale representaties als een gauge-symmetrie onder $GL(d)$, analoog aan concepten in de theoretische fysica.
2. Demonstratie van Metriek-afhankelijkheid: Het bewijst dat veelgebruikte metrics zoals cosinus-相似heid geen intrinsieke eigenschappen van het model zijn, maar artefacten van de gekozen coördinatenstelsel.
3. Verklaring van Bestaande Phenomena: Het biedt een gezamenlijke interpretatie voor diverse observaties in de literatuur, waaronder de instabiliteit van cosinus-相似heid, anisotropie in embedding-ruimten, en de superioriteit van methoden zoals SVCCA en CKA (die trachten gauge-invariant te zijn).
4. Empirisch Bewijs: Experimenten tonen aan dat zelfs matige gauge-transformaties de nearest-neighbor structuur aanzienlijk kunnen verstoren (tot wel 37% van de dichtstbijzijnde buren verandert) zonder de voorspellingen van het model te beïnvloeden.
5. Aanbeveling voor Canonieke Coördinaten: Het stelt dat analyse ofwel moet focussen op gauge-invariante grootheden, ofwel moet werken met een expliciet gekozen canonieke coördinatenstelsel (zoals whitening).

4. Resultaten

De experimenten bevestigen de centrale stelling dat representatiegeometrie sterk afhankelijk is van de gauge:

• Digits Dataset (MLP): Na toepassing van een gauge-transformatie bleven de voorspellingen identiek (overeenkomst 1.0), maar veranderde de gemiddelde absolute verandering in paarwijze cosinus-相似heid met 0.1328. De overlap van de 10 dichtstbijzijnde buren (Jaccard-index) daalde naar 0.72, wat betekent dat ongeveer 28% van de buren veranderde.
• CIFAR-10 (CNN): Ook hier bleven de voorspellingen identiek. De gemiddelde cosinus-vervorming was iets lager (0.0501), maar de nearest-neighbor structuur bleef onstabiel (Jaccard@10 = 0.72).
• Invloed van Conditietaal ($\kappa$): Bij het verhogen van het conditietaal van de transformatie (van 1 tot 20) nam de cosinus-vervorming toe en nam de stabiliteit van de buren af. Bij $\kappa=20$ veranderde meer dan een derde van de dichtstbijzijnde buren, ondanks identieke modeluitvoer.
• Whitening: Het toepassen van whitening ($D = \Sigma^{-1/2}$) zorgde ervoor dat het eigenwaarde-spectrum van de covariantiematrix naar 1 instortte, wat een canonieke, isotrope metriek oplevert.

5. Betekenis en Conclusie

De bevindingen hebben belangrijke implicaties voor de interpretatie en analyse van neurale netwerken:

• Kritische Blik op Metrieken: Cosinus-相似heid en Euclidische afstand zijn geen betrouwbare maatstaven voor semantische gelijkenis tenzij de gauge-vrijheid expliciet wordt behandeld. Conclusies getrokken uit deze metrics kunnen volledig afhangen van de willekeurige coördinatenkeuze van het getrainde model.
• Interpretatie van Superpositie: Het concept van "feature superposition" (waarbij meerdere features in overlappende subruimtes worden gecodeerd) is een meetkundige eigenschap die afhankelijk is van de metriek, niet alleen van de neuronale activaties.
• Richting voor Toekomstig Onderzoek: Analyse van representaties moet zich richten op:
  1. Gauge-invariante grootheden: Methoden zoals CKA (Centered Kernel Alignment) of subspace-comparities die minder gevoelig zijn voor lineaire transformaties.
  2. Canonieke Coördinaten: Het standaardiseren van representaties via whitening om een consistente metriek te garanderen voor vergelijkingen tussen modellen.

Het paper concludeert dat de geometrie van neurale representaties niet intrinsiek is, maar een eigenschap is van de gekozen "gauge". Om betrouwbare inzichten te krijgen, moeten onderzoekers deze vrijheid expliciet erkennen en hun analyses daarop aanpassen.