Stimulus symmetries can confound representational similarity analyses

Technische Samenvatting: Stimulus-symmetrieën kunnen Representational Similarity Analyses verstoren

Probleemstelling
Representational Similarity Analysis (RSA) en gerelateerde metrieken, zoals de Representational Similarity Matrix (RSM) en Centered Kernel Alignment (CKA), worden veel gebruikt om neurale codes te vergelijken in biologische en kunstmatige netwerken. Een fundamentele aanname bij deze vergelijkingen is dat functioneel equivalente representaties – die hetzelfde taak uitvoeren of dezelfde informatie coderen – vergelijkbare samenvattingsstatistieken moeten opleveren. Hoewel recent werk intrinsieke symmetrieën heeft aangepakt (bijvoorbeeld globale rotaties van gewichten binnen een netwerklag die kunnen worden gecompenseerd door daaropvolgende lagen), ontbreekt er een systematisch begrip van hoe stimulus-symmetrieën (externe datasymmetrieën zoals rotatie of translatie) deze analyses beïnvloeden.

Het kernprobleem dat wordt geïdentificeerd, is dat stimulus-symmetrieën meerdere, functioneel equivalente neurale representaties kunnen genereren die niet gerelateerd zijn door eenvoudige orthogonale transformaties (rotaties) in de representatieruimte. Bijgevolg kunnen deze verschillende configuraties kwalitatief verschillende RSM's produceren. Dit creëert een "gauge-afhankelijkheid" waarbij de RSM varieert op basis van een willekeurige, functioneel irrelevante parameter (de gauge), wat onderzoekers er mogelijk toe brengt ten onrechte te concluderen dat twee functioneel equivalente codes verschillend zijn.

Methodologie
De auteurs maken gebruik van een combinatie van theoretische formalisering, analytische toy-modellen en empirische simulaties op zowel synthetische als real-world data om dit fenomeen aan te tonen.

1. Theoretische Formalisering: Het artikel formaliseert het concept van datasymmetrieën die inwerken op een latente ruimte $Z$ via een compacte groep $G$. Het definieert "gauge-transformaties" als acties van $G$ op de coderingsfunctie die de decoderingsnauwkeurigheid invariant laten. De auteurs bewijzen dat voor een RSM om gauge-invariant te zijn, de codering een orthogonale lineaire representatie van de symmetriegroep moet zijn (d.w.z. de gauge-transformatie moet werken als een globale rotatie op de representatieruimte). Ze tonen aan dat voor algemene niet-lineaire codes deze voorwaarde niet geldt.
2. Toy Model Analyse: Er wordt een vereenvoudigd model geconstrueerd waarin neuronen een één-dimensionale ring ($S^1$) betegelen met gelokaliseerde receptieve velden (RF's). De globale oriëntatie van deze betegeling wordt gedefinieerd door een gauge-variabele $\phi$. De auteurs leiden analytisch de RSM voor deze opstelling af, en tonen aan dat de elementen buiten de hoofddiagonaal afhangen van $\phi$, wat leidt tot een variabele RSM ondanks een perfecte reconstructie van de stimulus.
3. Parametergevoeligheid: De studie onderzoekt hoe factoren zoals het aantal neuronen, de afstembreedte van de RF's en amplitude-ruis de grootte van de RSM-variabiliteit beïnvloeden. Ze leiden gesloten uitdrukkingen af voor de variabiliteit $\Delta$ als functie van het aantal neuronen $n$ en de afstembreedte, en tonen aan dat de variabiliteit alleen afneemt als $O(n^{-2})$ in de limiet van dichte betegeling.
4. Leer-dynamiek: Met behulp van Stochastic Gradient Descent (SGD) op auto-encoders met ReLU-activaties simuleren de auteurs leerscenario's. Ze tonen aan dat SGD kan leiden tot "instortende" oplossingen waarbij veel neuronen zich uitlijnen, wat het netwerk effectief reduceert tot een schaarse betegeling (bijvoorbeeld 4 neuronen voor een cirkel), waardoor een hoge RSM-variabiliteit behouden blijft. Ze tonen ook aan dat energetische regularisatie (L1-straffen) schaarsheid kan induceren zonder de gauge te fixeren.
5. Hogere Dimensies en Real Data: Het raamwerk wordt uitgebreid naar hogere-dimensionale sferische variëteiten ($S^{d-1}$), waarbij gestructureerde clusters van RSM-variabiliteit worden voorspeld die overeenkomen met de dimensionaliteit van de gauge-groep. Ten slotte trainen de auteurs auto-encoders op geroteerde afbeeldingen uit de Kuzushiji-MNIST-dataset en analyseren ze vooraf getrainde visiemodellen (ResNet-18, ConvNeXt, DINOv2) om aan te tonen dat latente rotatiesymmetrieën in afbeeldingsdata systematische RSM-drift en gauge-afhankelijkheid induceren in realistische situaties.

Belangrijkste Bijdragen en Resultaten

• Gauge-afhankelijkheid van RSM's: Het artikel stelt vast dat voor niet-lineaire neurale codes, functioneel equivalente representaties die gerelateerd zijn aan stimulus-symmetrieën, over het algemeen niet gerelateerd zijn door orthogonale transformaties. Bijgevolg verschillen hun RSM's, wat de invariantie schendt die door standaard vergelijkingsmetrieken wordt aangenomen.
• Drijvende Representaties: De auteurs tonen aan dat zelfs bij stabiele taakprestaties (bijvoorbeeld een lage reconstructieverlies), representaties in de tijd of over verschillende trainingsruns kunnen "drijven" als gevolg van de willekeurige selectie van een gauge. Deze drift manifesteert zich als een systematische verandering in de RSM, die correleert met de afgeleide gauge-hoek maar niet met de reconstructiefout.
• Schaarsheid en Variabiliteit: In tegenstelling tot de intuïtie dat het verhogen van het aantal neuronen variabiliteit onderdrukt, vinden de auteurs dat leer-gedreven schaarsheid (via SGD-ruis of L1-regularisatie) een hoge RSM-variabiliteit kan handhaven, zelfs in grote netwerken.
• Gestructureerde Variabiliteit in Hogere Dimensies: Voor hogere-dimensionale symmetrische variëteiten is de RSM-variabiliteit geen willekeurige ruis, maar volgt een gestructureerd patroon waarbij elementen buiten de hoofddiagonaal zich groeperen in clusters die samen variëren, wat de onderliggende continue symmetriegroep weerspiegelt.
• Empirische Validatie: In experimenten met geroteerde afbeeldingsdata voorspelt de afgeleide gauge-hoek van getrainde netwerken sterk de elementen buiten de hoofddiagonaal van de RSM (Pearson's $r = 0,76$) en de gelijkenis tussen verschillende runs (CKA-gelijkenis neemt af naarmate het gauge-verschil toeneemt, $r = -0,91$), terwijl het reconstructieverlies ongecorreleerd blijft met de gauge.

Betekenis en Claims
Het artikel claimt dat deze bevindingen een kritieke beperking benadrukken bij het vergelijken van niet-lineaire neurale codes met RSM-gebaseerde metrieken wanneer stimulus-symmetrieën aanwezig zijn. Specifiek:

• Risico op Misinterpretatie: Onderzoekers kunnen ten onrechte functioneel equivalente representaties als verschillend identificeren, simpelweg omdat ze verschillende "gauges" innemen in de oplossingsruimte.
• Drift-mechanisme: Het werk biedt een mechanisme voor "representational drift" (waargenomen in zowel hersenen als kunstmatige netwerken) dat verschilt van eerdere verklaringen gebaseerd op intrinsieke symmetrieën; hier wordt drift aangedreven door extrinsieke stimulus-symmetrieën en het ontbreken van een unieke voorkeursbasis.
• Beperkingen van Huidige Metrieken: Standaardmetrieken zoals CKA en RSM zijn niet invariant ten opzichte van datasymmetrieën, tenzij het netwerk expliciet is beperkt tot equivariantie (wat de meeste standaardnetwerken niet zijn).
• Toekomstige Richtingen: De auteurs suggereren dat om representaties betrouwbaar te vergelijken in aanwezigheid van symmetrieën, nieuwe metrieken nodig zijn die invariant zijn ten opzichte van de specifieke stimulus-symmetrieën. Ze merken op dat dergelijke methoden waarschijnlijk kennis vereisen van de stimulusverdeling of het gebruik van pullback-metrieken op de intrinsieke datavariëteit, maar erkennen dat zonder sterke priors het rekening houden met gauge-invariantie een open uitdaging blijft.

Het artikel concludeert bescheiden, stellend dat hoewel manifold-betegeling-codes dienden als een hanteerbaar testgeval, de generalisatie van dit fenomeen naar andere niet-lineaire codes wordt verwacht, aangezien de meeste representaties niet zijn beperkt tot orthogonale equivariantie.