🤖 machine learning

Beyond Activation Alignment: The Geometry of Neural Sensitivity

Dit artikel introduceert de Spectrale Riemanniaanse Uitlijningsscore (S-RAS), een nieuw raamwerk gebaseerd op lokaal decodeerbare informatie en Fisher-geometrie dat traditionele activatie-uitlijnmethoden aanvult door neurale gevoeligheid voor kleine verstoringen te meten, waardoor robuustere vergelijkingen van biologische en kunstmatige neurale representaties over diverse taken en datasets mogelijk worden.

Oorspronkelijke auteurs: Amirhossein Yavari, Farnaz Zamani Esfahlani

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Amirhossein Yavari, Farnaz Zamani Esfahlani

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert twee verschillende koks te begrijpen die allebei een complex gerecht bereiden, zeg maar een lasagne.

De Oude Manier: De Eindborden Vergelijken
Traditioneel vergelijken wetenschappers hoe twee neurale netwerken (of een menselijk brein en een computer) "denken" door te kijken naar hun uiteindelijke output of het activiteitspatroon dat ze produceren wanneer ze een afbeelding zien. Dit is alsof je naar de twee afgewerkte borden lasagne kijkt. Als de borden er identiek uitzien — dezelfde vorm, dezelfde kaasverdeling, dezelfde sauswervelingen — zeggen wetenschappers: "Geweldig! Deze twee koks gebruiken hetzelfde recept."

Methoden zoals RSA, CCA en CKA zijn de hulpmiddelen die worden gebruikt om te meten hoe vergelijkbaar deze "borden" eruitzien.

Het Probleem: Het "Verborgen" Recept
De auteurs van dit artikel betogen dat het feit dat de eindborden er hetzelfde uitzien, niet betekent dat de koks dezelfde ingrediënten hebben gebruikt of dezelfde techniek hebben toegepast om er te komen.

Kok A heeft misschien de groenten zeer fijn gesneden en de saus zachtjes geroerd.
Kok B heeft misschien een keukenmachine en een hoge-snelheidsmixer gebruikt.

Als je alleen naar het eindbord kijkt, mis je het feit dat Kok A gevoelig is voor kleine veranderingen in hoe de groenten worden gesneden, terwijl Kok B dat niet is. Als je een klein stofdeeltje op het bord doet, kan het gerecht van Kok A uit elkaar vallen, terwijl dat van Kok B hetzelfde blijft. De oude methoden kunnen dit verschil niet zien omdat ze alleen kijken naar het "grote plaatje" van de activiteit, en niet naar hoe het systeem reageert op kleine duwtjes.

Het Nieuwe Idee: De "Gevoeligheidskaart"
Dit artikel introduceert een nieuwe manier om deze systemen te vergelijken. In plaats van alleen naar het eindbord te kijken, willen ze een Gevoeligheidskaart zien.

Stel je voor dat je een magische vergrootglas hebt dat je laat zien hoe veel de lasagne wiebelt als je hem op een specifieke plek prikt met een tandenstoker.

Als je op de kaas prikt, schudt het hele ding dan?
Als je op de saus prikt, blijft het dan stil?

De auteurs stellen voor dat we deze "wiebelkaarten" (die zij lokale gevoeligheid noemen) moeten vergelijken. Ze vragen: "Als we een kleine, specifieke verandering aan de input maken (zoals het licht op een foto met een fractie van een procent veranderen), hoe verandert dan de interne representatie van het systeem?"

Hoe Ze Het Doen (De Analogie)

De Subruimte (De "Prikzone"): Je kunt niet overal tegelijk op de lasagne prikken. Dus kiezen de onderzoekers een specifieke "familie" van prikken. Misschien maken ze zich alleen zorgen over het prikken op de randen van de lasagne, of alleen op het centrum. In het artikel wordt dit een "stimulus-coördinaten subruimte" genoemd.
De Kaart (De "Fisher-metriek"): Ze berekenen een wiskundige kaart die precies laat zien hoe gevoelig het systeem is voor die specifieke prikken. Deze kaart vertelt hen welke richtingen worden versterkt (het systeem reageert sterk) en welke worden onderdrukt (het systeem negeert ze).
De Score (S-RAS): Ze nemen deze kaarten en vergelijken ze met een speciale liniaal genaamd S-RAS (Spectral Riemannian Alignment Score). Deze score vertelt hen hoe vergelijkbaar de gevoeligheid van twee systemen is, niet alleen hoe vergelijkbaar hun uiteindelijke output is.

Wat Ze Vonden (De Resultaten)
De auteurs testten dit op zowel computergestuurde hersenen (Kunstmatige Neurale Netwerken) als echte muishersenen.

Lagen Vinden: Toen ze naar twee verschillende computernetwerken keken die apart waren getraind, konden ze met hun nieuwe "gevoeligheidskaart" matchen welke laag in Netwerk A overeenkomt met welke laag in Netwerk B. Het werkte bijna even goed als de oude methoden, wat bewijst dat hun nieuwe idee geldig is.
De "Robuustheid"-test: Ze trainden sommige netwerken om "robuust" te zijn (resistent tegen bedrog) en andere op de normale manier. De oude methoden konden niet altijd het verschil zien in hoe deze netwerken informatie verwerkten. Maar de nieuwe gevoeligheidskaarten toonden een duidelijk verschil: de robuuste netwerken reageerden op kleine veranderingen op een volledig andere manier dan de normale.
Muishersenen: Ze keken naar opnames van de visuele cortex van een muis (het deel van de brein dat ziet). Ze ontdekten dat de gevoeligheid van het muishersenen voor specifieke patronen van licht (zoals de hoek van een streep) in kaart kon worden gebracht en vergeleken kon worden met net als de computernetwerken. Ze ontdekten dat de "gevoeligheidskaart" van het brein verandert afhankelijk van welk specifiek type lichtpatroon je bekijkt.

De Conclusie
Dit artikel zegt: "Kijk niet alleen naar het eindantwoord. Kijk naar hoe het systeem reageert op kleine duwtjes."

Door in kaart te brengen hoe gevoelig een systeem is voor kleine veranderingen in specifieke richtingen, krijgen we een veel dieper begrip van hoe het werkt, en niet alleen wat het produceert. Het is het verschil tussen een auto beoordelen op hoe snel hij gaat (de oude manier) en hem beoordelen op hoe hij een klein hobbel in de weg aanpakt (de nieuwe manier). Soms gaan twee auto's even snel, maar de ene gaat over hobbels als een tank, en de andere stuitert als een ballon. Deze nieuwe methode helpt ons dat verschil te zien.

Technische Samenvatting: Voorbij Activeringsalignering: De Geometrie van Neuronale Gevoeligheid

Probleemstelling

Maatstaven voor activeringsalignering, zoals Representational Similarity Analysis (RSA), Canonical Correlation Analysis (CCA) en Centered Kernel Alignment (CKA), zijn standaardtools voor het vergelijken van biologische en kunstmatige neurale representaties. Deze methoden kwantificeren voornamelijk geometrische gelijkenis in stimulus-geëvoceerde activatiepatronen. Er bestaat echter een kritieke beperking: overeenstemming op het niveau van globale uitkomsten bepaalt niet hoe een systeem lokaal stimulusbewijs benut. Representaties kunnen in de activeringsruimte aligneren, maar toch aanzienlijk verschillen in hun gevoeligheid voor kleine verstoringen. Bovendien zijn op activatie gebaseerde gelijkheidsmaatstaven niet invariant ten opzichte van eenvoudige post-hoc transformaties (bijvoorbeeld vaste subset-translaties gevolgd door globale middelpunt-correctie), wat gelijkscores kan veranderen zonder het onderliggende coderingsproces te wijzigen. Hoewel decoder-gebaseerde perspectieven en benaderingen op basis van lokale geometrie zijn voorgesteld om dit aan te pakken, specificeren ze vaak niet hoe informatie over stimuli moet worden geaggregeerd of welke dataset-niveau samenvatting voldoende is om discriminatietaken te karakteriseren.

Methodologie

De auteurs stellen een raamwerk voor op basis van lokaal decodeerbare informatie, met focus op het vermogen van een representatie om kleine verstoringen binnen een gespecificeerde subruimte van stimulus-coördinaten te discrimineren onder ruis.

1. Lokale Verstoringstaken en Fisher-geometrie

Het raamwerk behandelt een neurale representatie als een differentieerbare afbeelding $f: \mathbb{R}^d \to \mathbb{R}^m$ . Lokale gevoeligheid wordt gekarakteriseerd door de pullback-metriek $M_f(x) = J_f(x)^\top J_f(x)$ , waarbij $J_f$ de Jacobiaan is.

Taakdefinitie: Een lokale discriminatietaken houdt in het onderscheiden tussen een stimulus $s$ en een verstoord stimulus $s + \eta$ gegeven ruisachtige populatie-activiteit. De gekwadrateerde discriminabiliteit $d'^2$ wordt bepaald door de Fisher-metriek $I_{f,\psi}(s) = J_{hf}(s)^\top \Sigma^{-1} J_{hf}(s)$ , waarbij $\Sigma$ de ruiscovariantie is.
Dataset-niveau Samenvatting: Om van puntsgewijze gevoeligheid naar een representatie-niveau vergelijking te gaan, definiëren de auteurs een Geprojecteerde Tweede-Moment Lokale Taakfamilie. Door een coördinatenfamilie (geparameteriseerd door $\psi$ ) en een verstoringssubruimte (gedefinieerd door een orthonormale matrix $P$ ) vast te leggen, middelen ze de lokale Fisher-metriek over de stimulusverdeling.
De Operator: De minimale, complete dataset-niveau samenvatting voor deze familie is de Geprojecteerde Verwachte Fisher-operator:
$F_{f,\psi,P,\Sigma} := \mathbb{E}_{s \sim \nu} [P^\top J_{hf}(s)^\top \Sigma^{-1} J_{hf}(s) P]$
In het geval van isotrope ruis reduceert dit tot de Geprojecteerde Verwachte Pullback-metriek $G_{f,\psi,P}$ . Deze operator karakteriseert volledig de verwachte discriminabiliteit voor elke familie van verstoringen met tweede moment die wordt gedefinieerd door $P$ .

2. Decompositie: Gain en Shape

De auteurs decomponeren de samenvattende operator in:

Gain ( $\gamma$ ): De totale verwachte gevoeligheid (spoor van de operator).
Shape ( $\hat{G}$ ): De directionele toewijzing van gevoeligheid (spoor-genormaliseerde operator).
Dit maakt vergelijking van representaties mogelijk op basis van totale gevoeligheid versus de specifieke richtingen in de stimulusruimte die ze versterken of onderdrukken.

3. Vergelijkingsmetriek: S-RAS

Om deze positief-definiete (SPD) samenvattingen te vergelijken, maken de auteurs gebruik van de Affine-invariante Riemannse Metriek (AIRM) op de variëteit van SPD-matrices. Ze definiëren de Spectrale Riemannse Aligneringsscore (S-RAS):
$S\text{-}RAS_P(f, g) = \exp\left[ -\frac{1}{\sqrt{k}} d_{AIRM}(\tilde{G}_{f,P}, \tilde{G}_{g,P}) \right]$
waarbij $\tilde{G}$ een spoor-geschaalde SPD-lifting is die wordt gebruikt voor regularisatie. Theoretische analyse toont aan dat S-RAS een uniforme multiplicatieve certificering biedt over de familie van geliftte taakwaarden, waarbij de afwijking in verwachte discriminabiliteit tussen twee representaties wordt begrensd.

Belangrijkste Bijdragen

Formalisatie van Lokale Discriminatie: Het artikel definieert lokale verstoring-discriminatietaken met tweede moment en identificeert de geprojecteerde verwachte Fisher/pullback-operator als de minimale complete dataset-niveau samenvatting voor deze taken.
S-RAS Metriek: Het introduceert een geometrie-bewuste vergelijkingsmethode (S-RAS) met gebruik van log-spectrale afstand op SPD-matrices, wat een dimensie-genormaliseerde gelijkscore biedt met theoretische garanties op taakwaarde-begrenzingen.
Empirische Validatie: Het raamwerk wordt gevalideerd over kunstmatige en biologische systemen, waarbij de bruikbaarheid wordt aangetoond in laagcorrespondentie, overdraagbare probes, robuuste trainingsanalyse en biologische data.

Experimentele Resultaten

1. Laagmatching (Kunstmatige Netwerken)

Met behulp van onafhankelijk getrainde Tiny10 CNN's testten de auteurs of S-RAS de verwachte laagcorrespondentie kon herstellen.

Resultaten: S-RAS behaalde betekenisvolle correspondentie (85,3% nauwkeurigheid bij $K=768$ met willekeurige verstoringen; 93,8% met whitened-PCA), wat dichtbij de prestaties van sterke activeringsbaselines zoals lineaire CKA (94,4%) komt.
Vergelijking: S-RAS presteerde beter dan puntsgewijze lokale-geometrie controles (puntsgewijze AIRM en MSA-achtige baselines), wat aangeeft dat het aggregeren van verwachte taakfamilie-operatoren superieur is aan het middelen van puntsgewijze metriekafwijkingen.

2. Overdraagbare Class-Conditionele Probes

De auteurs testten of gevoeligheidscontrasten konden worden externaliseerd tot eindige verstoringen die generaliseren naar achtergehouden afbeeldingen en modellen.

Resultaten: Probes afgeleid van class-conditionele gevoeligheidscontrasten (vergelijking van ResNet-18 en Small ViT) produceerden significant grotere scheiding van achtergehouden afbeeldingen (1,10) in vergelijking met random-contrast (0,43), gepoolde gevoeligheid (0,31) en label-permutatie (0,03) controles. Dit suggereert dat de methode gedeelde lokale bewijsstructuren vastlegt die over modellen heen overdraagbaar zijn.

3. Dissociaties bij Robuuste Training

Met behulp van ResNet-18-banken getraind met ERM, PGD, TRADES en MART onderzochten de auteurs of het raamwerk trainingsregimes kon onderscheiden.

Resultaten: Contrast-afgeleide probes slaagden erin standaardmodellen te scheiden van robuuste modellen (PGD, TRADES, MART) op achtergehouden afbeeldingen. De methode onthulde ook genuanceerde verschillen tussen robuuste trainingsdoelen (bijvoorbeeld het scheiden van PGD van TRADES), wat aantoont dat de probes gevoelig zijn voor specifieke veranderingen in lokaal bewijsgebruik en niet alleen voor regimverschillen.

4. Biologische Toepassing (Allen Brain Observatory)

Het raamwerk werd toegepast op data van de muizenvisuele cortex met statische roosters en coördinaten $(\theta, \rho, \phi)$ .

Resultaten: Bij cross-area identiteitsmatching bereikte de ruisbewuste Full Fisher-samenvatting 0,458 top-1 nauwkeurigheid, wat significant beter was dan CKA (0,288) en naïeve geometrie. Bij de moeilijkere VISp-depth-benchmark bleef Full Fisher (0,466) concurrerend met CKA (0,483).
Inzicht: De resultaten geven aan dat de biologische gevoeligheidsstructuur afhankelijk is van zowel totale ruisbewuste gevoeligheid als directionele toewijzing. De keuze van de stimulus-coördinatenfamilie (bijvoorbeeld $\rho + \phi$ versus volledige set) heeft een aanzienlijke impact op matchprestaties, wat de "familie-relatieve" aard van de metriek benadrukt.

Betekenis en Claims

Het artikel beweert dat op activatie gebaseerde vergelijkingen het meest informatief zijn voor stimulus-geëvoceerde organisatie of downstream-uitleesstructuur, maar dat ze ontoereikend zijn om te bepalen of representaties vertrouwen op hetzelfde lokale stimulusbewijs. Het voorgestelde raamwerk biedt een complementair perspectief door te vragen of twee representaties gemiddeld dezelfde kleine stimulusrichtingen discrimineerbaar maken.

Belangrijke claims zijn:

Familie-Relatieve Gelijkenis: Overeenstemming wordt gedefinieerd ten opzichte van een specifieke verstoringfamilie; representaties kunnen aligneren onder één familie maar niet onder een andere.
Robuustheid ten opzichte van Transformaties: Omdat de methode afhankelijk is van Jacobianen in plaats van activatie-puntwolken, is deze ongevoelig voor post-hoc verschuivingen die constant zijn ten opzichte van de stimulus (bijvoorbeeld globale middelpunt-correctie), waarmee een bekende beperking van CKA wordt aangepakt.
Empirische Bruikbaarheid: Het raamwerk herstelt succesvol laagcorrespondentie, genereert overdraagbare diagnostische probes, onthult dissociaties bij robuuste training en blootlegt familie-afhankelijke gevoeligheid in biologische data.

De auteurs blijven bescheiden en merken op dat het raamwerk lokaal, op dataset-niveau en gebaseerd op tweede momenten is. Het vangt geen door afbeeldingen geconditioneerde optima, hogere-orde effecten of sterk niet-lineair gedrag van eindige verstoringen. Ze concluderen dat bredere benchmarks nodig zijn om te bepalen wanneer dataset-niveau gevoeligheidsgeometrie onderscheidend wetenschappelijk inzicht biedt in vergelijking met bestaande methoden.