🤖 machine learning

Beyond Activation Alignment: The Geometry of Neural Sensitivity

Dieser Artikel stellt den Spectral Riemannian Alignment Score (S-RAS) vor, ein neuartiges Framework, das auf lokal dekodierbarer Information und der Fisher-Geometrie basiert, traditionelle Aktivierungs-Ausrichtungsmethoden durch die Messung der neuronalen Sensitivität gegenüber kleinen Störungen ergänzt und dadurch robustere Vergleiche biologischer und künstlicher neuronaler Repräsentationen über verschiedene Aufgaben und Datensätze hinweg ermöglicht.

Ursprüngliche Autoren: Amirhossein Yavari, Farnaz Zamani Esfahlani

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Amirhossein Yavari, Farnaz Zamani Esfahlani

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, zwei verschiedene Köche zu verstehen, die beide ein komplexes Gericht zubereiten, sagen wir, Lasagne.

Der alte Weg: Der Vergleich der fertigen Teller
Traditionell vergleichen Wissenschaftler, wie zwei neuronale Netze (oder ein menschliches Gehirn und ein Computer) „denken", indem sie ihren finalen Output oder das Aktivitätsmuster betrachten, das sie erzeugen, wenn sie ein Bild sehen. Dies ist vergleichbar mit dem Betrachten der beiden fertigen Lasagnen-Teller. Wenn die Teller identisch aussehen – gleiche Form, gleiche Käseverteilung, gleiche Soßenwirbel –, sagen die Wissenschaftler: „Großartig! Diese beiden Köche verwenden dasselbe Rezept."

Methoden wie RSA, CCA und CKA sind die Werkzeuge, die verwendet werden, um zu messen, wie ähnlich diese „Teller" aussehen.

Das Problem: Das „versteckte" Rezept
Die Autoren dieses Papers argumentieren, dass nur weil die finalen Teller gleich aussehen, dies nicht bedeutet, dass die Köche dieselben Zutaten oder dieselbe Technik verwendet haben, um dorthin zu gelangen.

Koch A könnte das Gemüse sehr fein gehackt und die Soße sanft gerührt haben.
Koch B könnte eine Küchenmaschine und einen Hochgeschwindigkeitsmixer verwendet haben.

Wenn Sie nur auf den fertigen Teller schauen, verpassen Sie die Tatsache, dass Koch A empfindlich auf winzige Änderungen bei der Schneidetechnik des Gemüses reagiert, während Koch B dies nicht tut. Wenn Sie einen winzigen Staubfleck auf den Teller geben, könnte Koch As Gericht auseinanderfallen, während Koch Bs gleich bleibt. Die alten Methoden können diesen Unterschied nicht erkennen, da sie nur das „große Bild" der Aktivität betrachten, nicht aber, wie das System auf winzige Stöße reagiert.

Die neue Idee: Die „Empfindlichkeitskarte"
Dieses Paper stellt eine neue Methode vor, um diese Systeme zu vergleichen. Anstatt nur auf den fertigen Teller zu schauen, wollen sie eine Empfindlichkeitskarte sehen.

Stellen Sie sich vor, Sie haben eine magische Lupe, die Ihnen zeigt, wie stark die Lasagne wackelt, wenn Sie sie an einer bestimmten Stelle mit einem Zahnstocher stoßen.

Wenn Sie den Käse stoßen, wackelt dann das ganze Ding?
Wenn Sie die Soße stoßen, bleibt sie dann ruhig?

Die Autoren schlagen vor, dass wir diese „Wackelkarten" (die sie lokale Empfindlichkeit nennen) vergleichen sollten. Sie fragen: „Wenn wir eine winzige, spezifische Änderung am Input vornehmen (wie zum Beispiel die Beleuchtung auf einem Foto um einen Bruchteil eines Prozent zu ändern), wie ändert sich dann die interne Repräsentation des Systems?"

Wie sie es tun (Die Analogie)

Der Unterraum (Die „Stoß-Zone"): Man kann die Lasagne nicht überall gleichzeitig stoßen. Daher wählen die Forscher eine bestimmte „Familie" von Stößen aus. Vielleicht interessieren sie sich nur dafür, die Ränder der Lasagne zu stoßen oder nur das Zentrum. Im Paper wird dies als „Stimulus-Koordinaten-Unterraum" bezeichnet.
Die Karte (Die „Fisher-Metrik"): Sie berechnen eine mathematische Karte, die genau zeigt, wie empfindlich das System auf diese spezifischen Stöße reagiert. Diese Karte sagt ihnen, welche Richtungen verstärkt werden (das System reagiert stark) und welche unterdrückt werden (das System ignoriert sie).
Der Score (S-RAS): Sie nehmen diese Karten und vergleichen sie mit einem speziellen Lineal namens S-RAS (Spectral Riemannian Alignment Score). Dieser Score sagt ihnen, wie ähnlich die Empfindlichkeit zweier Systeme ist, nicht nur, wie ähnlich ihre finalen Outputs sind.

Was sie fanden (Die Ergebnisse)
Die Autoren testeten dies sowohl an Computerhirnen (Künstliche Neuronale Netze) als auch an echten Mäusehirnen.

Schichten finden: Als sie zwei verschiedene Computernetzwerke betrachteten, die separat trainiert worden waren, konnten sie ihre neue „Empfindlichkeitskarte" verwenden, um herauszufinden, welche Schicht in Netzwerk A welcher Schicht in Netzwerk B entspricht. Es funktionierte fast genauso gut wie die alten Methoden und bewies, dass ihre neue Idee gültig ist.
Der „Robustheits"-Test: Sie trainierten einige Netzwerke, um „robust" (resistent gegen Täuschung) zu sein, und andere normal. Die alten Methoden konnten nicht immer den Unterschied darin erkennen, wie diese Netzwerke Informationen verarbeiteten. Aber die neuen Empfindlichkeitskarten zeigten einen klaren Unterschied: Die robusten Netzwerke reagierten auf winzige Änderungen auf eine völlig andere Weise als die normalen.
Mäusehirne: Sie betrachteten Aufzeichnungen aus dem visuellen Kortex einer Maus (dem Teil des Gehirns, der sieht). Sie fanden heraus, dass die Empfindlichkeit des Mäusehirns gegenüber bestimmten Lichtmustern (wie dem Winkel eines Streifens) kartiert und verglichen werden konnte, genau wie bei den Computernetzwerken. Sie entdeckten, dass sich die „Empfindlichkeitskarte" des Gehirns ändert, je nachdem, welches spezifische Lichtmuster man betrachtet.

Die Kernaussage
Dieses Paper sagt: „Schauen Sie nicht nur auf die finale Antwort. Schauen Sie, wie das System auf winzige Stöße reagiert."

Indem wir kartieren, wie empfindlich ein System gegenüber kleinen Änderungen in bestimmten Richtungen ist, erhalten wir ein viel tieferes Verständnis davon, wie es funktioniert, nicht nur was es produziert. Es ist der Unterschied zwischen dem Beurteilen eines Autos danach, wie schnell es fährt (der alte Weg) und dem Beurteilen danach, wie es eine kleine Unebenheit in der Straße bewältigt (der neue Weg). Manchmal fahren zwei Autos gleich schnell, aber eines bewältigt Unebenheiten wie ein Panzer, während das andere wie ein Ballon springt. Diese neue Methode hilft uns, diesen Unterschied zu sehen.

Technische Zusammenfassung: Über die Aktivierungsabstimmung hinaus: Die Geometrie neuronaler Sensitivität

Problemstellung

Aktivierungsabstimmungsmaße wie die Representational Similarity Analysis (RSA), die Canonical Correlation Analysis (CCA) und die Centered Kernel Alignment (CKA) sind Standardwerkzeuge zum Vergleich biologischer und künstlicher neuronaler Repräsentationen. Diese Methoden quantifizieren primär die geometrische Ähnlichkeit von stimuliinduzierten Aktivierungsmustern. Es besteht jedoch eine kritische Einschränkung: Eine Übereinstimmung auf der Ebene globaler Auslesungen bestimmt nicht, wie ein System lokale Stimulus-Evidenz nutzt. Repräsentationen können im Aktivierungsraum übereinstimmen und dennoch in ihrer Sensitivität gegenüber kleinen Störungen erheblich voneinander abweichen. Darüber hinaus sind aktivierungsbasierte Ähnlichkeitsmaße nicht invariant gegenüber einfachen nachträglichen Transformationen (z. B. feste Teilmenge-Translationen gefolgt von einer globalen Mittelwertzentrierung), die Ähnlichkeitswerte verändern können, ohne den zugrunde liegenden Kodierungsprozess zu ändern. Zwar wurden decoderbasierte Perspektiven und lokale Geometrie-Ansätze vorgeschlagen, um dieses Problem zu adressieren, doch versagen sie häufig darin, genau zu spezifizieren, wie Informationen über Stimuli hinweg aggregiert werden sollten oder welche Datensatzzusammenfassung ausreicht, um Diskriminierungsaufgaben zu charakterisieren.

Methodik

Die Autoren schlagen ein Framework vor, das auf lokal decodierbarer Information basiert und sich auf die Fähigkeit einer Repräsentation konzentriert, kleine Störungen innerhalb eines spezifizierten Stimulus-Koordinaten-Unterraums unter Rauschen zu diskriminieren.

1. Lokale Störungsaufgaben und Fisher-Geometrie

Das Framework behandelt eine neuronale Repräsentation als differenzierbare Abbildung $f: \mathbb{R}^d \to \mathbb{R}^m$ . Die lokale Sensitivität wird durch die Pullback-Metrik $M_f(x) = J_f(x)^\top J_f(x)$ charakterisiert, wobei $J_f$ die Jacobi-Matrix ist.

Aufgabendefinition: Eine lokale Diskriminierungsaufgabe besteht darin, zwischen einem Stimulus $s$ und einem gestörten Stimulus $s + \eta$ bei verrauschter Populationsaktivität zu unterscheiden. Die quadrierte Diskriminierbarkeit $d'^2$ wird durch die Fisher-Metrik $I_{f,\psi}(s) = J_{hf}(s)^\top \Sigma^{-1} J_{hf}(s)$ bestimmt, wobei $\Sigma$ die Rauschkovarianz ist.
Datensatzzusammenfassung: Um von der punktweisen Sensitivität zu einem Repräsentationsvergleich zu gelangen, definieren die Autoren eine Projizierte Zweites-Moment-Lokale-Aufgabenfamilie. Durch Festlegen einer Koordinatenfamilie (parametrisiert durch $\psi$ ) und eines Störungs-Unterraums (definiert durch eine orthonormale Matrix $P$ ) mitteln sie die lokale Fisher-Metrik über die Stimulus-Verteilung.
Der Operator: Die minimale, vollständige Datensatzzusammenfassung für diese Familie ist der Projizierte Erwartete Fisher-Operator:
$F_{f,\psi,P,\Sigma} := \mathbb{E}_{s \sim \nu} [P^\top J_{hf}(s)^\top \Sigma^{-1} J_{hf}(s) P]$
Im Fall isotropen Rauschen reduziert sich dies auf die Projizierte Erwartete Pullback-Metrik $G_{f,\psi,P}$ . Dieser Operator charakterisiert vollständig die erwartete Diskriminierbarkeit für jede durch $P$ definierte Störungsfamilie des zweiten Moments.

2. Zerlegung: Gain und Shape

Die Autoren zerlegen den Zusammenfassungsoperator in:

Gain ( $\gamma$ ): Die gesamte erwartete Sensitivität (Spur des Operators).
Shape ( $\hat{G}$ ): Die gerichtete Zuweisung der Sensitivität (spur-normalisierter Operator).
Dies ermöglicht den Vergleich von Repräsentationen basierend auf der gesamten Sensitivität versus den spezifischen Richtungen im Stimulus-Raum, die sie verstärken oder unterdrücken.

3. Vergleichsmaß: S-RAS

Um diese positiv definiten (SPD) Zusammenfassungen zu vergleichen, verwenden die Autoren die Affin-invariante Riemannsche Metrik (AIRM) auf der Mannigfaltigkeit der SPD-Matrizen. Sie definieren den Spektralen Riemannischen Abstimmungsscore (S-RAS):
$S\text{-}RAS_P(f, g) = \exp\left[ -\frac{1}{\sqrt{k}} d_{AIRM}(\tilde{G}_{f,P}, \tilde{G}_{g,P}) \right]$
wobei $\tilde{G}$ eine spur-skalierte SPD-Anhebung ist, die zur Regularisierung verwendet wird. Theoretische Analysen zeigen, dass S-RAS eine uniforme multiplikative Bescheinigung über die Familie der angehobenen Aufgabewerte liefert und die Abweichung in der erwarteten Diskriminierbarkeit zwischen zwei Repräsentationen begrenzt.

Hauptbeiträge

Formalisierung lokaler Diskriminierung: Das Papier definiert lokale Störungs-Diskriminierungsaufgaben des zweiten Moments und identifiziert den projizierten erwarteten Fisher-/Pullback-Operator als die minimale vollständige Datensatzzusammenfassung für diese Aufgaben.
S-RAS-Metrik: Es wird eine geometrieaware Vergleichsmethode (S-RAS) unter Verwendung des log-spektralen Abstands auf SPD-Matrizen eingeführt, die einen dimensions-normalisierten Ähnlichkeitswert mit theoretischen Garantien für Aufgabewertgrenzen liefert.
Empirische Validierung: Das Framework wird über künstliche und biologische Systeme hinweg validiert und zeigt Nutzen bei der Schichtkorrespondenz, übertragbaren Sonden, der Analyse robusten Trainings und biologischer Daten.

Experimentelle Ergebnisse

1. Schicht-Matching (Künstliche Netze)

Unter Verwendung unabhängig trainierter Tiny10-CNNs testeten die Autoren, ob S-RAS die erwartete Schichtkorrespondenz wiederherstellen kann.

Ergebnisse: S-RAS erreichte eine sinnvolle Korrespondenz (85,3 % Genauigkeit bei $K=768$ mit zufälligen Störungen; 93,8 % mit gebleichter PCA) und näherte sich der Leistung starker Aktivierungs-Baselines wie linearer CKA (94,4 %) an.
Vergleich: S-RAS übertraf punktweise lokale Geometrie-Kontrollen (punktweise AIRM und MSA-artige Baselines), was darauf hindeutet, dass die Aggregation erwarteter Aufgabenfamilien-Operatoren der Mittelung punktweiser Metrik-Abweichungen überlegen ist.

2. Übertragbare klassenbedingte Sonden

Die Autoren testeten, ob Sensitivitätskontraste in endliche Störungen externalisiert werden können, die sich auf zurückgehaltene Bilder und Modelle verallgemeinern.

Ergebnisse: Sonden, die aus klassenbedingten Sensitivitätskontrasten abgeleitet wurden (Vergleich von ResNet-18 und Small ViT), erzeugten eine signifikant größere Trennung zurückgehaltener Bilder (1,10) im Vergleich zu Kontrollen mit zufälligen Kontrasten (0,43), gepoolter Sensitivität (0,31) und Label-Permutation (0,03). Dies legt nahe, dass die Methode gemeinsame lokale Evidenzstrukturen erfasst, die sich über Modelle hinweg übertragen.

3. Dissoziationen beim robusten Training

Unter Verwendung von ResNet-18-Banken, die mit ERM, PGD, TRADES und MART trainiert wurden, untersuchten die Autoren, ob das Framework Trainingsregime unterscheiden kann.

Ergebnisse: Kontrast-abgeleitete Sonden trennten Standardmodelle erfolgreich von robusten Modellen (PGD, TRADES, MART) auf zurückgehaltenen Bildern. Die Methode enthüllte auch nuancierte Unterschiede zwischen robusten Trainingszielen (z. B. Trennung von PGD von TRADES) und zeigte, dass die Sonden empfindlich auf spezifische Änderungen in der lokalen Evidenznutzung reagieren und nicht nur auf Regime-Unterschiede.

4. Biologische Anwendung (Allen Brain Observatory)

Das Framework wurde auf Daten des visuellen Kortex von Mäusen unter Verwendung statischer Gitter mit Koordinaten $(\theta, \rho, \phi)$ angewendet.

Ergebnisse: Beim Cross-Area-Identitäts-Matching erreichte die rauschbewusste Full-Fisher-Zusammenfassung eine Top-1-Genauigkeit von 0,458 und übertraf CKA (0,288) und naive Geometrie signifikant. Beim schwierigeren VISp-Tiefe-Benchmark blieb Full Fisher (0,466) mit CKA (0,483) konkurrenzfähig.
Erkenntnis: Die Ergebnisse deuten darauf hin, dass die Struktur der biologischen Sensitivität sowohl von der gesamten rauschbewussten Sensitivität als auch von der gerichteten Zuweisung abhängt. Die Wahl der Stimulus-Koordinatenfamilie (z. B. $\rho + \phi$ versus vollständiger Satz) hat einen erheblichen Einfluss auf die Matching-Leistung und unterstreicht den „familienrelativen" Charakter der Metrik.

Bedeutung und Behauptungen

Das Papier behauptet, dass aktivierungsbasierte Vergleiche am informativsten für stimuliinduzierte Organisation oder die Struktur nachgelagerter Auslesungen sind, aber unzureichend sind, um zu bestimmen, ob Repräsentationen auf derselben lokalen Stimulus-Evidenz beruhen. Das vorgeschlagene Framework bietet eine ergänzende Perspektive, indem es fragt, ob zwei Repräsentationen im Durchschnitt dieselben kleinen Stimulus-Richtungen diskriminierbar machen.

Zu den wichtigsten Behauptungen gehören:

Familienrelative Ähnlichkeit: Übereinstimmung wird relativ zu einer spezifischen Störungsfamilie definiert; Repräsentationen können unter einer Familie übereinstimmen, aber nicht unter einer anderen.
Robustheit gegenüber Transformationen: Da die Methode auf Jacobi-Matrizen und nicht auf Aktivierungspunktwolken basiert, ist sie unempfindlich gegenüber nachträglichen Verschiebungen, die bezüglich des Stimulus konstant sind (z. B. globale Mittelwertzentrierung), und adressiert damit eine bekannte Einschränkung von CKA.
Empirischer Nutzen: Das Framework stellt erfolgreich Schichtkorrespondenzen wieder her, generiert übertragbare diagnostische Sonden, enthüllt Dissoziationen beim robusten Training und deckt familienabhängige Sensitivität in biologischen Daten auf.

Die Autoren bleiben bescheiden und stellen fest, dass das Framework lokal, auf Datensatzebene und auf dem zweiten Moment basierend ist. Es erfasst keine bildkonditionierten Optima, keine Effekte höherer Ordnung und kein stark nichtlineares Verhalten bei endlichen Störungen. Sie schließen, dass breitere Benchmarks erforderlich sind, um zu bestimmen, wann die Datensatzebene-Sensitivitätsgeometrie im Vergleich zu bestehenden Methoden distinctive wissenschaftliche Einsichten liefert.