Comparing and Integrating Different Notions of Representational Correspondence in Neural Systems

Diese Studie bewertet verschiedene Maße für die Repräsentationsähnlichkeit in neuronalen Systemen und zeigt, dass deren Integration mittels Similarity Network Fusion eine präzisere Trennung von Modellfamilien und eine klarere Rekonstruktion der hierarchischen Organisation des visuellen Kortex ermöglicht als einzelne Metriken.

Das Wesentliche

Stellen Sie sich vor, Sie haben zwei verschiedene Gruppen von Künstlern: eine Gruppe aus echten Menschen (unser Gehirn) und eine Gruppe aus Robotern (künstliche Intelligenz). Beide malen Bilder von Hunden, Katzen und Autos.

Die große Frage der Forscher ist: Malen diese Künstler auf die gleiche Weise? Oder anders gesagt: Wenn ein Roboter ein Bild von einem Hund sieht, denkt er dann genau so wie ein Mensch?

Bisher haben Wissenschaftler versucht, diese Frage zu beantworten, indem sie nur eine einzige Art gemessen haben, wie ähnlich sich die „Gedanken" der Künstler sind. Das ist aber so, als würde man zwei Gemälde nur nach ihrer Farbe vergleichen und völlig ignorieren, ob sie die gleiche Form oder Struktur haben.

Diese neue Studie sagt: „Moment mal! Es gibt viele verschiedene Arten, Ähnlichkeit zu messen, und jede zeigt uns etwas anderes."

Hier ist die einfache Erklärung der Studie, unterteilt in drei Teile:

1. Das Problem: Der falsche Maßstab

Stellen Sie sich vor, Sie wollen herausfinden, welche Autos aus derselben Fabrik kommen.

• Methode A (Geometrie): Sie schauen sich die Form des Autos an.
• Methode B (Tuning): Sie schauen sich an, wie die Motoren klingen.
• Methode C (Linearität): Sie schauen nur, ob das Auto überhaupt rollt.

Die Studie zeigt, dass einige Methoden (wie das Betrachten der Form oder des Motorgeräuschs) sehr gut erkennen, welche Autos aus derselben Fabrik kommen. Andere Methoden (wie nur zu schauen, ob es rollt) sind viel ungenauer und verwechseln oft völlig unterschiedliche Autos.

Im Gehirn und in KI-Modellen bedeutet das:

• Gute Methoden schauen darauf, wie die Informationen strukturiert sind (die „Form" des Gedankens).
• Schlechtere Methoden schauen nur darauf, ob man die Informationen einfach umwandeln kann, ohne zu verstehen, wie sie aufgebaut sind.

2. Die Lösung: Der „Super-Kleber" (SNF)

Da keine einzelne Methode perfekt ist, haben die Forscher eine geniale Idee gehabt. Sie haben eine Technik namens Similarity Network Fusion (SNF) verwendet.

Stellen Sie sich vor, Sie haben drei verschiedene Detektive, die jeden ein bisschen anders arbeiten:

• Detektiv 1 ist gut im Sehen von Formen.
• Detektiv 2 ist gut im Hören von Tönen.
• Detektiv 3 ist gut im Riechen von Gerüchen.

Wenn Sie nur auf Detektiv 1 hören, verpassen Sie vielleicht wichtige Details. Wenn Sie auf alle drei hören, bekommen Sie ein vollständiges Bild.

Die Forscher haben diese „Detektive" (die verschiedenen Messmethoden) zusammengebracht. Sie haben ihre Ergebnisse nicht einfach gemittelt (was oft zu einem verwässerten, ungenauen Ergebnis führt), sondern sie haben sie wie ein Puzzle zusammengefügt. Das Ergebnis ist ein neuer, super-starker Maßstab.

3. Was haben sie herausgefunden?

Bei den Robotern (KI-Modellen):
Der neue „Super-Maßstab" konnte viel besser erkennen, welche KI-Modelle wirklich ähnlich funktionieren. Er hat zum Beispiel gesehen, dass KI-Modelle, die ohne Lehrer (selbstlernend) trainiert wurden, sich alle sehr ähnlich sind – egal ob sie eigentlich wie ein klassisches Gehirn (CNN) oder wie ein moderner Transformer aufgebaut sind. Es ist, als ob alle selbstlernenden Roboter denselben „Gedankenstil" entwickelt haben, obwohl sie anders gebaut sind.

Bei den Menschen (Gehirn):
Als sie denselben Test mit echten menschlichen Gehirnscans machten, passierte etwas Wunderbares. Der neue Maßstab konnte die verschiedenen Bereiche des visuellen Kortex (die Teile des Gehirns, die sehen) viel klarer voneinander trennen als alle alten Methoden. Er zeigte die natürliche Hierarchie des Sehsystems: Vom einfachen Sehen von Kanten (V1) bis hin zum Erkennen komplexer Objekte (V4 und weiter). Es war, als würde ein unscharfes Foto plötzlich gestochen scharf werden.

Das Fazit in einem Satz

Die Studie lehrt uns, dass wir nicht nur ein Lineal benutzen sollten, um zu messen, wie ähnlich sich KI und menschliche Gehirne sind. Wenn wir verschiedene Messwerkzeuge clever kombinieren, sehen wir nicht nur, dass sie ähnlich sind, sondern wir verstehen auch viel besser, wie sie die Welt verarbeiten.

Die Metapher:
Früher haben wir versucht, ein Gemälde zu beschreiben, indem wir nur die Helligkeit gemessen haben. Jetzt haben wir gelernt, dass wir Helligkeit, Farbe, Strichführung und Perspektive zusammen betrachten müssen, um das wahre Kunstwerk – und die Verbindung zwischen Mensch und Maschine – wirklich zu verstehen.

Technische Zusammenfassung

Problemstellung

Ein zentrales Problem in den Neurowissenschaften und im maschinellen Lernen besteht darin, zu verstehen, inwieweit biologische und künstliche neuronale Systeme äquivalente interne Repräsentationen nutzen, um ähnliche Aufgaben zu lösen. Bisherige Arbeiten vergleichen diese Systeme typischerweise unter Verwendung eines einzelnen Metriks für die Ähnlichkeit von Repräsentationen (z. B. RSA, CKA oder lineare Vorhersagbarkeit).

Das Paper identifiziert jedoch ein fundamentales Defizit: Diese Metriken sind nicht austauschbar. Jede Metrik erfasst einen anderen Aspekt der Korrespondenz (z. B. geometrische Struktur, Einheit-Tuning oder linear zugängliche Information) und trifft unterschiedliche Annahmen darüber, welche Transformationen als irrelevant gelten. Dies führt dazu, dass verschiedene Metriken zu qualitativ unterschiedlichen Schlussfolgerungen über die Ähnlichkeit von Systemen führen können. Die Frage lautet daher: Welche Dimensionen der Repräsentationskorrespondenz können sinnvolle Strukturen zuverlässig wiederherstellen, und wie können diese komplementären Aspekte integriert werden?

Methodik

Die Autoren untersuchen dieses Problem in zwei Domänen: künstliche visuelle Modelle und biologische neuronale Daten (fMRI).

1. Datensätze und Modelle:

• Künstliche Modelle: Eine kontrollierte Population von 35 Vision-Modellen, die auf ImageNet-1k vortrainiert wurden. Die Modelle umfassen verschiedene Architekturen (CNNs, ConvNeXt, Swin, Vision Transformers) und Trainingsparadigmen (überwacht vs. selbstüberwacht).
• Neuronale Daten: fMRI-Antworten aus dem Natural Scenes Dataset (NSD) von 4 Probanden, die 10 visuelle kortikale Regionen abdecken.

2. Evaluierungsmetriken:
Es wird eine Suite von Ähnlichkeitsmetriken verglichen, die unterschiedliche Flexibilität bei der Abbildung von Repräsentationen aufweisen:

• Geometrie-erhaltend: Representational Similarity Analysis (RSA), Linear Centered Kernel Alignment (CKA).
• Unit-Tuning-erhaltend: Soft Matching (SoftMatch).
• Flexible lineare Abbildungen: Procrustes-Alignment, Lineare Vorhersagbarkeit (Linear Predictivity).
• Lineare Zugänglichkeit: SVCCA, PWCCA.

3. Evaluierungskriterien:

• Prozedurale Unterscheidbarkeit (Modelle): Können die Metriken Modelle mit unterschiedlichen Architekturen oder Trainingszielen voneinander trennen, während Modelle derselben „Familie" gruppiert werden? Gemessen wird dies durch Contrastive Ratio, D-Prime und Silhouette Score.
• Anatomisch-funktionelle Organisation (Gehirn): Können die Metriken Reaktionen aus verschiedenen kortikalen Regionen trennen, während Reaktionen derselben Region über verschiedene Probanden hinweg ausgerichtet bleiben?

4. Integrationsansatz (Similarity Network Fusion - SNF):
Da keine einzelne Metrik ein vollständiges Bild liefert, adaptieren die Autoren den Similarity Network Fusion (SNF)-Algorithmus (ursprünglich aus der Multi-Omics-Forschung).

• Jeder Metrik wird ein Ähnlichkeitsgraph zugeordnet.
• SNF fusioniert diese Graphen durch einen iterativen Nachrichten-Austausch-Prozess, um eine konsensbasierte Ähnlichkeitsmatrix zu erzeugen, die Beziehungen betont, die von mehreren Metriken unterstützt werden, und inkonsistente Signale unterdrückt.

Wichtige Ergebnisse

1. Leistung einzelner Metriken:

• Metriken, die die Repräsentationsgeometrie (RSA, CKA) oder das Unit-Tuning (SoftMatch) erhalten, zeigen die beste Fähigkeit, prozedurale Unterschiede zwischen Modellen und kortikale Regionen zu unterscheiden.
• Metriken, die lineare Zugänglichkeit betonen (Linear Predictivity, CCA-Varianten), zeigen eine deutlich schwächere Diskriminierung. Sie finden zwar gemeinsame lineare Unterräume, sind aber unempfindlich gegenüber den geometrischen und topologischen Merkmalen, die Familien oder Regionen unterscheiden.
• Es gibt einen klaren Trend: Je flexibler die erlaubten Transformationen (von Permutationen zu beliebigen linearen Abbildungen), desto geringer die Fähigkeit, spezifische „Fingerabdrücke" von Modellfamilien oder Hirnregionen zu erkennen.

2. Überlegenheit der Fusion (SNF):

• Die SNF-fusionierte Ähnlichkeitsmatrix übertrifft jede einzelne Metrik deutlich.
• Bei Modellen: SNF erreicht einen D-Prime-Wert von 12,42 (fast dreimal so hoch wie die beste Einzelmetrik) und ermöglicht eine klare Trennung von Modellfamilien.
• Bei Gehirn-Daten: SNF erreicht einen D-Prime-Wert von 21,45 (fast fünfmal so hoch wie die beste Einzelmetrik) und stellt die anatomisch-funktionelle Hierarchie der ventralen Sehbahn klarer wieder her als jede einzelne Metrik.

3. Entdeckung von Typologien:

• Künstliche Modelle: Die hierarchische Clusteranalyse basierend auf SNF offenbart eine natürliche Gruppierung. Überraschenderweise überlagert das Trainingsparadigma (selbstüberwacht vs. überwacht) oft die Architektur. Alle selbstüberwachten Modelle (unabhängig von CNN oder Transformer) bilden einen einheitlichen Cluster. Auch hybride Architekturen (ConvNeXt, Swin) gruppieren sich mit MAE-Modellen, was auf konvergierende rechnerische Strategien hindeutet.
• Biologisches Gehirn: SNF rekonstruiert eine kohärente, probandenübergreifende Organisation der visuellen Kortexareale (V1 bis V4 und höhere Areale), die eng mit der bekannten anatomischen Hierarchie übereinstimmt.

Bedeutung und Fazit

Dieses Paper leistet einen wesentlichen Beitrag zum Verständnis von Repräsentationsähnlichkeit, indem es zeigt, dass diese ein multidimensionales Konzept ist.

1. Keine universelle Metrik: Es gibt keine einzelne „beste" Metrik. Die Wahl der Metrik bestimmt, welche Aspekte der Struktur (Geometrie vs. lineare Information) sichtbar werden.
2. Komplementarität: Die verschiedenen Dimensionen der Repräsentation sind komplementär, nicht redundant. Die Integration dieser Dimensionen durch SNF liefert ein vollständigeres und robusteres Bild der Systemorganisation.
3. Methodischer Fortschritt: Die Anwendung von SNF auf neuronale Daten und KI-Modelle bietet einen neuen Standard für den Vergleich von Systemen. Sie ermöglicht die datengetriebene Entdeckung von „Arten" (Typologien) sowohl in künstlichen als auch in biologischen Systemen, ohne auf a-priori-Annahmen über Architektur oder Anatomie angewiesen zu sein.

Zusammenfassend demonstriert die Arbeit, dass die Integration multipler Ähnlichkeitskonzepte notwendig ist, um die tiefere Struktur und Organisation sowohl von künstlichen neuronalen Netzen als auch des menschlichen Gehirns korrekt zu erfassen.