Stimulus symmetries can confound representational similarity analyses
Diese Studie zeigt, dass Stimulus-Symmetrien die Analyse der repräsentationalen Ähnlichkeit verfälschen können, indem sie dazu führen, dass funktional äquivalente neuronale Repräsentationen unterschiedliche Matrizen der repräsentationalen Ähnlichkeit erzeugen, wodurch der Vergleich nichtlinearer neuronaler Codes erschwert wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Die große Idee: Das „Karten"-Problem
Stellen Sie sich vor, Sie versuchen zu verstehen, wie eine Stadt angelegt ist. Sie haben eine Karte, aber Sie merken, dass die Karte gedreht werden kann. Wenn Sie die Karte um 90 Grad drehen, zeigt Norden jetzt nach Osten. Die Stadt hat sich nicht verändert, und die Entfernung zwischen der Bibliothek und dem Park ist genau dieselbe. Wenn Sie jedoch auf die Koordinaten der Karte schauen, haben sich die Zahlen völlig verändert.
In der Welt der künstlichen Intelligenz und der Neurowissenschaften verwenden Wissenschaftler ein Werkzeug namens Repräsentationsähnlichkeitsmatrix (RSM), um zu vergleichen, wie verschiedene Gehirne oder Computernetzwerke die Welt „sehen". Denken Sie an die RSM als eine Wertungstabelle, die sagt: „Wie ähnlich ist die Reaktion des Gehirns auf eine Katze im Vergleich zu seiner Reaktion auf einen Hund?"
Dieses Paper argumentiert, dass RSMs durch Symmetrie getäuscht werden können. Genau wie bei der gedrehten Karte können zwei Netzwerke (oder Gehirne) funktional exakt dieselbe Aufgabe erfüllen, aber wenn sie in ihrer inneren Mathematik unterschiedlich „gedreht" sind, wird die RSM-Wertungstabelle besagen, dass sie völlig unterschiedlich sind.
Das Kernproblem: Die „Eich"-Variable
Die Autoren führen ein Konzept ein, das sie „Eichung" (gauge) nennen.
Die Analogie: Ein Boden mit Fliesen legen
Stellen Sie sich vor, Sie legen einen kreisförmigen Boden mit quadratischen Fliesen.
- Die Symmetrie: Da der Boden ein perfekter Kreis ist, spielt es keine Rolle, wo Sie die erste Fliese platzieren. Sie könnten oben (um 12 Uhr) beginnen oder rechts (um 3 Uhr).
- Die Funktion: Egal, wo Sie beginnen, der Boden ist perfekt bedeckt. Die Arbeit ist erledigt.
- Die Eichung: Der spezifische Startwinkel, den Sie wählen, ist die „Eichung". Es ist eine Wahl, die das Ergebnis (den bedeckten Boden) nicht verändert, aber die Anordnung der Fliesen ändert.
Das Paper zeigt, dass neuronale Netzwerke, wenn sie lernen, ein „kreisförmiges" Konzept (wie die Orientierung eines Objekts) abzudecken, natürlich einen Startwinkel (eine Eichung) wählen. Da die Mathematik dieser Netzwerke nichtlinear ist (es ist keine einfache gerade Linie), führt eine Änderung dieses Startwinkels nicht nur zu einer sanften Drehung des gesamten Bildes. Stattdessen verzerrt sie die Beziehungen zwischen den Fliesen.
Das Ergebnis: Zwei Netzwerke, die funktional identisch sind (beide decken den Boden perfekt ab), können völlig unterschiedliche RSM-Wertungstabellen haben, nur weil eines um 12 Uhr und das andere um 3 Uhr mit dem Verlegen begonnen hat.
Warum das wichtig ist: Der „driftende" Code
Das Paper untersucht auch, was passiert, wenn diese Netzwerke im Laufe der Zeit trainiert werden, wie ein Schüler, der ein Fach lernt.
Die Analogie: Der driftende Kompass
Stellen Sie sich eine Gruppe von Entdeckern vor, die versuchen, eine Höhle zu kartieren. Sie sind sich alle über die Form der Höhle einig (die Funktion). Doch während sie tiefer vordringen, driftet ihr Kompass langsam ab.
- In der Vergangenheit glaubten Wissenschaftler, dass sich, wenn sich die „Karte" (die RSM) änderte, die Entdecker ihr Verständnis der Höhle geändert haben mussten.
- Dieses Paper zeigt, dass die Entdecker die Höhle vielleicht immer noch perfekt kennen, aber ihre Kompassnadeln (die Eichung) einfach zufällig driften.
Die Autoren stellten fest, dass Standard-Trainingsmethoden (wie Stochastischer Gradientenabstieg) und sogar „energiesparende" Regeln (die das Netzwerk dazu bringen, weniger aktive Neuronen zu verwenden) diesen Drift nicht stoppen. Das Netzwerk findet weiterhin neue, gültige Wege, den Boden zu fliesen, aber jede neue Methode sieht auf der RSM-Wertungstabelle anders aus.
Der Realwelt-Test: Gedrehte Bilder
Um zu beweisen, dass dies nicht nur ein mathematisches Spielzeug ist, testeten die Autoren dies an echten Bildern (Ziffern aus einem japanischen Handschriftdatensatz).
- Sie trainierten Netzwerke, eine Ziffer zu erkennen, egal wie sie gedreht war.
- Sie stellten fest, dass die Netzwerke die Ziffer zwar perfekt erkennen konnten, aber die „interne Karte" (RSM) sich weiter veränderte, während das Netzwerk lernte.
- Entscheidend war, dass sie zeigten: Wenn man zwei Netzwerke nahm, die dasselbe gelernt hatten, aber eines einen leicht anderen „Startwinkel" (Eichung) hatte, sagte die RSM, sie seien sehr unterschiedlich, obwohl sie funktional identisch waren.
Das Fazit
Das Paper kommt zu dem Schluss, dass wir RSMs nicht vertrauen können, um uns zu sagen, ob zwei neuronale Codes gleich oder unterschiedlich sind, wenn die Daten Symmetrien aufweisen (wie Rotation).
Wenn Sie zwei Gehirne oder zwei KI-Modelle mit einer RSM vergleichen und sie unterschiedliche Werte liefern, bedeutet das vielleicht nicht, dass sie unterschiedlich denken. Es könnte einfach bedeuten, dass sie einen anderen „Eichungswert" oder Startpunkt verwenden, um dasselbe Problem zu lösen. Das Paper warnt Forscher davor, diese harmlosen mathematischen Verschiebungen nicht mit bedeutungsvollen Unterschieden in der Funktionsweise des Gehirns oder der Maschine zu verwechseln.
Kurz gesagt: Nur weil zwei Karten auf dem Papier unterschiedlich aussehen, bedeutet das nicht, dass sie verschiedene Städte beschreiben. Sie könnten einfach nur unterschiedlich gedreht sein, und in der komplexen, nichtlinearen Welt neuronaler Netzwerke verändert diese Rotation die Zahlen auf der Wertungstabelle auf verwirrende Weise.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.