Evaluation Resolution Confounds Learning-Rule Comparisons in Model-Brain RSA of Early Visual Cortex

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die Welt so zu sehen wie ein Mensch. Wissenschaftler auf einem Gebiet namens NeuroAI sind besessen von dieser Frage: „Was ist die beste Menge an Regeln, um einem Computer beizubringen, eine Katze oder ein Auto zu erkennen?“ Sie haben ein paar verschiedene Regelbücher zur Auswahl. Eines ist die Standardmethode, die extrem effiziente Methode, die in fast allen modernen KI-Systemen verwendet wird (Backpropagation). Die anderen sind „biologisch plausible“ Regeln, die versuchen, die Art und Weise nachzuahmen, wie echte Gehirne tatsächlich lernen, etwa wie Neuronen als Reaktion auf das Timing feuern oder wie das Gehirn vorhersagt, was es als Nächstes sehen wird.

Um zu sehen, welches Regelbuch am besten funktioniert, verwenden Forscher einen cleveren Trick namens Representational Similarity Analysis (RSA). Denken Sie an dies als ein Spiel namens „Verbindung erraten“. Sie nehmen die internen „Gedanken“ (die digitalen Repräsentationen) eines Roboters über ein Bild und vergleichen sie mit der tatsächlichen elektrischen Aktivität in einem menschlichen Gehirn, wenn dieser dasselbe Bild betrachtet. Wenn die Gedanken des Roboters eng mit der Gehirnaktivität übereinstimmen, sagen wir, der Roboter hat ein „gehirnähnliches“ Verständnis. Die große Hoffnung ist, dass wir, indem wir die Regel finden, die den Roboter dem Gehirn am ähnlichsten macht, endlich den Code der menschlichen Vision entschlüsseln können. Aber es gibt einen Haken: Das echte Gehirn ist unglaublich komplex, und die Roboter, die wir derzeit mit diesen ausgeklügelten biologischen Regeln trainieren können, sind noch recht klein und einfach.

Dieser Artikel zieht den Vorhang beiseite und enthüllt eine versteckte Falle in diesen Vergleichen. Der Forscher entdeckte, dass die Antwort auf die Frage „Welche Regel ist am besten?“ sich komplett ändert, je nachdem, was eines ist: die Größe des Bildes, das man dem Roboter zeigt. Es stellt sich heraus, dass Wissenschaftler, wenn sie diese kleinen, biologisch inspirierten Roboter mit dem menschlichen Gehirn vergleichen, oft hochauflösende, detaillierte Fotos (wie 224 Pixel breit) verwenden, um sie zu testen, obwohl die Roboter nur auf winzigen, unscharfen 32-Pixel-Bildern trainiert wurden. Die Studie findet, dass dieser Mismatch eine magische Illusion erzeugt. Wenn sie den ungetrainierten, zufälligen Roboter auf großen, detaillierten Bildern testen, sieht dieser plötzlich genauso gut aus oder sogar besser als der smarte, trainierte Roboter beim Verständnis der frühen Teile des visuellen Systems. Der Autor zeigt, dass dies nicht daran liegt, dass der zufällige Roboter heimlich brillant ist, sondern weil die Art und Weise, wie wir ihn messen, durch die Größe des Bildes verzerrt wird.

Die Auflösungsfalle

Die zentrale Entdeckung hier ist, dass der „Gewinner“ des Gehirn-Matching-Wettbewerbs vollständig von der Auflösung der Testbilder abhängt. Stellen Sie sich vor, Sie bewerten einen Kochwettbewerb. Sie haben einen Koch, der geübt hat, ein Gericht in einer winzigen 3-Zoll-Pfanne zuzubereiten, und Sie haben eine Zufelsperson, die einfach nur Zutaten in eine Schüssel geworfen hat, ohne zu kochen. Wenn Sie sie bitten, das Gericht auf einer riesigen 2-Fuß-Platte zu servieren, könnte die Zufelsperson versehentlich besser aussehen, weil die riesige Platte die Tatsache verbirgt, dass das Essen roh ist. Aber wenn Sie es auf derselben winzigen 3-Zoll-Pfanne servieren, mit der er geübt hat, glänzt der trainierte Koch, und die Zufelsperson sieht schrecklich aus.

In dieser Studie ist die „winzige Pfanne“ die 32-Pixel-Auflösung, auf der die Roboter trainiert wurden, und die „riesige Platte“ ist die 224-Pixel-Auflösung, die oft verwendet wird, um sie gegen Gehirndaten zu testen. Als der Forscher die Roboter auf der gleichen 32-Pixel-Größe testete, auf der sie gelernt hatten, waren die trainierten Roboter (unter Verwendung von Backpropagation) etwas besser als die ungetrainierten, genau wie man es erwarten würde. Aber als sie zu den größeren 224-Pixel-Bildern wechselten, kehrten sich die Ergebnisse um. Der ungetrainierte, zufällige Netzwerk sah plötzlich viel mehr wie der frühe visuelle Kortex (V1) des menschlichen Gehirns aus als das trainierte eine. Die Lücke zwischen ihnen wuchs stetig an, während das Bild größer wurde, von einem winzigen Unterschied von -0,001 bei 32 Pixeln zu einem großen Unterschied von +0,044 bei 224 Pixeln.

Die Verdächtigen ausschließen

Der Autor hat das Problem nicht nur gefunden; er spielte auch Detektiv, um herauszufinden, warum dies geschah. Er hatte vier Hauptverdächtige und schloss sie alle nacheinander aus.

Zuerst vermuteten sie einen reinen „Mismatch“-Effekt: Vielleicht schneiden die trainierten Roboter einfach schlechter ab, wenn man ihnen Bilder zeigt, auf denen sie nicht trainiert wurden. Um dies zu testen, probierten sie Roboter aus, die tatsächlich auf den großen 224-Pixel-Bildern trainiert wurden (wie einen ResNet-50 und einen Swin-Tiny Transformer). Wenn die Mismatch-Theorie wahr wäre, sollten diese groß-trainierten Roboter bei 224 Pixeln am besten abschneiden. Das taten sie jedoch nicht. Sie schnitten auch bei niedrigen Auflösungen am besten ab und wurden schlechter, je größer die Bilder wurden. Es ging also nicht nur darum, auf der falschen Größe trainiert worden zu sein.

Zweitens untersuchten sie die Einstellungen des „ungetrainierten“ Roboters. Ungetrainierte Roboter haben oft ihre „Normalisierungseinstellungen“ (die helfen, Daten auszubalancieren) auf Standardwerte gesetzt, während trainierte Roboter gelernte Einstellungen haben. Der Autor dachte, vielleicht sei diese Standardeinstellung das Geheimrezept. Sie passten die Einstellungen des ungetrainierten Roboters manuell perfekt an die Trainingsdaten an. Selbst mit diesen perfekten Einstellungen schlug der ungetrainierte Roboter den trainierten bei hohen Auflösungen. Es war also kein Einstellungsfehler.

Drittens prüften sie, ob die Roboter einfach nur einfache visuelle Muster imitierten, wie etwa die Art und Weise, wie Licht- und Dunkelbereiche (Gabor-Filter) oder Rohpixel aussehen. Sie fanden heraus, dass die Roboter, die am meisten wie diese einfachen Muster aussah, nicht zwangsläufig am meisten wie das Gehirn aussah. Tatsächlich sah einer der trainierten Roboter sehr „Gabor-ähnlich“ aus, entsprach aber dennoch nicht gut dem Gehirn. Also waren einfache Muster nicht die ganze Geschichte.

Viertens wurde in Betracht gezogen, dass der Roboter, wenn das Bild größer wird, über immer mehr Pixel mittelt, was dazu führen könnte, dass seine endgültige Antwort nur ein einfaches Maß für die allgemeine Helligkeit des Bildes ist. Sie fanden heraus, dass ein einzelner Wert, der die durchschnittliche Helligkeit eines Bildes repräsentiert, die Gehirndaten fast so gut wie der ungetrainierte Roboter beschrieb. Dies war ein riesiger Hinweis: Der ungetrainierte Roboter tat viel seiner „Übereinstimmung“ einfach durch das Raten der Helligkeit. Doch selbst nachdem man die Helligkeit berücksichtigt hatte, verschwand der Auflösungseffekt nicht vollständig.

Der wahre Übeltäter: Bilddetails

Um die wahre Ursache zu finden, führte der Autor ein letztes, kluges Experiment durch. Er nahm die großen Bilder, schrumpfte sie auf die winzige 32-Pixel-Größe zusammen (um die Details zu begrenzen) und blies sie dann wieder auf die große Größe auf. Das bedeutete, dass der Roboter immer noch ein großes Bild sah und über viele Pixel mittelte, aber die tatsächlichen Informationen im Bild waren auf die niedrige Auflösung begrenzt.

Das Ergebnis war dramatisch. Als die Detailtiefe auf die Trainingsauflösung begrenzt wurde, hörten die trainierten Roboter auf, mit zunehmender Bildgröße schlechter zu werden. Der riesige Abstand zwischen den trainierten und den ungetrainierten Robotern verschwand fast vollständig. Dies bewies, dass der Effekt nicht dadurch verursacht wurde, dass der Roboter auf mehr Pixel schaute (das Pooling), sondern dadurch, dass der Roboter mehr Details sah, die er nicht gelernt hatte zu handhaben. Die zusätzlichen Details in den hochauflösenden Bildern schadeten den trainierten Robotern und halfen den zufälligen – doch der Autor gibt zu, dass er nicht vollständig versteht, warum die zufälligen Filter von diesen zusätzlichen Details profitieren, während die trainierten darunter leiden.

Was tatsächlich zählt

Der Artikel endet mit einer beruhigenden Wendung. Während der frühe Teil des visuellen Systems (V1) durch die Bildgröße verwirrt wurde, erzählten die höheren Ebenen des Gehirns (genannt LOC) eine andere Geschichte. Auf diesen höheren Ebenen übertrafen die trainierten Roboter die ungetrainierten konsistent, unabhängig von der Bildgröße. Das bedeutet, dass Lernen die gehirnähnliche Natur des Netzwerks tatsächlich verändert, aber das „Rauschen“ der Bildauflösung das Signal in den frühen Stadien überdeckte.

Die wichtigste Lehre ist eine Warnung an Wissenschaftler: Wenn Sie wissen wollen, welche Lernregel am besten ist, müssen Sie sehr vorsichtig mit der Größe der Bilder sein, die Sie zum Testen verwenden. Der „Gewinner“ ist keine feste Eigenschaft der Regel; er ist ein Ergebnis dessen, wie Sie die Messung wählen. Bis Wissenschaftler eine standardisierte Methode vereinbaren, um die Bildgröße an das untersuchte Gehirnareal anzupassen, könnten Vergleiche am frühen visuellen Kortex irreführend sein. Der Artikel legt nahe, dass wir in der Auflösung testen sollten, auf der das Modell trainiert wurde, und diese Auflösung klar angeben sollten, damit wir nicht in die Auflösungsfalle tappten.