Supervised Training Rapidly Degrades Early Visual Cortex Alignment Across Biologically Plausible Learning Rules
Diese Studie zeigt, dass das überwachte Training die Übereinstimmung zwischen künstlichen neuronalen Netzen und dem menschlichen frühen visuellen Kortex schnell verschlechtert, wobei globale fehlerbasierte Lernregeln wie die Backpropagation eine signifikant stärkere Störung verursachen als biologisch plausible lokale Regeln wie die prädiktive Kodierung und STDP, was darauf hindeutet, dass untrainierte Architekturen durch induktive Biases inhärent niederwertige visuelle Statistiken erfassen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Die große Überraschung: „Leere Leinwände“ sehen dem Gehirn ähnlicher als „trainierte“
Stellen Sie sich vor, Sie haben ein brandneues, untrainiertes Computergehirn (ein neuronales Netz). Es ist nur ein Haufen zufälliger Verbindungen, wie eine Kiste mit verhedderten Kopfhörern. Überraschenderweise sieht das, was es „denkt“ (interne Muster), wenn man ihm Bilder zeigt, sehr stark danach aus, wie das menschliche Gehirn (speziell der Teil, der einfache Formen und Linien erkennt, genannt V1) auf dieselben Bilder reagiert.
Nun stellen Sie sich vor, Sie beginnen, dieses Computergehirn darauf zu trainieren, Objekte zu erkennen (wie Katzen, Autos oder Stühle). Man würde erwarten, dass es, wenn es klüger bei seiner Aufgabe wird, anfängt, mehr wie ein menschliches Gehirn zu „denken“.
Die schockierende Erkenntnis der Arbeit ist das Gegenteil: Sobald Sie anfangen, den Computer zu trainieren, hört er auf, wie ein menschliches Gehirn zu denken. Tatsächlich ähnelt er dem frühen Teil des menschlichen visuellen Systems umso weniger, je mehr man ihn trainiert.
Das Experiment: Vier verschiedene Arten zu lernen
Der Forscher, Nils Leutenegger, wollte wissen, warum das passiert. Er testete vier verschiedene „Lernregeln“ (Methoden, wie der Computer sein Gehirn aktualisiert). Betrachten Sie dies als vier verschiedene Lehrstile:
- Backpropagation (BP): Die Standardmethode, die extrem effizient ist und heute in den meisten KIs verwendet wird. Es ist wie ein strenger Lehrer, der die exakte Antwort für jeden einzelnen Schüler kennt und eine präzise Korrekturmeldung bis ganz nach vorne in die Klasse schickt.
- Feedback Alignment (FA): Eine etwas „biologischere“ Methode, bei der die Korrekturbotschaften etwas chaotisch und zufällig sind, wie ein Lehrer, der Korrekturen durch einen Flur ruft, ohne genau zu wissen, wer gerade zuhört.
- Predictive Coding (PC): Eine Methode, bei der das Gehirn versucht zu erraten, was als Nächstes kommt, und nur aus den Fehlern lernt. Es ist wie ein Schüler, der nur aufmerksam wird, wenn seine Vorhersage falsch war.
- STDP: Eine Methode, die auf dem Timing basiert, bei der Verbindungen nur dann gestärkt werden, wenn zwei Neuronen im exakt gleichen Moment feuern. Es ist wie eine lokale Nachbarschaftsregel: „Wenn du und dein Nachbar zur gleichen Zeit das Gleiche tut, werden wir Freunde.“
Was passierte? Der „Ein-Sekunden-Crash“
Der Forscher beobachtete diese Computer beim Lernen über 40 Runden (Epochen) hinweg. Hier ist, was er fand:
1. Der „strenge Lehrer“ (Backpropagation) ist am destruktivsten
Wenn der Computer die Standardmethode Backpropagation verwendete, brach seine Ähnlichkeit zum frühen Zentrum der menschlichen Vision (V1) in nur einer einzigen Trainingsrunde um 90 % ein.
- Die Analogie: Stellen Sie sich einen Bildhauer (die KI) vor, der mit einem Marmorblock beginnt, der bereits vage wie ein menschliches Gesicht aussieht (die zufälligen Gewichte). Der „strenge Lehrer“ sagt dem Bildhauer: „Du musst daraus eine spezifische Katze machen, nicht ein menschliches Gesicht.“ Der Bildhauer meißelt sofort die menschenähnlichen Merkmale weg, um sich ganz auf die Katze zu konzentrieren. Das Ergebnis ist eine großartige Katzenstatue, aber sie sieht überhaupt nicht mehr wie ein menschliches Gesicht aus.
2. Die „lokalen Lerner“ (Predictive Coding & STDP) halten durch
Die Computer, die die biologischeren, lokalen Lernregeln verwendeten (PC und STDP), verloren ebenfalls etwas an Ähnlichkeit mit dem menschlichen Gehirn, aber sie verloren deutlich weniger (nur etwa 25–30 %).
- Die Analogie: Diese Bildhauer werden angewiesen, eine Katze zu machen, aber sie dürfen nur kleine, lokale Anpassungen vornehmen, basierend auf dem, was sie direkt vor sich sehen. Sie schaffen es zwar, eine Katze zu machen, aber sie bewahren dabei versehentlich einige der ursprünglichen „menschlichen Gesichtszüge“ des Marmorblocks.
3. Der Kompromiss: Frühe Vision vs. Objekterkennung
Es gab eine Wendung in den höheren Teilen des Gehirns (dem Bereich, der komplexe Objekte erkennt, genannt LOC).
- Der „strenfte Lehrer“ (Backpropagation) zerstörte die Ähnlichkeit der frühen Vision, verbesserte aber tatsächlich die Ähnlichkeit im Bereich der Objekterkennung.
- Die „lokalen Lerner“ bewahrten die Ähnlichkeit der frühen Vision, scheiterten aber daran, starke Fähigkeiten zur Objekterkennung aufzubauen.
- Das Fazit: Es scheint ein Kompromiss zu sein. Um wirklich gut darin zu werden, spezifische Objekte (wie eine Katze) zu erkennen, muss die KI die allgemeine, menschenähnliche Art und Weise opfern, einfache Linien und Formen zu sehen. Der „strenge Lehrer“ erzwingt diesen Kompromiss aggressiv; die „lokalen Lerner“ sind zu sanft, um den Wechsel vollziehen zu können.
Warum ist das wichtig?
Die Arbeit legt nahe, dass der Grund, warum zufällige, untrainierte Computer wie menschliche Gehirne aussehen, nicht darin liegt, dass sie „lernen“, dies zu tun, sondern dass ihre grundlegende Struktur (die Art und Weise, wie sie aufgebaut sind) natürlich die Statistiken der visuellen Welt erfasst, genau wie unser V1.
Wenn wir sie für eine spezifische Aufgabe trainieren, zwingen wir sie dazu, diese natürliche Struktur zu verändern. Je „globaler“ und präziser die Lernregel ist (wie Backpropagation), desto aggressiver löscht sie die gehirnähnliche Struktur aus, um Platz für aufgabenspezifische Fähigkeiten zu schaffen.
Zusammenfassung in einem Satz
- Vor dem Training: Zufällige KI-Gehirne sehen überraschend ähnlich wie menschliche Gehirne aus.
- Nach dem Training: Sie hören auf, menschlichen Gehirnen zu ähneln.
- Der Übeltäter: Die Standardmethode, mit der wir KI trainieren (Backpropagation), ist am schnellsten darin, diese „gehirnähnliche“ Qualität zu zerstören.
- Die Lehre: Die Natur verwendet den „strengen Lehrer“-Ansatz (Backpropagation) vielleicht deshalb nicht, weil er die natürliche Struktur des Gehirns zu schnell zerstört. Stattdessen nutzt das Gehirn vielleicht „lokale Lerner“ (wie Predictive Coding), die die natürliche Form des Gehirns bewahren, während sie dennoch versuchen zu lernen.
Wichtiger Hinweis: Die Arbeit behauptet nicht, dass dies bedeutet, dass KI nutzlos ist, noch dass sie vorschlägt, das Training von KI zu stoppen. Sie weist lediglich auf einen grundlegenden Unterschied zwischen der Art und Weise, wie unser Gehirn lernt, und der Art und Weise, wie heutige KI lernt, hin – insbesondere in Bezug darauf, wie sie die frühen Stadien der visuellen Wahrnehmung handhabt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.