Bidirectional representational alignment between biological and artificial neural networks
Diese Arbeit zeigt, dass die Steuerung der spektralen Geometrie selbstüberwachter Vision-Modelle während des Trainings die bidirektionale repräsentative Ausrichtung mit biologischen neuronalen Netzen systematisch modulieren und signifikant verbessern kann, wobei eine 55-prozentige relative Verbesserung der bidirektionalen Prädiktivität durch Reduzierung der effektiven Dimensionalität und Reorganisation des gemeinsamen repräsentativen Subraums erreicht wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Um zu verstehen, wie Intelligenz funktioniert, schauen Wissenschaftler oft auf das Gehirn, die biologische Maschine, die denkt, und vergleichen es mit künstlichen neuronalen Netzen, den Computerprogrammen, die darauf ausgelegt sind, es nachzuahmen. Jahrelang haben Forscher versucht herauszufinden, ob diese beiden Systeme auf ähnliche Weise „denken“, indem sie ihre internen Landkarten der Welt verglichen haben. Wenn ein Computer ein Bild einer Katze sieht, erzeugt er ein spezifisches Aktivitätsmuster; wenn ein Affe dasselbe Bild sieht, erzeugt sein Gehirn ein anderes Muster. Wissenschaftler messen, wie gut das Muster des Computers die Aktivität des Gehirns vorhersagt, ein Prozess, der als Vorwärtsprädiktion bekannt ist. Kürzlich entstand eine neue Frage: Können wir das Muster des Computers auch vorhersagen, indem wir nur auf das Gehirn des Affen schauen? Die Antwort war überraschend einseitig. Die internen Karten des Computers waren exzellent darin, zu erraten, was das Gehirn tun würde, aber die Aktivität des Gehirns war ein schlechter Ratender dessen, was der Computer tun würde. Dieses Ungleichgewicht deutet darauf hin, dass die künstliche Intelligenz zwar gelernt hatte, die Ausgabe des Gehirns nachzuahmen, aber noch nicht gelernt hatte, die zugrunde liegende Struktur des Gehirns nachzuahmen.
Ein Forschungsteam setzte sich zum Ziel, diese einseitige Beziehung zu korrigieren, indem es die Form der internen Karten des künstlichen Netzwerks während seines Trainings veränderte. Sie stellten die Hypothese auf, dass die Art und Weise, wie Informationen innerhalb des Computers organisiert sind – insbesondere wie die Wichtigkeit verschiedener Informationsteile verteilt ist – der fehlende Schlüssel sein könnte. Um dies zu testen, bauten sie ein System, das den Lernprozess des Computers sanft dazu bewegen konnte, seine Informationen auf eine bestimmte Weise zu organisieren, ähnlich der Art und Weise, wie das Gehirn Informationen natürlich organisiert. Sie verwendeten ein Standard-Visionsmodell, eine Art künstlicher Intelligenz, die darauf trainiert wurde, Bilder ohne menschliche Etiketten zu erkennen, und wandten während ihrer Lernphase eine neue Regel an. Diese Regel ermutigte das Netzwerk dazu, seine internen Signale so anzuordnen, dass wenige Signale den Großteil des Gewichts trugen, während viele andere sehr wenig trugen – ein Muster, das den natürlichen Abfall der Bedeutung widerspiegelt, der in biologischen Gehirnen zu finden ist.
Die Ergebnisse zeigten, dass diese einfache Anpassung eine tiefgreifende Wirkung hatte. Als die Forscher die interne Geometrie des Computers steuerten, um sie an dieses natürliche Muster anzupassen, verbesserte sich die Fähigkeit der Gehirnaktivität, das Verhalten des Computers vorherzusagen, dramatisch. Tatsächlich wurden die internen Karten des Computers viel besser durch das Gehirn vorhersagbar, wodurch die Lücke geschlossen wurde, die zuvor bestanden hatte. Während die Fähigkeit des Computers, die Aktivität des Gehirns vorherzusagen, leicht sank, bedeutete der massive Gewinn in der umgekehrten Richtung, dass die beiden Systeme viel ausgewogener wurden. Die allgemeine Übereinstimmung zwischen den biologischen und künstlichen Netzwerken verbesserte sich um fünfundfünfzig Prozent im Vergleich zum ursprünglichen Setup. Diese Verbesserung war nicht nur ein statistischer Zufall; sie ging mit einer klaren Veränderung in der Struktur des Computers einher. Das Netzwerk begann, sich auf weniger, effizientere Dimensionen zu verlassen, um Informationen zu speichern, und die Teile des Netzwerks, die der Gehirnaktivität am ähnlichsten waren, wurden in ihrer Beziehung fast perfekt symmetrisch.
Die Studie legt nahe, dass die Art und Weise, wie Informationen innerhalb eines Lernsystems organisiert sind, genauso wichtig ist wie die Informationen selbst. Indem sie einfach die Regeln änderten, wie der Computer seine Aufmerksamkeit über verschiedene Signale verteilt, machten die Forscher die interne Welt des künstlichen Netzwerks viel ähnlicher der biologischen Welt. Dies bedeutet nicht, dass der Computer plötzlich bewusst geworden ist oder das Rätsel des menschlichen Denkens gelöst hat. Vielmehr zeigt es, dass die Geometrie der gelernten Repräsentationen – die Form der internen Karten – eine Eigenschaft ist, die kontrolliert werden kann, um künstliche und biologische Systeme näher zusammenzubringen. Die Ergebnisse deuten darauf hin, dass das vorherige Ungleichgewicht kein permanenter Fehler der künstlichen Intelligenz war, sondern eine Folge dessen, wie diese Netzwerke es ermöglicht wurde, sich selbst zu organisieren. Durch die Steuerung dieser Organisation können Wissenschaftler Modelle erschaffen, die nicht nur besser darin sind, Aufgaben zu lösen, sondern auch bessere Spiegelbilder der biologischen Systeme sind, die sie zu verstehen versuchen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.