Surprisal from Larger Transformer-based Language Models Predicts fMRI Data More Poorly
Diese Studie zeigt, dass die inverse Skalierungsbeziehung, bei der größere Transformer-basierte Sprachmodelle die menschliche Satzverarbeitungsschwierigkeit weniger genau vorhersagen, über Lesezeiten hinaus auch auf fMRT-Daten Anwendung findet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen zu verstehen, wie das menschliche Gehirn Sprache verarbeitet. Jahrelang haben Wissenschaftler ein Konzept namens „Surprisal“ (Überraschungswert) verwendet, um zu schätzen, wie schwierig ein Wort für einen Menschen zu verstehen ist. Denken Sie bei Surprisal an ein „Schockmeter“. Wenn Sie eine Geschichte lesen und plötzlich das Wort „Alligator“ in einem Satz über eine ruhige Bibliothek sehen, erleidet Ihr Gehirn einen großen Schock (hoher Surprisalwert), weil es das Wort nicht erwartet hat. Wenn Sie das Wort „Buch“ sehen, gibt es keinen Schock (niedriger Surprisalwert), weil es erwartet wurde.
Lange Zeit glaubten Forscher, dass je größer und intelligenter ein Computer-Sprachmodell (wie eine superfortschrittliche KI) ist, desto besser sein „Schockmeter“ wäre, um vorherzusagen, wie lange ein Mensch braucht, um einen Satz zu lesen oder wie sein Gehirn auf ihn reagiert.
Die große Überraschung
Dieses Paper stellt diese Idee auf den Kopf. Die Forscher fanden heraus, dass größere, leistungsstärkere KI-Modelle tatsächlich schlechter darin sind, vorherzusagen, wie das menschliche Gehirn auf Sprache reagiert.
Hier ist die Geschichte, wie sie das herausgefunden haben, erklärt mit einigen einfachen Analogien:
Der „Experte“ vs. der „Mensch“
Stellen Sie sich vor, Sie haben zwei Wettervorhersager, die vorhersagen sollen, ob es regnen wird.
- Vorhersager A ist ein kleines, einfaches Modell. Es hat schon einiges an Regen gesehen und sagt ihn recht gut voraus.
- Vorhersager B ist ein massives Supercomputer-Modell, das mit jedem Wetterbericht der Geschichte trainiert wurde. Es ist unglaublich intelligent und sagt das Wetter bei tatsächlichen Wettermustern mit nahezu perfekter Genauigkeit voraus.
Die Forscher fanden heraus, dass es in Bezug auf die Vorhersage des menschlichen Verhaltens (wie stark ein Mensch überrascht ist) Vorhersager B weniger genau ist als Vorhersager A.
Warum? Weil die superintelligente KI gelernt hat, seltene Wörter so perfekt vorherzusagen, dass sie nicht mehr von ihnen überrascht wird. Aber Menschen sind von seltenen Wörtern immer noch überrascht. Die KI wird zu „perfekt“ in ihrer Aufgabe und verliert den Kontakt dazu, wie ein normales menschliches Gehirn tatsächlich funktioniert. Es ist wie ein Schachgroßmeister, der jeden Zug in einem Spiel perfekt vorhersagen kann, aber scheitert, das Verhalten eines Anfängers vorherzusagen, weil der Anfänger „Fehler“ macht, die ein Großmeister nicht machen würde.
Das Experiment: Zwei verschiedene Gehirne
Um zu beweisen, dass dies kein Zufall war, testeten die Forscher diese Theorie an Gehirnscans (fMRT-Daten) statt nur an Lesegeschwindigkeiten. Sie wollten sehen, ob die Regel „Größer ist schlechter“ auch auf die tatsächliche physische Aktivität des Gehirns zutrifft.
Sie verwendeten 17 verschiedene KI-Modelle unterschiedlicher Größe (von klein bis riesig) und testeten sie an zwei verschiedenen Gruppen von Menschen, deren Gehirne gescannt wurden, während sie Geschichten hörten oder Sätze lasen.
- Der „Natürliche Geschichten“-Test: Menschen hörten natürliche Geschichten, während ihre Gehirne gescannt wurden.
- Der „Pereira“-Test: Menschen lasen kurze Passagen, während ihre Gehirne gescannt wurden.
Das Ergebnis:
In beiden Tests trat dasselbe Muster auf. Je größer und intelligenter die KI-Modelle wurden, desto schlechter wurde ihre Fähigkeit, die Reaktion des menschlichen Gehirns abzubilden. Die größten Modelle waren am schlechtesten darin, vorherzusagen, was das menschliche Gehirn tun würde.
Warum das wichtig ist (laut dem Paper)
Das Paper kommt zu dem Schluss, dass diese „inverse Skalierung“ (wo größeres Modell = schlechtere Vorhersage für Menschen) nicht nur ein kurioser Effekt der Lesegeschwindigkeit ist. Es geschieht auch in der tatsächlichen elektrischen Aktivität des Gehirns.
Die Autoren vermuten, dass diese massiven Modelle, da sie mit so vielen Daten trainiert wurden, zu gut darin werden, seltene Wörter vorherzusagen, wodurch ihre „Überraschungsgrade“ im Vergleich zu echten Menschen zu niedrig ausfallen.
Das Fazit:
Wenn Sie verstehen wollen, wie das menschliche Gehirn Sprache verarbeitet, benötigen Sie vielleicht nicht die größte, teuerste KI. Tatsächlich könnte ein etwas kleineres, weniger „perfektes“ Modell tatsächlich ein besseres Spiegelbild dessen sein, wie unsere Gehirne funktionieren.
Hinweis: Das Paper beschränkt seine Ergebnisse streng auf diese spezifischen Sprachmodelle und Gehirndatensätze. Es behauptet nicht, dass dies auf andere Sprachen, klinische Diagnosen oder zukünftige KI-Anwendungen zutrifft.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.