Interpreting Brain Responses to Language with Sparse Features from Language Models
Dieses Paper führt Augmented Sparse Encoding Models ein, welche hierarchisch organisierte Sparse-Autoencoder-Merkmale und Surprisal nutzen, um 7T-fMRT-Daten zu interpretieren, wobei aufgezeigt wird, dass der menschliche Sprachkortex mit den allgemeinsten Informationen übereinstimmt, die von künstlichen Sprachmodellen erfasst werden, anstatt mit willkürlichen Repräsentationen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen zu verstehen, wie das menschliche Gehirn arbeitet, wenn wir sprechen oder zuhören. Lange Zeit haben Wissenschaftler versucht, dies zu kartieren, indem sie Gehirnscans beobachteten, während Menschen Sätzen lauschten. Gleichzeitig sind Computer unglaublich gut darin geworden, Sprache zu verstehen (diese werden als „Sprachmodelle“ oder LMs bezeichnet).
Normalerweise stoßen Wissenschaftler auf ein Problem, wenn sie das Gehirn mit diesen Computermodellen vergleichen: Sie vergleichen eine „Black Box“ (das Gehirn) mit einer anderen „Black Box“ (den Computer). Sie können sehen, dass die beiden übereinstimmen, aber sie können nicht erklären, warum oder welche spezifischen Teile des Computers dasselbe machen wie das Gehirn.
Dieses Paper stellt einen neuen Weg vor, dies zu betrachten, genannt Augmented Sparse Encoding Models. Hier ist eine einfache Aufschlüsselung dessen, was sie getan und gefunden haben, unter Verwendung einiger Alltagsanalogien.
Das neue Werkzeug: Einen Smoothie in einen Obstsalat verwandeln
Stellen Sie sich ein Standard-Computersprachmodell wie einen Smoothie vor. Es nimmt alle Wörter in einem Satz und mixt sie zu einer einzigen, dichten, komplexen Mischung zusammen. Es ist leistungsstark, aber man kann die einzelnen Erdbeeren oder Bananen nicht leicht herauspicken, um zu sehen, was sie gerade tun.
Die Forscher verwendeten ein neues Werkzeug namens Sparse Autoencoder (SAE). Denken Sie an eine Maschine, die diesen Smoothie nimmt und ihn wieder in einen Obstsalat zerlegt. Anstatt einer einzigen gemischten Masse bricht es die Information in tausende winzige, unterscheidbare „Merkmale“ (Features) auf (wie ein spezifisches Stück Erdbeere, ein spezifisches Stück Banane oder ein spezifisches Stück Eis).
- Warum macht man das? Weil diese einzelnen Teile leichter zu verstehen sind. Einige Stücke könnten „Menschen“ repräsentieren, andere „Emotionen“ und andere „Fragen“.
Sie fügten auch eine spezifische Zutat zu ihrer Mischung hinzu: Surprisal (Überraschungswert). Dies ist ein Maß dafür, wie „überrascht“ der Computer von einem Wort ist. Wenn ein Satz sagt: „Die Katze saß auf der... Matte“, ist der Computer nicht überrascht. Wenn er sagt: „Die Katze saß auf der... Toaster“, ist der Computer sehr überrascht. Dies misst, wie schwer es für das Gehirn ist, den Satz zu verarbeiten.
Das Experiment
Die Forscher ließen acht Personen 200 verschiedene Sätze hören, während sie sich in einem superstarken MRT-Gerät (7T fMRI) befanden. Sie betrachteten winzige Stellen im Gehirn (genannt Voxel), um zu sehen, welche davon aufleuchteten.
Sie verwendeten ihr neues „Obstsalat“-Werkzeug, um vorherzusagen, welche Gehirnstellen für welche Sätze aufleuchten würden.
Was sie fanden
1. Der „Obstsalat“ funktioniert genauso gut wie der „Smoothie“
Sie fanden heraus, dass die Verwendung der getrennten Merkmale (der Obstsalat) die Gehirnaktivität genauso genau vorhersagte wie die Verwendung des gemischten Smoothies. Aber der große Gewinn ist, dass sie nun sehen konnten, worauf das Gehirn tatsächlich reagiert.
2. Zwei verschiedene Arten von Gehirnstellen
Sie entdeckten, dass das Gehirn „Schwierigkeit“ und „Bedeutung“ unterschiedlich behandelt:
- Die „Schwierigkeits“-Stellen: Einige Teile des Gehirns (hauptsächlich im vorderen Bereich) kümmern sich nur darum, wie schwer der Satz zu verarbeiten ist. Wenn ein Satz verwirrend oder überraschend ist, leuchten diese Stellen auf. Die Forscher fanden heraus, dass man für diese Stellen nicht einmal die komplexen „Obstsalat“-Merkmale benötigt; allein das Wissen darüber, wie „überraschend“ der Satz ist (Surprisal), erklärt fast alles.
- Die „Bedeutungs“-Stellen: Andere Teile des Gehirns (hauptsächlich in den hinteren/temporalen Bereichen) kümmern sich darum, worum es in dem Satz geht. Diese Stellen benötigen die detaillierten „Obstsalat“-Merkmale, um zu verstehen, ob der Satz über konkrete Dinge (wie einen Hund) oder abstrakte Ideen (wie Freiheit) handelt.
3. Entdeckung einer verborgenen Gruppe: Die „Menschen“-Stellen
Die Forscher fanden eine Gruppe von Gehirnstellen, die nicht in die üblichen Kategorien von „einfach/schwer“ oder „konkret/abstrakt“ passten. Sie nannten diese „Ghost“-Voxel (Geister-Voxel), weil sie früher schwer zu erklären waren.
Mit ihrem neuen Werkzeug erkannten sie, dass diese Stellen speziell auf Menschen abgestimmt sind. Sie leuchten auf, wenn Sätze über Beziehungen, Pronomen (er, sie, sie/they) oder Menschen handeln, die etwas tun. Interessanterweise befinden sich diese Stellen in Bereichen des Gehirns, die normalerweise mit sozialem Denken assoziiert werden, nicht nur mit Sprache.
4. Das Gehirn liebt die „allgemeinen“ Merkmale
Das von ihnen verwendete Computermodell hat eine Hierarchie von Merkmalen, wie eine Bibliothek mit einer „Allgemeinen“ Abteilung und einer „Sehr Spezifischen“ Abteilung.
- Die „Allgemeine“ Abteilung enthält breite Konzepte (wie „Menschen“ oder „Fragen“).
- Die „Spezifische“ Abteilung enthält winzige, seltsame oder sehr nischige Details.
Die Forscher fanden heraus, dass das menschliche Gehirn die winzigen, seltsamen Details weitgehend ignoriert. Es verlässt sich fast ausschließlich auf die breiten, allgemeinen Merkmale. Es scheint, dass unser Gehirn beim Verstehen von Sprache nach den großen, übergeordneten Konzepten sucht und nicht nach den mikroskopischen Eigenheiten der internen Mathematik des Computers.
Das große Ganze
Diese Studie zeigt, dass das menschliche Gehirn und künstliche Intelligenz nicht einfach nur zufällig übereinstimmen. Sie sind aufeinander abgestimmt, weil beide Systeme dieselben allgemeinen, hochgradig konzeptionellen Konzepte nutzen, um Sprache zu verstehen.
Indem sie die „Black Box“ des Computers in verständliche Teile zerlegten, konnten die Forscher endlich sagen: „Ah, dieser Teil des Gehirns leuchtet auf, weil er über Menschen nachdenkt“, oder „Dieser Teil leuchtet auf, weil der Satz verwirrend war.“ Es verwandelt ein Mysterium in eine klare Karte dessen, wie wir die Wörter verarbeiten, die wir hören.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.