Task-conditioned probing of instruction-tuned multimodal LLMs: Region-specific brain alignment patterns under naturalistic stimuli
Diese Studie zeigt, dass instruktionsangepasste multimodale große Sprachmodelle im Vergleich zu nicht instruktionsangepassten Modellen und Modellen mit Kontextlernen während des natürlichen Filmsehens eine deutlich stärkere und aufgaben spezifischere Übereinstimmung mit menschlicher Gehirnaktivität aufweisen, was darauf hindeutet, dass Instruktionsanpassung Repräsentationen um funktionale Aufgabenanforderungen und nicht um oberflächliche Semantik organisiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Die große Idee: Computern beibringen, wie Gehirne zu „denken"
Stellen Sie sich vor, Sie haben eine Gruppe sehr intelligenter KI-Assistenten (Multimodale Große Sprachmodelle oder MLLMs). Diese KIs können Filme ansehen und Audio hören. Die Forscher wollten wissen: Verarbeiten diese KIs Informationen auf die gleiche Weise wie menschliche Gehirne?
Um dies herauszufinden, stellten sie den KIs nicht nur Fragen; sie untersuchten die „Gehirnwellen" (fMRT-Scans) echter Menschen, die dieselben Filme sahen. Anschließend versuchten sie, diese Gehirnwellen mithilfe der inneren Gedanken der KI vorherzusagen. Das Ziel war es, herauszufinden, welches KI-„Gehirn" am besten mit dem menschlichen Gehirn übereinstimmt.
Die Hauptcharaktere: Zwei Arten von KIs
Die Studie verglich zwei Arten von KI-Assistenten:
- Der „Roh"-KI (In-Context Learning): Stellen Sie sich dies als einen brillanten Schüler vor, der Millionen von Büchern gelesen hat, aber nie eine spezifische Prüfung erhalten hat. Wenn Sie ihm einen Film zeigen und fragen: „Was passiert hier?", antwortet er basierend auf seinem allgemeinen Wissen. Er ist intelligent, aber er wiederholt möglicherweise nur das, was er zuvor gesehen hat.
- Die „Trainierte" KI (Instruction-Tuned): Stellen Sie sich denselben Schüler vor, der jedoch gerade ein rigoroses Trainingslager absolviert hat, in dem er spezifische Aufgaben geübt hat: „Fasse dies zusammen", „Finde die Emotion", „Beschreibe den Sound". Sie sind jetzt Experten darin, spezifische Anweisungen zu befolgen.
Das Experiment: Die Filmnacht
Die Forscher organisierten eine „Filmnacht" mit vier menschlichen Freiwilligen. Während sie Ausschnitte aus beliebten Filmen (wie The Wolf of Wall Street) sahen, wurden ihre Gehirne gescannt.
Anschließend gaben sie dieselben Filmclips den KIs.
- Die Roh-KI sah sich das Video einfach an.
- Die Trainierte KI erhielt 13 verschiedene „Anweisungen" für dasselbe Video, wie zum Beispiel:
- „Was sind die Hauptereignisse?"
- „Beschreibe die Emotionen."
- „Was ist der zentrale Konflikt?"
- „Identifiziere die Geräusche."
Die Forscher stellten dann die Frage: Welche inneren „Gedanken" der KI konnten am besten vorhersagen, was das menschliche Gehirn in genau diesem Moment tat?
Die überraschenden Ergebnisse
Hier ist, was sie entdeckten, unter Verwendung einiger einfacher Metaphern:
1. Die „Trainierte" KI ist eine bessere Übereinstimmung mit dem menschlichen Gehirn
Die „Trainierten" (Instruction-Tuned) KIs waren deutlich besser darin, menschliche Gehirnaktivität vorherzusagen als die „Roh"-KIs.
- Analogie: Stellen Sie sich vor, Sie versuchen zu erraten, was ein Freund denkt. Die „Roh"-KI ist wie ein Freund, der einfach zufällige Fakten über den Film auflistet. Die „Trainierte" KI ist wie ein Freund, der aktiv versucht, die Geschichte und die Gefühle zu verstehen, genau wie Ihr Gehirn. Die „Gedanken" der Trainierten KI stimmten etwa 9 % bis 20 % besser mit dem menschlichen Gehirn überein als die der anderen.
2. Die „Roh"-KI wiederholt nur Wörter; die „Trainierte" KI leistet die Arbeit
Die Forscher stellten einen entscheidenden Unterschied fest, wie diese KIs denken:
- Die Roh-KI ist sehr empfindlich gegenüber den genauen Wörtern, die Sie verwenden. Wenn Sie sagen „Beschreibe das Video" versus „Erzähl mir vom Video", ändert sich das innere Gehirn der Roh-KI stark, weil die Wörter unterschiedlich sind. Es ist wie ein Papagei, der Geräusche nachahmt.
- Die Trainierte KI ignoriert die spezifische Formulierung und konzentriert sich auf die Aufgabe, die erledigt werden soll. Ob Sie sagen „Fasse zusammen" oder „Erzähl die Geschichte", ihr inneres Gehirn bleibt auf die Aufgabe fokussiert.
- Das Fazit: Auch menschliche Gehirne scheinen sich mehr für die Aufgabe (die Geschichte verstehen) zu interessieren als für die genauen Worte, mit denen sie danach gefragt werden. Die Trainierte KI imitiert dieses menschliche Verhalten besser.
3. Unterschiedliche Aufgaben aktivieren verschiedene Teile des Gehirns (und der KI)
Die Studie zeigte, dass wenn Sie der KI eine bestimmte Aufgabe geben, sie verschiedene „Abteilungen" in ihrem Gehirn aktiviert, genau wie Menschen.
- Analogie: Stellen Sie sich das Gehirn als eine Stadt mit verschiedenen Bezirken vor.
- Wenn die KI gebeten wird, Geräusche zu erkennen, leuchtet ihr „Audio-Bezirk" auf und entspricht dem menschlichen auditorischen Kortex.
- Wenn sie gebeten wird, eine Geschichte zu verstehen, leuchtet ihr „Sprachbezirk" auf und entspricht den menschlichen Spracharealen.
- Wenn sie gebeten wird, Objekte zu erkennen, leuchtet ihr „Visueller Bezirk" auf.
- Die „Roh"-KI schaltete die Bezirke nicht so klar um. Die „Trainierte" KI wusste genau, welcher Teil der Stadt für die spezifische Aufgabe zu verwenden war.
4. Die „tiefen" Schichten entsprechen dem „tiefen" Gehirn
KI-Modelle haben Schichten, wie ein mehrstöckiges Gebäude.
- Untere Etagen (Flache Schichten): Diese bewältigen einfache Dinge wie Kanten, Farben und grundlegende Geräusche.
- Obere Etagen (Tiefe Schichten): Diese bewältigen komplexe Ideen wie Geschichten, Emotionen und Schlussfolgerungen.
- Das Ergebnis: Die Forscher stellten fest, dass die unteren Etagen der KI mit den sensorischen Bereichen des menschlichen Gehirns (Augen/Ohren) übereinstimmten und die oberen Etagen der KI mit den Denkarealen des menschlichen Gehirns. Diese „Hierarchie" war bei der Trainierten KI viel klarer.
Der „Video vs. Audio"-Twist
Die Studie untersuchte auch KIs, die speziell für Video entwickelt wurden, und KIs, die speziell für Audio entwickelt wurden.
- Video-KIs: Diese waren die Stars der Show. Sie stimmten in Bezug auf die Gehirnaktivität im gesamten Gehirn sehr gut mit dem menschlichen Gehirn überein.
- Audio-KIs: Diese machten eine mittelmäßige Arbeit, stimmten aber hauptsächlich mit den Hörzentren des menschlichen Gehirns überein. Sie stimmten mit dem Rest des Gehirns nicht so gut überein wie die Videomodelle.
- Fazit: Derzeit sind KI-Modelle, die gleichzeitig „sehen" und „hören" können (Video), der menschlichen Gehirnfunktion viel näher als Modelle, die nur „hören" (Audio).
Zusammenfassung
Dieses Papier beweist, dass KI-Modelle, wenn wir ihnen beibringen, spezifische Anweisungen zu befolgen (wie es ein menschlicher Lehrer tun würde), aufhören, Daten nur zu „rezitieren", und anfangen, auf eine Weise zu „denken", die bemerkenswert der Funktionsweise unserer eigenen Gehirne ähnelt. Sie organisieren ihre Gedanken nach Aufgabe und nicht nach Formulierung, und sie aktivieren spezifische Hirnregionen, abhängig davon, was sie tun sollen. Dies macht sie zu leistungsfähigen Werkzeugen für Wissenschaftler, die verstehen wollen, wie das menschliche Gehirn die komplexe Welt der Filme und Geschichten verarbeitet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.