On the use of foundation models in cognitive science
Dieses Paper schlägt ein vierstufiges inferentielles Framework vor, um Foundation Models als kognitive und entwicklungspsychologische Modelle rigoros zu evaluieren, wobei argumentiert wird, dass verhaltensbasierte Ausrichtung allein unzureichend ist und durch explizite theoretische Verpflichtungen, Hypothesenverknüpfungen und systematische vergleichende Evaluierung fundiert werden muss.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, das Rätsel zu lösen, wie das menschliche Gehirn funktioniert. Seit Jahrzehnten bauen Wissenschaftler winzige, vereinfachte Computerprogramme, die als „Modelle“ unseres Geistes dienen und diese gegen Rätsel wie mathematische Probleme oder Sprachspiele testen. Wenn der Computer dieselben Fehler macht wie ein Kind oder ein Rätsel in der gleichen Zeit löst, deutet dies darauf hin, dass der Computer einen ähnlichen „Denkprozess“ verwendet. Nun ist ein neuer, superstarker Typ von Computergehirn eingetroffen: das Foundation Model. Dies sind die massiven KI-Systeme, die Geschichten schreiben können, komplexe Logikprobleme lösen und wie Menschen chatten können. Sie sind so gut darin, menschliches Verhalten nachzuahmen, dass Forscher die spannende Frage stellen: „Sind diese KI-Systeme tatsächlich wie wir am Denken oder sind sie nur sehr gut darin, es vorzutäuschen?“ Dieses Paper tritt in diese Debatte ein, nicht um für die KI zu werben, sondern um als strenger Schiedsrichter zu fungieren und zu fragen: „Nur weil die KI die richtige Antwort gibt, beweist das schon, dass wir verstehen, wie sie dorthin gekommen ist?“
Die Autoren, ein Team von Forschern von der Georgia Tech, der UC San Diego und der Stanford University, argumentieren, dass es nicht ausreicht, einfach nur zuzusehen, wie eine KI die richtige Antwort erhält, um sie als Modell der menschlichen Kognition zu bezeichnen. Sie schlagen ein neues, vierstufiges „Detektiv-Framework“ vor, um sicherzustellen, dass wir, wenn wir sagen, eine KI stimme mit dem menschlichen Denken überein, tatsächlich etwas Wissenschaftliches und Tiefgründiges meinen und nicht nur einen glücklichen Zufall.
Das Vier-Schritte-Detektiv-Kit
Das Paper legt nahe, dass man, um wirklich zu testen, ob eine KI ein Modell des menschlichen Geistes ist, ihr nicht einfach nur eine Frage zuwerfen kann und dann sieht, was passiert. Man braucht eine strukturierte Untersuchung mit vier verschiedenen Phasen, wie ein Spiel von „Simon sagt“ für Wissenschaftler:
- Die Übersetzung (Adaption): Zuerst muss man den menschlichen Test übersetzen, damit die KI mitspielen kann. Stellen Sie sich vor, ein Mensch macht einen visuellen Rätseltest mit Formen und Farben. Eine KI, die nur Text lesen kann, kann diese Formen nicht sehen. Also müssen Forscher das visuelle Rätsel in eine Textbeschreibung umwandeln (wie „ein roter Kreis neben einem blauen Quadrat“), ohne die Logik des Rätsels zu verändern. Wenn die Übersetzung ungeschickt ist, könnte die KI aus den falschen Gründen scheitern oder aus den falschen Gründen erfolgreich sein.
- Das Wörterbuch (Verknüpfungshypothese): Dies ist der kritischste Schritt. Man braucht ein Wörterbuch, um zu übersetzen, was die KI „sagt“, in das, was ein Mensch „tut“. Bedeutet die interne Mathematik der KI, dass sie „intensiv nachdenkt“? Bedeutet ihr Zögern, dass sie „verwirrt“ ist? Das Paper warnt, dass es viele Wege gibt, dieses Wörterbuch zu bauen. Man könnte auf die endgültige Antwort der KI schauen (wie bei einem Multiple-Choice-Test), oder man könnte schauen, wie lange sie zum „Nachdenken“ gebraucht hat (wie beim Messen der Reaktionszeit), oder man könnte sogar ihren internen „Denkprozess“ betrachten (wie beim Lesen ihres Tagebuchs). Die Autoren betonen, dass Ihre Wahl des Wörterbuchs die ganze Geschichte verändert. Wenn Sie das falsche Wörterbuch verwenden, könnten Sie denken, die KI sei ein Genie, während sie in Wirklichkeit nur rät.
- Die Ergebniskarte (Evaluierung): Nun vergleicht man die Leistung der KI mit echten menschlichen Daten. Aber hier ist der Haken: Schauen Sie nicht nur auf die durchschnittliche Punktzahl. Wenn die KI zu 90 % richtig liegt und Menschen zu 90 % richtig liegen, ist das ein Anfang. Aber ein gutes Modell muss auch in denselben Situationen dieselben Dinge falsch machen. Wenn Menschen bei einer bestimmten Art von kniffligem Rätsel Schwierigkeiten haben, sollte auch die KI Schwierigkeiten haben. Wenn die KI dieses mühelos bewältigt, während Menschen straucheln, ist die KI kein Modell des menschlichen Denkens; sie nutzt nur einen anderen, vielleicht einfacheren Shortcut.
- Der Kontrast (Vergleich): Schließlich muss man „Was wäre wenn?“ spielen. Man kann nicht nur eine KI testen. Man muss verschiedene Versionen testen: eine kleinere KI, eine größere KI oder eine KI, bei der man einen spezifischen Teil ihres Gehirns entfernt hat. Wenn man ein Stück der KI entfernt und sie plötzlich aufhört, wie ein Mensch zu agieren, hat man einen Hinweis darauf gefunden, welcher Teil des „Denkprozesses“ tatsächlich wichtig ist. Dieser Schritt hilft Wissenschaftlern herauszufinden, warum die KI funktioniert, nicht nur, dass sie funktioniert.
Die Falle des „Vortäuschens“
Das Paper weist sehr sorgfältig auf eine große Falle hin: Verhaltensmäßige Übereinstimmung ist nicht dasselbe wie Identität.
Stellen Sie sich zwei Personen vor, die ein Labyrinth lösen. Eine Person benutzt eine Karte und Logik (der menschliche Weg). Die andere rennt einfach gegen jede Wand, bis sie durch reines Glück den Ausgang findet (der KI-Weg). Wenn beide in der gleichen Zeit den Ausgang erreichen, sehen sie äußerlich identisch aus. Aber im Inneren sind sie völlig verschieden. Die Autoren argumenten, dass viele aktuelle Studien wie das Beobachten der Ziellinie sind, wobei man davon ausgeht, dass beide Läufer dieselbe Strategie verwendet haben. Sie warnen davor, dass nur weil eine KI menschliches Verhalten reproduzieren kann (wie das Lösen eines Matheproblems oder das Lernen eines Wortes), das nicht bedeutet, dass sie dieselbe mentale Maschinerie verwendet.
Das Paper hebt auch hervor, dass diese KI-Modelle auf riesigen Mengen an Text trainiert werden, während Menschen durch Interaktion mit der Welt lernen, mit Eltern sprechen und aufwachsen. Da ihre „Kindheit“ (das Training) so unterschiedlich ist, könnte die KI Muster lernen, die Menschen nie sehen, oder Muster verpassen, auf die Menschen angewiesen sind. Die Autoren schlagen vor, dass wir sehr vorsichtig sein müssen, wenn wir die Entwicklung der KI mit der menschlichen Entwicklung vergleichen, da die Wege, die sie dorthin führen, grundlegend verschieden sind.
Der Kern der Sache
Die Autoren sagen nicht, dass KI uns nicht etwas über den menschlichen Geist lehren kann. In der Tat halten sie diese Modelle für unglaublich vielversprechende Werkzeuge. Aber sie sagen, dass wir aufhören müssen, sie wie magische Boxen zu behandeln, die einfach nur „es richtig machen“. Stattdessen müssen wir sie wie wissenschaftliche Instrumente behandeln, die eine sorgfältige Kalibrierung erfordern.
Das Paper kommt zu dem Schluss, dass eine KI, um ein wahres Modell der menschlichen Kognition zu sein, mehr tun muss, als nur unsere Antworten nachzuahmen. Sie muss einen strengen Test bestehen, bei dem sie auf dieselbe Weise scheitert, wie wir es tun, auf dieselbe Weise erfolgreich ist, wie wir es sind, und auf dieselben internen „Begründungsschritten“ basiert, die wir verwenden. Erst wenn wir beweisen können, dass das „Gehirn“ der KI auf eine Weise arbeitet, die unseren Theorien darüber entspricht, wie unsere eigenen Gehirne funktionieren – durch diese vier sorgfältigen Schritte –, können wir sagen, dass wir echte wissenschaftliche Fortschritte machen. Bis dahin könnte die KI einfach nur ein sehr überzeugender Schauspieler sein, und wir müssen sicherstellen, dass wir uns nicht von der Performance täuschen lassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.