Small Foundation Models of Human Cognition and Behaviour
Diese Arbeit zeigt, dass kleine Foundation-Modelle, die auf menschlichen Verhaltensdaten feinabgestimmt wurden, zwar effektiv mit groß angelegten Baselines bei In-Distribution-psychologischen Aufgaben mithalten können, jedoch nur größere Modelle die Generalisierung auf neuartige Aufgabenstrukturen signifikant verbessern, wobei die Leistung stark von der Verarbeitung spezifischer Stimulus- und Feedbackinhalte als vielmehr nur der Auswahlhistorie abhängt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, wie ein Mensch zu denken. Jahrzehntelang haben Wissenschaftler winzige, handgefertigte „mentale Maschinen“ (wie ACT-R oder Soar) gebaut, die versuchen, exakt zu erklären, wie unser Gehirn Entscheidungen trifft, Schritt für Schritt. Aber diese Maschinen sind fragil; wenn man das Spiel leicht verändert, geht der Roboter kaputt. Vor kurzem übernahm eine neue Idee das Ruder: Anstatt eine mentale Maschine von Grund auf neu zu bauen, warum füttert man nicht einfach ein riesiges, superintelligentes Computergehirn (ein Large Language Model) mit Millionen von Beispielen echter Menschen, die Entscheidungen treffen? Wenn der Computer vorhersagen kann, was ein Mensch als Nächstes tun wird, hat er vielleicht die „Regeln“ des menschlichen Denkens gelernt. Dies ist die Welt der „kognitiven Proxys“ – KI-Modelle, die als Stellvertreter für den menschlichen Geist fungieren. Aber eine große Frage bleibt: Versteht dieses riesige Gehirn tatsächlich die Logik des Spiels oder ist es nur ein Meister des Musterabgleichs, der Abkürzungen auswendig lernt, wie ein Schüler, der nur den Lösungsschlüssel auswendig gelernt hat, ohne das Lehrbuch gelesen zu haben?
Dieses Paper mit dem Titel „Small Foundation Models of Human Cognition and Behaviour“ taucht tief in dieses Mysterium ein. Die Autoren, Nick Oh und Fernand Gobet, beschlossen zu testen, ob man wirklich ein massives, 70 Milliarden Parameter umfassendes „Riesen“-Gehirn braucht, um menschliches Verhalten nachzuahmen, oder ob ein viel kleineres, „taschengroßes“ Modell den Job erledigen könnte. Sie trainierten vierzehn verschiedene KI-Modelle, die von winzig (135 Millionen Parameter) bis groß (14 Milliarden) reichten, auf einem massiven Datensatz namens Psych-101, der über 10 Millionen Entscheidungen von Menschen aus 160 verschiedenen psychologischen Experimenten enthält.
Hier ist, was sie fanden, und es ist ein wenig wie ein Wendepunkt in einer Handlung. Erstens entdeckten sie, dass die Größe nicht so sehr eine Rolle spielt, wie man denkt, wenn man nur dieselben Arten von Spielen betrachtet, die die KI bereits gesehen hat. Ein winziges Modell mit nur 0,6 Milliarden Parametern konnte fast so gut abschneiden wie das massive 70-Milliarden-Parameter starke Riesenmodell, wenn es Entscheidungen in vertrauten Experimenten vorhersagte. Es ist wie ein kleiner, flinker Hund, der einen spezifischen Trick genauso schnell lernt wie eine riesige Deutsche Dogge. Sobald sie ihnen jedoch eine neue Art von Spiel präsentierten (Out-of-Distribution), spielte die Größe plötzlich wieder eine Rolle. Die größeren Modelle waren viel besser darin, die Regeln eines Spiels zu verstehen, das sie noch nie zuvor gesehen hatten, während die kleinen Modelle verwirrt waren.
Der spannendste Teil ist jedoch, wie diese Modelle lernen. Einige Kritiker befürchteten, dass diese KIs sich lediglich auf Scheinkorrelationen verlassen würden, indem sie die eigentlichen Spielregeln ignorieren und nur auf die Historie vergangener Entscheidungen schauen (wie beim Versuch, die nächste Karte in einem Deck vorherzusagen, indem man einfach nur zählt, was bereits gespielt wurde). Um dies zu testen, spielten die Autoren ein „Versteckspiel“ mit der Information. Sie entfernten systematisch Teile des Prompts: Sie versteckten die Anweisungen, sie verschwammen die Spielreize (die Bilder oder Zahlen), sie löschten das Feedback und sie veränderten die Reihenfolge der Durchgänge.
Die Ergebnisse waren dramatisch. Als sie die tatsächlichen Inhalte des Spiels verschwammen (die Reize und das Feedback), brach die Leistung der Modelle ein und fiel unter das Niveau, das man durch bloßes Raten erreichen würde. Dies beweist, dass die Modelle nicht nur eine Sequenz von Antworten auswendig lernen, sondern tatsächlich auf den Inhalt des Spiels achten. Darüber hinaus: Wenn sie die Reihenfolge der Durchgänge in einem Spiel vertauschten, in dem die Reihenfolge keine Rolle spielen sollte, war es den Modellen egal. Aber als sie die Reihenfolge in einem Spiel vertauschten, in dem die Reihenfolge wichtig war, wurden die Modelle verwirrt. Dies deutet darauf hin, dass die KI schlau genug ist zu wissen, wann die Abfolge der Ereignisse wichtig ist und wann nicht.
Kurz gesagt, diese kleinen, fein abgestimmten Modelle sind exzellente Schätzer für die „Noise Ceiling“ (Rauschdecke). Stellen Sie sich eine Rauschdecke als eine gläserne Decke vor, die angibt, wie gut wir menschliches Verhalten vorhersagen können. Wenn ein Modell diese Decke erreicht, bedeutet das, dass wir alle vorhersagbaren Muster in den Daten gefunden haben und alle verbleibenden Fehler lediglich zufälliges menschliches „Rauschen“ sind. Diese kleinen Modelle zeigen uns, dass wir diese Decke erreichen können, ohne einen Supercomputer zu benötigen, aber sie erinnern uns auch daran, dass diese Modelle nur so gut sind wie die Spiele, auf denen sie trainiert wurden. Sie sind brillant darin, menschliches Verhalten im Labor nachzuahmen, aber sie sind noch keine vollständige Theorie darüber, wie der menschliche Geist funktioniert – sie sind ein sehr genauer Spiegel, aber nicht die Person, die in ihn hineinschaut.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.