From Prompts to Constructs: A Dual-Validity Framework for Large Language Model Research in Psychology
Dieses Paper schlägt ein Dual-Validitäts-Framework für die Forschung an großen Sprachmodellen in der Psychologie vor, das die Anforderungen an die Evidenz von einfacher Reliabilität hin zu strenger Konstruktvalidität und kausaler Inferenz skaliert und somit „Messungsphantome“ verhindert, indem es sicherstellt, dass menschliche Instrumente nicht unkritisch auf KI angewendet werden, ohne deren Interpretierbarkeit und wissenschaftliche Rechtfertigung zu etablieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In den stillen Ecken der modernen Psychologie verlassen sich Forscher seit langem auf eine einfache, vertrauenswürdige Methode: Menschen Fragen zu stellen und zu beobachten, wie sie antworten. Sie verwenden sorgfältig konzipierte Umfragen und Tests, um unsichtbare Dinge wie Persönlichkeit, Angst oder moralische Urteilskraft zu messen. Diese Werkzeuge basieren auf der Annahme, dass wenn eine Person sagt: „Ich bin nervös“, sie ein echtes, inneres Gefühl berichtet. Doch es hat sich eine neue Grenze eröffnet, an der die antwortende Person kein Mensch ist, sondern ein großes Sprachmodell. Dies sind leistungsstarke Computerprogramme, die Geschichten schreiben, komplexe Anfragen beantworten und Gespräche führen können, die verblüffend menschlich wirken. Während Wissenschaftler beginnen, diese Maschinen zu untersuchen, um den menschlichen Geist zu erforschen – oder sogar die Maschinen selbst so zu untersuchen, als wären sie psychologische Wesen –, ist eine grundlegende Frage aufgetaucht. Können wir den Antworten vertrauen, die diese Computer geben? Wenn eine Maschine sagt, sie habe Angst, bedeutet das dasselbe wie wenn ein Mensch es sagt, oder ahmt der Computer lediglich den Klang von Angst nach, ohne sie zu fühlen?
Eine neue Rezension des Psychologen Zhicheng Lin von der Yonsei University geht dieser Unsicherheit direkt entgegen. Die Arbeit argumenttiert, dass viele aktuelle Studien einen gefährlichen Fehler begehen, indem sie Computer-Outputs so behandeln, als wären sie menschliche Antworten. Der Autor legt nahe, dass Forscher oft „Messungsphantome“ sehen – statistische Muster, die wie echte psychologische Merkmale aussehen, aber eigentlich nur Fehler darin sind, wie der Computer Wörter verarbeitet. Um dies zu beheben, schlägt Lin einen neuen Rahmen vor, der zwei verschiedene Denkweisen der Wissenschaft kombiniert: zu prüfen, ob ein Test zuverlässig ist, und zu prüfen, ob ein Experiment tatsächlich Ursache und Wirkung beweist. Die Kernerkenntnis ist, dass wir nicht einfach einen für Menschen entwickelten Test einem Computer übergeben können und erwarten können, dass die Ergebnisse dieselben sind. Stattdessen müssen wir neue Messmethoden entwickeln, die die einzigartige, mechanische Natur dieser digitalen Systeme respektieren.
Die Geschichte dieses Problems beginnt mit einer überraschenden Entdeckung darüber, wie fragil diese Computermodelle sein können. Forscher hatten künstliche Intelligenz bei moralischen Dilemmata getestet, etwa bei der Wahl zwischen der Rettung einer Person oder der Rettung von fünf Personen, und fanden, dass die Modelle scheinbar ethische Entscheidungen trafen, die sehr den menschlichen ähnelten. Sie schienen menschliches Leben gegenüber Tieren zu bevorzugen und die Rettung größerer Gruppen vorzuziehen. Ein genauerer Blick enthüllte jedoch, dass diese „moralischen Präferenzen“ unglaublich instabil waren. Wenn Forscher ein winziges Detail in der Frage änderten, wie etwa das Umbenennen der Optionen von „Fall 1“ und „Fall 2“ zu „(A)“ und „(B)“, kippte die gesamte moralische Haltung des Modells. Es bevorzugte plötzlich das gegenteilige Ergebnis. Auch das Ändern eines einzelnen Satzzeichens oder das Bitten des Modells, etwas anders zu antworten, konnte sein Urteil umkehren. Diese Sensibilität bedeutet, dass der Computer nicht notwendigerweise über ein ethisches Prinzip nachdenkt; er reagiert auf die spezifische Form der Wörter auf dem Bildschirm. Wenn sich eine Messung so drastisch aufgrund eines Kommas ändert, kann sie nicht darauf vertraut werden, ein stabiles Merkmal wie Moral zu messen.
Diese Instabilität erzeugt einen Welleneffekt, der das gesamte Feld der Nutzung von Computern für die psychologische Forschung untergräbt. Das Papier identifiziert drei Hauptquellen dieser Unzuverlässigkeit. Erstens kann der Trainingsprozess selbst Verzerrungen einführen. Diese Modelle werden mit massiven Mengen an Texten aus dem Internet trainiert, die viele menschliche Meinungen und Stereotypen enthalten. Wenn ein Modell einer Aussage konsistent zustimmt, liegt das vielleicht nicht daran, dass es diese Überzeugung hegt, sondern weil es versucht, dem Nutzer zu gefallen oder weil es Muster wiederholt, die es in seinen Trainingsdaten gesehen hat. Zweitens sind die Modelle hypersensibel gegenüber der Art und Weise, wie eine Frage gestellt wird. Die Reihenfolge der Wörter, die Abstände oder die verwendeten Bezeichnungen für Antworten können das Ergebnis komplett verändern. Drittens sind die Modelle über die Zeit hinweg instabil. Ein Modell mag heute eine konsistente Antwort geben, aber wenn die Software im nächsten Monat aktualisiert wird, könnte dieselbe Frage eine völlig andere Antwort liefern. Aufgrund dieser Probleme könnte ein Computer eine Persönlichkeit oder einen moralischen Kompass zu besitzen scheinen, aber dies sind oft nur flüchtige Muster in den Daten, keine echten psychologischen Merkmale.
Um voranzukommen, argumentiert das Paper, dass Forscher einen „Dual-Validitäts“-Rahmen annehmen müssen. Das bedeutet, dass sie zwei Sätzen von Regeln gleichzeitig gerecht werden müssen. Der erste Satz stammt aus der Tradition der psychologischen Testverfahren und fragt: „Misst dieser Test tatsächlich das, was er zu messen vorgibt?“ Für einen Computer erfordert dies den Beweis, dass seine Antworten konsistent sind und dass sie einen echten zugrunde liegenden Mechanismus widerspiegeln, nicht nur eine zufällige Reaktion auf den Prompt. Der zweite Satz von Regeln stammt aus der Tradition der kausalen Inferenz und fragt: „Hat unser Experiment tatsächlich die Veränderung verursacht, die wir gesehen haben?“ Wenn Forscher einen Prompt ändern, um zu sehen, wie er das Verhalten eines Modells beeinflusst, müssen sie sicherstellen, dass die Änderung, die sie vorgenommen haben, die einzige war, die sich geändert hat, und nicht eine verborgene technische Einstellung oder eine Verschiebung im internen Zustand des Modells.
Das Paper skizziert eine Leiter wissenschaftlicher Ambition und zeigt auf, dass je mehr wir über diese Maschinen behaupten, desto mehr Beweise wir benötigen. Auf der untersten Ebene, wenn ein Computer als einfaches Werkzeug zum Sortieren von Texten oder Zählen von Wörtern verwendet wird, muss lediglich die Genauigkeit des Werkzeugs gegeben sein. Wenn wir das Verhalten des Computers selbst beschreiben wollen, etwa indem wir sagen, er besitze eine „Persönlichkeit“, benötigen wir starke Beweise dafür, dass seine Antworten stabil und konsistent sind. Wenn wir den Computer nutzen wollen, um menschliches Verhalten zu simulieren, müssen wir zeigen, dass er in spezifischen, zuverlässigen Wegen mit menschlichen Daten übereinstimmt. Auf der höchsten Ebene, wenn wir behaupten wollen, dass die inneren Abläufe des Computers zeigen, wie der menschliche Geist funktioniert, benötigen wir den Beweis, dass der Computer einen Prozess nutzt, der dem menschlichen Gehirn ähnlich ist, und nicht nur eine ähnlich klingende Antwort produziert. Derzeit überspringen viele Studien die unteren Stufen dieser Leiter und springen direkt nach oben, indem sie tiefe Erkenntnisse behaupten, ohne zuerst die Grundlagen zu beweisen.
Der Autor schlägt vor, dass die Lösung nicht darin besteht, Computer dazu zu zwingen, wie Menschen zu handeln, sondern neue Konzepte zu entwickeln, die passen, was Computer tatsächlich sind. Anstatt zu fragen, ob eine Maschine Angst empfindet, sollten Forscher nach computationalen Mustern suchen, die wie Angst funktionieren, wie etwa ein System, das Zögern zeigt oder bei Unsicherheit eine negative Sprache verwendet. Dieser Perspektivwechsel erlaubt es Wissenschaftlern, die Maschine zu ihren eigenen Bedingungen zu studieren. Er erkennt an, dass ein Computer keinen Körper, keine Lebensgeschichte oder ein Selbst hat, aber dennoch Muster zeigen kann, die interessant und nützlich zu untersuchen sind. Durch den Aufbau dieser neuen, computerspezifischen Maße und durch eine rigorose Prüfung dessen, was die Daten beweisen können und was nicht, kann das Feld die Falle der Messungsphantome vermeiden. Das Ziel ist es, eine Sammlung statistischer Eigenheiten in eine echte Wissenschaft der Künstlichen Intelligenz zu verwandeln – eine, welche die einzigartige Natur der Maschinen respektiert, die sie untersucht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.