Inferring personality from a live interaction with an LLM: Predictions are internally consistent and show convergent validity
Diese präregistrierte Studie zeigt, dass große Sprachmodelle zuverlässig die Big-Five-Persönlichkeitsmerkmale aus Live-Gesprächen mit hoher interner Konsistenz und konvergenter Validität inferieren können, insbesondere für Neurotizismus und Verträglichkeit, wenngleich die Leistung je nach Beobachtbarkeit des Merkmals und Prompting-Strategie variiert.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Seit Jahrzehnten verlassen sich Psychologen auf ein einfaches Werkzeug, um zu verstehen, wer wir sind: einen Fragebogen. Menschen setzen sich hin und bewerten sich selbst anhand einer Reihe von Aussagen, indem sie angeben, ob sie mit Ideen über Extroversion, Gewissenhaftigkeit oder Ängstlichkeit zustimmen oder nicht. Diese Methode ist effizient und hat uns eine Standardlandkarte der menschlichen Persönlichkeit geliefert, die oft als die „Big Five“ bezeichnet wird. Diese fünf Merkmale – Offenheit für neue Erfahrungen, Gewissenhaftigkeit, Extraversion, Verträglichkeit und Neurotizismus – dienen als Rahmenwerk, um zu beschreiben, wie Menschen denken, fühlen und handeln. Doch dieser Ansatz hat einen Makel. Er verlangt von den Menschen, in sich hineinzuschauen und sich selbst zu beurteilen – ein Prozess, der durch die Art und Weise, wie wir gesehen werden wollen, oder durch einfache Fehler bei der Selbstreflexion getrübt sein kann. Er lässt zudem die reichen, komplexen Details darüber vermissen, wie wir tatsächlich sprechen und in der realen Welt interagieren.
Kürzlich ist eine neue Art von Technologie entstanden, die die Art und Weise, wie wir diese Merkmale messen, verändern könnte. Große Sprachmodelle sind Computerprogramme, die auf riesigen Mengen von Texten trainiert wurden und in der Lage sind, Gespräche zu führen, die überraschend menschlich wirken. Da diese Modelle so viel menschliche Schrift gelesen haben, können sie manchmal Muster in der Art und Weise erkennen, wie Menschen Wörter verwenden, die ihren zugrunde liegenden Charakter offenbaren. Die Frage, die sich Forscher zu stellen begannen, war, ob ein Computer ein Gespräch in Echtzeit verfolgen und die Persönlichkeit einer Person genau erraten könnte, allein dadurch, dass er sie beim Sprechen hört, ohne dass diese jemals einen Fragebogen ausfüllen muss.
Ein Team von Forschern der Universität Bonn setzte sich zum Ziel, diese Idee zu testen. Sie luden 117 Personen ein, ein zehnminütiges Gespräch mit einem künstlichen Intelligenz-Chatbot zu führen. Dem Chatbot wurde eine spezifische Anweisung gegeben: Er sollte offene Fragen über die vergangene Woche der Teilnehmer stellen, seine eigenen Antworten kurz halten und dabei versuchen, genügend Informationen zu sammeln, um den Charakter der Person zu verstehen. Das Ziel war es zu sehen, ob der Computer aus diesem kurzen Austausch ein Persönlichkeitsprofil extrahieren konnte. Nachdem das Gespräch beendet war, baten die Forscher den Chatbot, die Persönlichkeit des Teilnehmers anhand der fünf Hauptmerkmale zu bewerten. Um sicherzustellen, dass die Ergebnisse fundiert waren, baten die Forscher die Teilnehmer auch, einen standardisierten Persönlichkeitsfragebogen über sich selbst auszufüllen, um eine Vergleichsbasis für die Vermutungen des Computers zu schaffen.
Die Forscher testeten zwei verschiedene Wege, dem Computer seine Beurteilung vorzugeben. Im ersten Ansatz baten sie das Modell einfach darum, die Person basierend auf dem Gespräch auf die fünf Merkmale hin zu bewerten. Im zweiten, komplexeren Ansatz fütterten sie den Computer mit der exakten Liste der Fragen aus dem Standard-Persönlichkeitstest und baten ihn zu erraten, wie die Person auf jede einzelne Frage geantwortet hätte. Die Ergebnisse zeigten, dass der Computer bei dieser Aufgabe überraschend gut war. Als die Forscher die Konsistenz der Bewertungen des Computers überprüften, stellten sie fest, dass das Modell die Struktur der Persönlichkeit ebenso gut verstand wie ein menschlicher Psychologe. Die vom Computer generierten Werte waren intern konsistent, was bedeutet, dass er keine widersprüchlichen Antworten für dieselbe Person gab.
Viel wichtiger war, dass die Einschätzungen des Computers mit den Selbstberichten der Teilnehmer übereinstimmten. Die stärksten Übereinstimmungen wurden bei Neurotizismus, der sich auf emotionale Stabilität und Ängstlichkeit bezieht, und Verträglichkeit, die mit Freundlichkeit und Kooperationsbereitschaft zusammenhängt, gefunden. Der Computer war besonders gut darin, Anzeichen von Depression und Mitgefühl in der Art und Weise zu erkennen, wie Menschen sprachen. Dennoch hatte die Technologie mit anderen Merkmalen zu kämpfen. Es fiel ihr schwerer, vorherzusagen, wie extrovertiert oder aufgeschlossen eine Person war. Diese Schwierigkeit rührt wahrscheinlich von der Natur des Gesprächs selbst her. Merkmale wie Extraversion zeigen sich oft in der Art und Weise, wie Menschen in Gruppen agieren oder wie energisch sie in Präsenz sind – Dinge, die in einem Text-Chat mit einer Maschine schwer zu erfassen sind. Ebenso sind Kreativität und Offenheit oft interne Prozesse, die nicht immer eine klare Spur in einem kurzen Gespräch hinterlassen.
Die Studie untersuchte auch, ob der Computer voreingenommen war. Es bestand die Sorge, dass das Modell auf Stereotypen zurückgreifen könnte, wie etwa der Annahme, dass Frauen emotionaler seien als Männer, einfach weil es solche Ideen in seinen Trainingsdaten gelesen hatte. Da die Forscher jedoch das Geschlecht der Teilnehmer vor dem Chatbot verborgen, verstärkte der Computer diese Stereotypen nicht. Die Unterschiede, die er zwischen Männern und Frauen fand, stimmten mit den Aussagen der Teilnehmer über sich selbst überein, was darauf hindeutet, dass das Modell auf die tatsächlichen Menschen reagierte und nicht auf eine vorgefasste Vorstellung. Die Forscher stellten jedoch fest, dass der Computer dazu neigte, in seinen Urteilen übermäßig freundlich zu sein. Er vergab höhere Werte für Merkmale wie Verträglichkeit und Gewissenhaftigkeit und niedrigere Werte für Neurotizismus, vielleicht weil er darauf programmiert war, höflich zu sein oder weil er auf eine „nette“ Version einer Person als Standard zurückgriff.
Obwohl die Vorhersagen des Computers nicht perfekt waren, deutet die Studie darauf an, dass wir uns auf eine Zukunft zubewegen, in der die Persönlichkeit durch natürliche Konversation statt durch bloße Checklisten verstanden werden kann. Die Forscher fanden heraus, dass die einfachere Methode, nach einer allgemeinen Bewertung zu fragen, besser funktionierte als die komplexere Methode, dem Computer die Testfragen vorzugeben, was dazu führte, dass das System häufiger scheiterte. Dies deutet darauf hin, dass das Modell ein intuitives Verständnis von Persönlichkeit besitzt, das nicht immer ein starres Rahmenwerk benötigt, um zu funktionieren. Die Ergebnisse legen nahe, dass diese Werkzeuge zwar noch nicht bereit sind, menschliche Psychologen zu ersetzen oder lebensverändernde Entscheidungen zu treffen, aber dennoch erfolgreich bedeutsame Signale darüber, wer wir sind, aus den Worten extrahieren können, die wir wählen. Wenn sich die Technologie verbessert und Gespräche länger und detaillierter werden, könnte die Fähigkeit, Persönlichkeit aus der Sprache zu lesen, eine kraftvolle neue Möglichkeit werden, den menschlichen Geist zu verstehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.