💻 computer science

A Survey of Large Language Models for Perception and Measurement of Human Psychology

Dieses Paper präsentiert eine systematische Übersicht über Large Language Models als Instrumente für die psychologische Messung durch den Menschen und schlägt ein dreidimensionales Framework vor, um deren theoretische Plausibilität, methodische Ansätze und praktische Effektivität bei der Bewertung von Konstrukten wie Persönlichkeit und psychischer Gesundheit zu analysieren.

Ursprüngliche Autoren: Yudong Li, Xiaoyi Chen, Jiawei Cai, Zehao Zhong, Haoyang Yang, Huajin Tang, Linlin Shen

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yudong Li, Xiaoyi Chen, Jiawei Cai, Zehao Zhong, Haoyang Yang, Huajin Tang, Linlin Shen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten diesen superintelligenten, unglaublich belesenen Roboter-Bibliothekar. Dieser Bibliothekar hat fast jedes Buch, jeden Artikel und jeden Tweet gelesen, der jemals geschrieben wurde. Und nun stellen Sie sich vor, Sie möchten diesen Bibliothekar nutzen, um den menschlichen Geist zu verstehen – also speziell, um die Persönlichkeit, die Stimmung oder die psychische Gesundheit eines Menschen zu bestimmen, allein durch das Lesen dessen, was er schreibt.

Dieses Paper ist eine große Übersicht über diese Idee. Es stellt die Frage: Kann dieser Roboter-Bibliothekar tatsächlich eine gute Arbeit leisten, wenn es darum geht, die menschliche Psychologie zu messen?

Hier ist eine Aufschlüsselung dessen, was das Paper sagt, unter Verwendung einfacher Analogien:

1. Die große Frage: Ist der Bibliothekar „echt“?

Bevor wir den Roboter uns messen lassen, müssen wir fragen: Versteht der Roboter uns wirklich, oder ist er nur ein Meister der Mimikry?

Die Debatte: Einige Leute denken, der Roboter sei nur ein „statistischer Papagei“. Er hat keine Gefühle oder eine Seele; er sagt einfach nur das nächste Wort basierend auf Mustern voraus, die er in seinen Trainingsdaten gesehen hat.
Die Evidenz: Das Paper zeigt jedoch, dass der Roboter oft richtig liegt, wenn man ihm einen „Theory of Mind“-Test gibt (wie zum Beispiel die Frage, was eine Figur in einer Geschichte gerade denkt). Er schneidet dabei so gut ab wie ein 6- bis 9-jähriges Kind oder sogar ein Erwachsener.
Das Urteil: Der Roboter hat ein „funktionales“ Verständnis entwickelt. Er agiert so, als würde er menschliche Gedanken verstehen, auch wenn wir nicht wissen, wie er das macht. Dies macht ihn zu einem vielversprechenden Werkzeug, aber wir sollten ihn noch nicht wie einen Menschen behanden.

2. Wie nutzen wir den Roboter? (Die drei Werkzeuge)

Das Paper ordnet die Wege, wie Forscher diese Modelle einsetzen, in drei Haupt-„Werkzeugen“:

Werkzeug A: Der aktive Interviewer (Der Chatbot)
- Wie es funktioniert: Der Roboter stellt Ihnen Fragen, genau wie ein Therapeut oder ein Jobinterviewer. Er kann Rückfragen stellen, wenn Ihre Antwort vage ist.
- Die Analogie: Denken Sie an einen sehr schnellen, unermüdlichen Interviewer, der mit tausenden Menschen gleichzeitig sprechen kann. Er nutzt „Prompts“ (Anweisungen), um zu entscheiden, was er als Nächstes fragt.
Werkzeug B: Der passive Beobachter (Der Social-Media-Stalker)
- Wie es funktioniert: Der Roboter liest Dinge, die Sie bereits geschrieben haben – wie Ihr Tagebuch, Tweets oder Facebook-Posts – ohne dass Sie direkt mit ihm sprechen.
- Die Analogie: Stellen Sie sich einen Detektiv vor, der Ihre alten Briefe liest, um Ihren Charakter zu entschlülüsseln. Er sucht nach verborgenen Mustern in Ihrer Wortwahl, um zu erraten, ob Sie glücklich, traurig oder gestresst sind.
Werkzeug C: Der multisensorische Detektiv (Die Fusion)
- Wie es funktioniert: Der Roboter liest nicht nur Text; er betrachtet Bilder, hört Tonaufnahmen und prüft Herzfrequenzdaten gleichzeitig.
- Die Analogie: Das ist wie ein Arzt, der gleichzeitig auf Ihre Stimme hört, Ihr Gesicht betrachtet und Ihre Krankenakte liest, um das Gesamtbild zu erhalten, anstatt nur ein Formular zu lesen.

3. Was hat der Roboter bisher gemessen?

Das Paper überprüft, wo diese Technologie getestet wurde:

Persönlichkeit: Der Roboter wird ziemlich gut darin, die „Big Five“-Persönlichkeitsmerkmale (wie ob Sie extrovertiert oder schüchtern sind) aus Ihren Texten zu erraten. In einigen Tests stimmen seine Vermutungen recht gut mit dem überein, was Menschen über sich selbst aussagen.
Psychische Gesundheit: Er kann Anzeichen von Depressionen, Angstzuständen oder sogar Suizidgedanken in Texten erkennen. Er wird zu einem nützlichen „Frühwarnsystem“, das Menschen melden kann, die Hilfe benötigen könnten.
Das „Virtuelle Subjekt“: Interessanterweise nutzen Forscher den Roboter auch, um Menschen zu simulieren. Sie sagen dem Roboter: „Verhalte dich wie eine 30-jährige Frau, die gestresst ist“, und der Roboter generiert daraufhin Antworten. Dies hilft Wissenschaftlern, Experimente durchzuführen, ohne echte menschliche Probanden zu benötigen, was Zeit und Geld spart.

4. Der Haken: Warum wir ihm noch nicht vertrauen können

Das Paper weist sehr vorsichtig darauf hin, dass der Roboter zwar beeindruckend ist, aber noch nicht bereit ist, menschliche Ärzte oder Psychologen zu ersetzen. Hier sind die großen Probleme:

Das „Wankelmütige-Freund“-Problem (Zuverlässigkeit): Wenn Sie dem Roboter dieselbe Frage zweimal stellen, liefert er Ihnen vielleicht zwei verschiedene Antworten. Er reagiert empfindlich darauf, wie Sie eine Frage formulieren. Eine winzige Änderung in der Formulierung kann das Ergebnis komplett verändern. Das ist schlecht für medizinische Tests, die konsistent sein müssen.
Das „Halluzinations“-Problem: Manchmal erfindet der Roboter Dinge. Er kann zwar selbstbewusst und logisch klingen, aber er könnte Fakten erfinden oder eine Krise falsch interpretieren. In einem psychologischen Kontext könnte eine falsche Einschätzung gefährlich sein.
Das „Bias“-Problem (Voreingenommenheit): Der Roboter hat hauptsächlich aus englischsprachigen, westlichen Internetdaten gelernt. Wenn man ihn bei jemandem aus einer anderen Kultur oder einem anderen Hintergrund einsetzt, könnte er ihn missverstehen oder unfair beurteilen, weil er den kulturellen Kontext nicht „begreift“.
Das „Black Box“-Problem: Wenn ein menschlicher Arzt eine Diagnose stellt, kann er seine Begründung erklären. Wenn der Roboter eine Vermutung anstellt, ist es oft schwer nachzuvollziehen, warum er sich so entschieden hat. Ärzte müssen das „Warum“ wissen, um dem Ergebnis zu vertrauen.

5. Das Fazit

Das Paper kommt zu dem Schluss, dass Large Language Models wie mächtige, hochtechnisierte Assistenten sind, nicht wie Ersatz für menschliche Experten.

Wofür sie gut sind: Sie sind schnell, relativ günstig und können riesige Mengen an Daten verarbeiten. Sie eignen sich hervorragend, um große Gruppen von Menschen zu screenen oder Forschern dabei zu helfen, Experimente durchzuführen.
Wofür sie schlecht sind: Sie sind nicht stabil genug, nicht transparent genug und nicht kulturell sensibel genug, um alleine lebenswichtige medizinische Entscheidungen zu treffen.

Die abschließende Analogie:
Betrachten Sie den Roboter als einen sehr talentierten Assistenzarzt. Er hat alle Lehrbücher gelesen und kann Symptome schnell erkennen. Aber es fehlt ihm die Erfahrung, die Beständigkeit und das ethische Urteilsvermögen eines Oberarztes. Für den Moment sollte der Roboter dazu genutzt werden, dem Oberarzt bei seiner Arbeit zu helfen, und nicht, um den Job des Arztes komplett zu übernehmen.

Technisches Resümee: Eine Übersicht über Large Language Models zur Wahrnehmung und Messung der menschlichen Psychologie

1. Problemstellung

Der rasante Fortschritt von Large Language Models (LLMs) hat erhebliches Interesse an deren Anwendung auf die Psychologie geweckt. Es besteht jedoch eine zentrale und ungelöste Frage: Können LLMs komplexe, latente menschliche psychologische Konstrukte (z. B. Persönlichkeitsmerkmale, emotionale Zustände, kognitive Stile) mit der für wissenschaftliche oder klinische Zwecke erforderlichen Zuverlässigkeit und Validität wahrnehmen und messen?

Obwohl LLMs die Fähigkeit zur Generierung menschenähnlicher Texte und zur Ausführung von Aufgaben besitzen, die der menschlichen Kognition ähneln, bleibt ihr Status als „echte Verstehende“ versus „hochentwickelte statistische Imitatoren“ umstritten. Bestehende Übersichtsarbeiten konzentrieren sich oft auf die „Psychologie von LLMs“ (die Bewertung der Modelle selbst hinsichtlich ihrer Eigenschaften) oder auf allgemeine Anwendungen. Es mangelt an systematischen Reviews, die LLMs spezifisch als psychometrische Instrumente zur Messung der menschlichen Psychologie analysieren und dabei die theoretische Plausibilität, methodische Rahmenbedingungen und die praktische Effektivität solcher Messungen adressieren.

2. Methodik

Diese Arbeit bietet einen systematischen Review, der um ein umfassendes analytisches Framework organisiert ist, welches auf drei kritischen Dimensionen basiert:

Theoretische Plausibilität (Warum eine Messung möglich sein könnte): Die Autoren untersuchen, ob LLMs über die notwendigen kognitiven Eigenschaften für die psychologische Messung verfügen. Dies beinhaltet die Analyse von:
- Theory of Mind (ToM): Untersuchung, ob LLMs die mentalen Zustände anderer (Überzeugungen, Gefühle) inferieren können, unter Verwendung von Benchmarks wie dem False Belief Task oder dem Strange Stories Test.
- Virtuelle Subjekte: Evaluierung der Fähigkeit von LLMs, spezifische psychologische Profile (z. B. Demografien, Persönlichkeitsmerkmale) zu simulieren, um als „Silizium-Stichproben“ für die Forschung zu dienen.
Messmethodik (Wie zu messen ist): Die Arbeit kategorisiert bestehende Paradigmen zur Operationalisierung LLM-basierter Beurteilungen:
- Aktive und konversationelle Beurteilung: Interaktive Dialoge, in denen LLMs als Interviewer oder Berater fungieren (z. B. durch Einsatz von Chain-of-Thought-Prompting oder agentenbasierten Architekturen).
- Passive natürliche Sprachanalyse: Inferenz von Zuständen aus unstrukturiertem Text (Social Media, Tagebücher) ohne aktive Interaktion.
- Multimodale Fusionsbeurteilung: Integration von Text mit Sprache, Mimik und physiologischen Signalen, um eine klinische Mehrkanal-Wahrnehmung nachzuahmen.
Anwendungseffektivität (Was gemessen wurde): Der Review synthetisiert Evidenzen aus zwei Kernbereichen:
- Beurteilung von Persönlichkeitsmerkmalen: Abdeckung von Frameworks wie den Big Five, MBTI und HEXACO sowie komplexen Störungen (z. B. Dunkle Triade).
- Bewertung der psychischen Gesundheit: Einschließlich automatisierter Detektion von Depression/Angst, Emotionsanalyse und Krisen-Alarmsystemen.

Die Autoren evaluieren zudem technische Herausforderungen (Zuverlässigkeit, Stabilität, Rechenkosten) und ethische Erwägungen (Sicherheit, Datenschutz, Bias, regulatorische Beschränkungen).

3. Zentrale Beiträge

Ein vereinheitlichtes analytisches Framework: Die Arbeit schlägt eine strukturierte Taxonomie (Theoretische Plausibilität, Methodik, Effektivität) vor, um die fragmentierte Landschaft der LLM-basierten psychologischen Messung zu ordnen.
Differenzierung der Forschungssettings: Sie klärt die konzeptionellen Unterschiede zwischen: (1) der Nutzung von LLMs zur Messung von Menschen, (2) der Nutzung von LLMs zur Simulation von Menschen und (3) der Messung der LLMs selbst, und argumentiert, dass diese unterschiedliche Evaluationsstandards erfordern.
Umfassende Übersicht der Paradigmen: Sie detailliert spezifische technische Ansätze, einschließlich Prompting-Strategien (Zero-shot, Few-shot, Chain-of-Thought), Modelladaption (Instruction Tuning, Fine-Tuning) und agentenbasierter Architekturen (z. B. PsyChat, CaiTI).
Kritische Lückenanalyse: Der Review stellt fest, dass LLMs zwar in spezifischen Aufgaben vielversprechend sind, ihnen jedoch die Test-Retest-Reliabilität (oft unter dem für hochsensiblen Entscheidungen erforderlichen Schwellenwert von 0,70) und die Interpretierbarkeit traditioneller psychometrischer Instrumente fehlt. Er hebt hervor, dass viele Studien auf englischsprachigen, westlich zentrierten Daten basieren, was die kulturübergreifende Validität einschränkt.
Zusammenstellung von Datensätzen und Benchmarks: Die Arbeit aggregiert und summiert wichtige Datensätze, die in verschiedenen Paradigmen verwendet werden (z. B. PsyQA, PANDORA, E-DAIC, CMACD), und verfolgt Performance-Trends im Zeitverlauf.

4. Ergebnisse und Erkenntnisse

Theoretische Basis: Die Evidenz deutet daraufب hin, dass LLMs funktionale ToM-Fähigkeiten aufweisen und in strukturierten Benchmarks vergleichbare Leistungen wie Kinder oder Erwachsene erbringen (z. B. erreicht GPT-4 eine Genauigkeit von 93 % bei False-Belief-Aufgaben). Diese Fähigkeiten sind jedoch oft kontextabhängig und unter adversen Bedingungen fragil.
Messleistung:
- Persönlichkeit: LLMs zeigen moderate bis starke Korrelationen mit Selbstbericht-Maßen für Big-Five-Merkmale (z. B. $r \approx 0,443$ in einigen Studien). Instruction Tuning und Chain-of-Thought-Prompting verbessern die Stabilität und Interpretierbarkeit.
- Psychische Gesundheit: LLMs demonstrieren eine Leistung, die vergleichbar mit überwachten Baselines bei der Erkennung von Depressionen und Angstzuständen ist, insbesondere wenn sie feinabgestimmt wurden oder in mehrstufigen Pipelines eingesetzt werden.
- Limitierungen: LLMs leiden unter Prompt-Sensitivität (geringe Änderungen in der Formulierung verändern die Ergebnisse signifikant) und temporaler Instabilität (inkonsistente Ergebnisse bei wiederholten Messungen). Zudem zeigen sie Biases hin zu sozial erwünschten Antworten und haben Schwierigkeiten mit invers gedrehten Fragebogen-Items.
Vergleichende Analyse: Traditionelle Methoden behalten überlegene Vorteile in Bezug auf Reliabilität, Interpretierbarkeit und etablierte psychometrische Validierung. LLM-basierte Methoden zeichnen sich durch Automatisierung, Skalierbarkeit und Kosteneffizienz aus (obwohl die API-Kosten für großflächige Implementierungen hoch bleiben).
Ethischer und regulatorischer Status: Bisher hat kein LLM-basiertes psychologisches Beurteilungsinstrument eine formale regulatorische Zulassung (z. B. FDA) für den klinischen Einsatz erhalten. Erhebliche Bedenken bestehen weiterhin hinsichtlich des Datenschutzes, des algorithmischen Bias (WEIRD-Populationen) und der potenziellen Störung der therapeutischen Allianz.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass LLMs als Hilfsinstrumente betrachtet werden sollten, um traditionelle psychometrische Werkzeuge und das klinische Urteilsvermögen zu ergänzen, statt sie zu ersetzen.

Aktueller Stand: LLMs sind noch nicht zuverlässige Ersatz für menschlich durchgeführte Beurteilungen in Hochrisiko-Kontexten (z. B. klinische Diagnose) aufgrund unzureichender Reliabilität und Interpretierbarkeit.
Zukünftiges Potenzial: Der vielversprechendste Weg liegt in Hybridsystemen, die die LLM-gesteuerte Automatisierung mit der Stringenz validierter Beurteilungsrahmen kombinieren.
Appell zum Handeln: Die Autoren betonen die Notwendigkeit von:
- Strenger psychometrischer Validierung (mit Fokus auf Test-Retest-Reliabilität und kulturübergreifender Invarianz).
- Entwicklung robuster, interpretierbarer und datenschutzfreundlicher Deployment-Frameworks.
- Zusammenarbeit zwischen Psychologen, Informatikern und Ethikern, um Standards für eine verantwortungsvolle Nutzung zu etablieren.

Die Arbeit kommt zu dem Schluss, dass LLMs zwar ein transformatives Potenzial für die Skalierung der psychologischen Forschung und das Screening bieten, ihre Integration in die klinische Praxis jedoch erhebliche technische und ethische Hürden überwinden müssen, bevor sie als sichere und effektive eigenständige Werkzeuge gelten können.