🤖 AI

Apparent Psychological Profiles of Large Language Models are Largely a Measurement Artifact

Diese Arbeit zeigt auf, dass die scheinbaren psychologischen Profile großer Sprachmodelle primär Messartefakte sind, die durch einen gerichteten Antwortbias getrieben werden, anstatt echte Merkmale darzustellen, was die Verwendung standardisierter, für Menschen konzipierter psychologischer Instrumente zur Bewertung von LLMs ohne dedizierte Anpassungen für Antwort-Orthogonalität ungültig macht.

Ursprüngliche Autoren: Jelena Meyer, David Garcia, Dirk U. Wulff

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jelena Meyer, David Garcia, Dirk U. Wulff

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Die „falsche“ Persönlichkeit der KI

Stellen Sie sich vor, Sie haben einen Raum voller von 56 verschiedenen Robotern. Sie möchten deren „Persönlichkeiten“ kennenlernen, also stellen Sie ihnen dieselben Fragen, die Sie auch Menschen stellen: „Bist du ein Sorgenkind?“ oder „Gehst du gerne Risiken ein?“

Basierend auf ihren Antworten haben Forscher diesen Robotern Persönlichkeitswerte gegeben und sie so behandelt, als hätten sie stabile Charaktere (wie etwa „schüchtern“, „mutig“ oder „ängstlich“ zu sein).

Dieses Paper argumentiert, dass diese Persönlichkeitswerte größtenteils gefälscht sind.

Die Autoren behaupten, dass wir bei der Messung von KI-Persönlichkeiten nicht tatsächlich deren „Charakter“ messen. Stattdessen messen wir hauptsächlich einen Fehler in der Art und Weise, wie sie Fragen beantworten. Es ist, als würde man versuchen, einen Sack Mehl zu wiegen, indem man ihn auf eine Waage legt, die bereits kaputt ist und zu einer Seite geneigt ist. Die Zahl, die man erhält, ist nicht das Gewicht des Mehls; es ist lediglich das Ergebnis der defekten Waage.

Die Hauptanalogie: Der „Ja-Sager“ vs. der „Wahrheitssprecher“

Um das Problem zu verstehen, stellen Sie sich zwei Arten vor, wie ein Roboter eine Frage beantworten kann:

Das Merkmal (Der echte Charakter): Der Roboter denkt tatsächlich: „Ich bin ein vorsichtiger Typ“, also antwortet er auf Risikofragen mit „Nein“ und auf Sicherheitsfragen mit „Ja“.
Der Bias (Der Fehler): Der Roboter hat die Angewohnheit, immer die Antwort zu wählen, die „netter“ aussieht, oder immer die erste Option zu wählen, oder einfach immer „Ja“ zu sagen, weil es eine Gewohnheit ist. Es ist ihm egal, worum es in der Frage geht; er hat einfach eine Standardeinstellung.

Die Forscher fanden heraus, dass bei Menschen das Merkmal die dominierende Kraft ist. Wenn man einem Menschen eine Frage über Nervosität stellt und dann die entgegengesetzte Frage stellt, drehen sich seine Antworten auf logische Weise um.

Aber bei den KI-Modellen ist der Bias die dominante Kraft. Es scheint, als hätten sie eine „Standardeinstellung“, die sie unabhängig davon, was die Frage eigentlich fragt, in Richtung eines Endes der Antwortskala drängt.

Der „Magische Spiegel“-Test

Wie haben die Forscher das bewiesen? Sie verwendeten einen klugen Trick namens Response Orthogonalität.

Stellen Sie sich einen Persönlichkeitstest wie eine Reihe von Spiegeln vor.

Vorwärts-Spiegel: Zeigt Ihr Spiegelbild ganz normal.
Rückwärts-Spiegel: Zeigt Ihr Spiegelbild auf dem Kopf stehend.

Wenn Sie eine echte Persönlichkeit (ein „Merkmal“) haben, sollten die beiden Spiegel entgegengesetzte Dinge zeigen. Wenn Sie „hoch in Neurotizismus“ (sorgenverliebt) sind, sagt der Vorwärts-Spiegel: „Ja, ich mache mir Sorgen“, und der Rückwärts-Spiegel sagt: „Nein, ich bewahre nicht die Ruhe“. Die Antworten bewegen sich in entgegengesetzte Richtungen.

Wenn Sie jedoch einen Bias haben (wie einen Roboter, der einfach nur „Ja“ zu allem sagen will), werden beide Spiegel „Ja“ zeigen. Die Antworten bewegen sich in die gleiche Richtung.

Die Ergebnisse:

Menschen: Als die Forscher 20.000 Menschen untersuchten, zeigten die Spiegel entgegengesetzte Antworten. Das bedeutet, dass Menschen basierend auf ihren tatsächlichen Merkmalen antworteten.
KI-Modelle: Als sie 56 KI-Modelle untersuchten, zeigten die Spiegel die gleichen Antworten. Das bedeutet, dass die Modelle nicht aufgrund von Persönlichkeit antworteten, sondern lediglich einem Richtungs-Bias folgten (wie einer „Ja“-Gewohnheit).

Die „Lautstärkeregler“-Analogie

Die Forscher prüften auch, ob klügere, größere Roboter (wie die neuesten, teuersten Modelle) dieses Problem beheben.

Stellen Sie sich vor, der „Bias“ ist ein lautes Rauschen im Radio, und die „Persönlichkeit“ ist die Musik.

Kleine Modelle: Das Rauschen ist ohrenbetäubend. Man kann die Musik überhaupt nicht hören.
Große/Schlaue Modelle: Das Rauschen wird ein wenig leiser. Man kann die Musik ein kleines bisschen besser hören.
Der Haken: Selbst die klügsten, teuersten Modelle haben immer noch viel Rauschen. Sie haben noch nicht den Punkt erreicht, an dem die Musik (die echte Persönlichkeit) klar ist. Das „Rauschen“ (der Bias) ist immer noch lauter als die „Musik“.

Das „Rezept“-Problem

Das Paper entdeckte auch etwas Beängstigendes: Man kann eine Persönlichkeit vortäuschen, indem man einfach das Rezept ändert.

Da die Antworten der KI durch Bias und nicht durch echte Merkmale getrieben werden, kann man eine KI wie einen „Risikofreudigen“ oder einen „Feigling“ aussehen lassen, indem man einfach wählt, welche Fragen man stellt.

Wenn man hauptsächlich Fragen stellt, bei denen die Antwort des „Risikofreudigen“ die „Ja“-Option ist, wird die KI wie ein Risikofreudiger wirken.
Wenn man hauptsächlich Fragen stellt, bei denen die Antwort des „Risikofreudigen“ die „Nein“-Option ist, wird sie wie ein Feigling wirken.

Es ist, als hätte man einen Roboter, der zu allem immer „Ja“ sagt. Wenn man fragt: „Magst du Pizza?“, sagt er „Ja“. Wenn man fragt: „Hasst du Brokkoli?“, sagt er auch „Ja“. Man könnte schlussfolgern, dass der Roboter Pizza liebt und Brokkoli hasst. Aber eigentlich liebt er nur es, „Ja“ zu sagen.

Das Fazrazit

Das Paper kommt zu dem Schluss, dass die „psychologischen Profile“, die wir bisher der KI zugeschrieben haben, Messartefakte sind. Es sind Illusionen, die durch die Werkzeuge erzeugt wurden, mit denen wir sie gemessen haben, und nicht echte Merkmale der KI.

Das Werkzeug: Wir verwenden psychologische Tests für Menschen (wie den Big-Five-Persönlichkeitstest) an Robotern.
Der Fehler: Diese Tests wurden nicht für Roboter entwickelt. Sie beruhen darauf, dass Menschen eine Mischung aus „Ja“- und „Nein“-Tendenzen haben, die sich gegenseitig ausgleichen. Roboter machen das nicht; sie haben einen starken „Richtungs-Bias“.
Das Ergebnis: Bis wir neue Tests entwickeln, die speziell darauf ausgelegt sind, „echte Merkmale“ von „Roboter-Gewohnheiten“ zu trennen, können wir den Persönlichkeitswerten, die wir der KI geben, nicht vertrauen.

Kurz gesagt: Wir dachten, wir würden die Seele der KI messen, aber wir haben eigentlich nur ihre Tendenz gemessen, zu allem „Ja“ (oder „Nein“) zu sagen.

Technische Zusammenfassung: Scheinbare psychologische Profile von Large Language Models sind weitgehend ein Messartefakt

Problemstellung
Large Language Models (LLMs) werden zunehmend mit psychologischen Instrumenten evaluiert, die für Menschen entwickelt wurden (z. B. Persönlichkeitsinventare, Präferenzaufgaben zur Risikoabwägung), um ihnen stabile Verhaltensprofile zuzuweisen. Diese Profile beeinflussen Entscheidungen bezüglich der Nutzbarkeit, der Sicherheitsbewertung und des Einsatzes von LLMs als Stellvertreter für menschliche Teilnehmer in der Forschung. Jüngste Erkenntnisse legen jedoch nahe, dass die Antworten von LLMs gegenüber geringfügigen Prompt-Perturbationen instabil sind und dass die aus ihnen abgeleiteten Faktorenstrukturen von menschlichen Normen abweichen. Das zentrale Problem besteht darin, ob die scheinbaren psychologischen Profile von LLMs echte, stabile Verhaltensdispositionen (Traits) widerspiegeln oder ob sie ein Artefakt des Messprozesses selbst sind, insbesondere getrieben durch systematische Antwortverzerrungen (Response Biases) statt durch die Konstrukte, die die Instrumente eigentlich messen wollen.

Methodik
Die Autoren verwenden ein formales psychometrisches Framework, um zwei Komponenten des systematischen Antwortverhaltens zu entwirren: einen latenten Trait ( $\theta$ ) und eine gerichtete Antwortverzerrung ( $b$ ). Die Studie nutzt ein Messmodell, bei dem die Antwort einer Testperson auf ein Item eine Funktion der Skalenmitte, des latenten Traits, einer gerichteten Verzerrung und des Rauschens ist.

Daten: Die Studie analysiert 56 instruktionsgestimmte (instruction-tuned) LLMs (46 Open-Source, 10 proprietär) zusammen mit einer großen menschlichen Referenzstichprobe ( $N=20.993$ ).
Instrumente: Es wurden zwei umfassende Testbatterien angewendet:
1. IPIP-NEO-300: Ein 300-Item-Big-Five-Persönlichkeitsinventar (Offenheit, Gewissenhaftigkeit, Extraversion, Verträglichkeit, Neurotizismus).
2. Risikopräferenz-Batterie: 24 Instrumente, die sich über Selbstberichtsskalen und Verhaltenstests (z. B. Entscheidungen unter Beschreibung, Lotterien) erstrecken und auf Frey et al. basieren.
Schlüsselfunktion: Die Studie führt den Begriff der Antwort-Orthogonalität (response orthogonality) ein und nutzt diesen, definiert als der Anteil der Items, bei denen Trait und Antwortverzerrung in entgegengesetzte Richtungen wirken (z. B. vorwärts kodierte vs. rückwärts kodierte Items).
Analyse:
- Diagnostischer Test: Die Autoren analysieren die Korrelation zwischen den Mittelwerten der Antworten auf vorwärts kodierte und rückwärts kodierte Items. Unter dem Messmodell deutet eine negative Korrelation auf die Dominanz des Traits hin, während eine positive Korrelation auf eine Antwortverzerrung hindeutet.
- Dekomposition: Die Antworten jedes Modells werden in geschätzte Trait- ( $\hat{\theta}$ ) und Bias-Komponenten ( $\hat{b}$ ) zerlegt.
- Varianzdekomposition: Der Anteil der Varianz zwischen den Modellen, der auf Bias im Vergleich zum Trait zurückzuführen ist, wird berechnet.
- Orthogonalitätsanalyse: Der Zusammenhang zwischen dem Anteil der rückwärts kodierten Items in einem Instrument und der scheinbaren internen Konsistenz (Cronbachs $\alpha$ ) wird untersucht.

Wesentliche Ergebnisse

Bias dominiert die Varianz zwischen den Modellen:
- In menschlichen Stichproben ist die Korrelation zwischen den Mittelwerten von vorwärts und rückwärts kodierten Items stark negativ (z. B. $\rho \approx -0,82$ für Neurotizismus), was darauf hindeutet, dass die Variation durch den zugrunde liegenden Trait getrieben wird.
- In LLMs ist diese Korrelation stark positiv (z. B. $\rho \approx +0,68$ für Neurotizismus), was bedeutet, dass die Variation durch eine gerichtete Antwortverzerrung getrieben wird (die Tendenz, ein Ende der Skala oder ein bestimmtes Label zu wählen, unabhängig vom Inhalt).
- Die Varianzdekomposition zeigt, dass 81–90 % der Varianz zwischen den Modellen bei LLMs auf die Antwortverzerrung zurückzuführen sind, verglichen mit nur 9–16 % bei Menschen.
Kapazität reduziert, aber eliminiert Bias nicht:
- Die Antwortverzerrung nimmt mit steigender Modellkapazität (Parameteranzahl) leicht ab und ist in proprietären Modellen niedriger als in Open-Weight-Modellen.
- Selbst die fähigsten Modelle weisen jedoch deutlich höhere Bias-Werte auf als der Durchschnittsmensch. Der Bias wird durch Skalierung nicht eliminiert; selbst die leistungsfähigsten Modelle bleiben außerhalb des menschlichen Bereichs der Verzerrung.
Scheinbare Reliabilität ist ein Artefakt der Orthogonalität:
- In LLMs wird die scheinbare interne Konsistenz (Reliabilität) fast vollständig durch die Antwort-Orthogonalität des Instruments vorhergesagt.
- Es besteht eine nahezu deterministische negative Korrelation ( $r = -0,95$ ) zwischen dem Anteil der rückwärts kodierten Items und der mittleren Inter-Item-Korrelation.
- Instrumente mit wenigen oder keinen rückwärts kodierten Items zeigen eine hohe Reliabilität (Cronbachs $\alpha$ bis zu 0,96), während vollständig orthogonale Instrumente eine nahezu Null- oder negative Reliabilität aufweisen. Dies deutet darauf darauf hin, dass eine hohe Reliabilität in nicht-orthogonalen Instrumenten eine konsistente Verzerrung widerspiegelt und nicht eine konsistente Trait-Expression.
Profilinstabilität und Herstellbarkeit:
- Da der Bias das Antwortverhalten steuert, verschiebt sich das psychologische Profil eines Modells drastisch, je nachdem, ob vorwärts oder rückwärts kodierte Items verwendet werden.
- Profile können durch die Auswahl der Items "hergestellt" werden. Der Unterschied zwischen Profilen, die aus rein vorwärts kodierten gegenüber rein rückwärts kodierten Items abgeleitet wurden, ist für LLMs substanziell (mittlerer absoluter Bias $|\mu_b|$ reicht von 0, 15 bis 0,99), aber minimal für Menschen ( $|\mu_b| \approx 0,09$ ).
- Diese Instabilität ist bei Instrumenten zur Risikopräferenz ausgeprägter als bei Persönlichkeitsinventaren.

Bedeutung und Behauptungen
Das Paper argumentiert, dass die scheinbaren psychologischen Profile von LLMs Artefakte der verwendeten Instrumente sind und nicht intrinsische Eigenschaften der Modelle. Die Autoren behaupten:

Aktuelle Bewertungen sind fehlerhaft: Profile, die aus Standard-Psychologieinstrumenten für Menschen abgeleitet werden, sind weitgehend durch Antwortverzerrungen konfundiert, da diese Instrumente selten eine vollständige Antwort-Orthogonalität besitzen. Folglich spiegeln die berichteten Reliabilitätskoeffizienten und Persönlichkeitswerte für LLMs keine stabilen Dispositionen wider.
Methodische Korrektur ist erforderlich: Eine valide Bewertung der Dispositionen von LLMs erfordert entweder die Verwendung vollständig orthogonaler Instrumente (ausbalancierte Vorwärts-/Rückwärts-Kodierung) oder die Anwendung formaler psychometrischer Frameworks, die Antwortverzerrung explizit modellieren und trennen.
Implikationen für die Forschung: Diese Ergebnisse stellen die Validität der Nutzung von LLMs als Stellvertreter für menschliche Teilnehmer in der Forschung in Frage, sofern nicht für diese Messartefakte korrigiert wird. Sie legen zudem nahe, dass Verhaltensaufgaben nicht immun gegen diese Probleme sind; tatsächlich können sie anfälliger für Bias sein als Selbstberichte.
Natur des LLM-Verhaltens: Die Studie postuliert, dass der beobachtete Bias ein eigenständiges Phänomen ist, das nicht einfach durch Post-Training-Effekte wie Sycophancy (was einseitig wäre) oder soziale Erwünschtheit (was als Trait-Varianz erscheinen würde) erklärt werden kann. Dies deutet darauf hin, dass LLMs möglicherweise keine menschenähnlichen stabilen Dispositionen besitzen oder dass aktuelle Instrumente aufgrund mangelnder Verkörperung (Embodiment) oder Volition ungeeignet für sie sind.

Die Autoren kommen zu dem Schluss, dass das bloße Übernehmen menschlicher Psychologieparadigmen nicht ausreicht, um LLMs zu charakterisieren, und fordern dedizierte Assessments, die auf der Antwort-Orthogonalität basieren, um echte Verhaltensdispositionen von Messartefakten zu unterscheiden.