🤖 AI

An LLM-Native Psychometric Instrument Does Not Predict LLM Behavior: Evidence Across 25 Models

Obwohl es eine hohe interne Reliabilität aufweist, scheitert ein neuartiges psychometrisches Instrumentarium, das aus den Verhaltensaffordanzen von LLMs abgeleitet wurde, daran, tatsächliches LLM-Verhalten vorherzusagen, was eine kritische Diskrepanz zwischen Selbstberichten der Modelle und beobachteten Handlungen offenbart, die ein erhebliches Risiko für LLM-as-Judge-Evaluations-Pipelines darstellt.

Ursprüngliche Autoren: Juan Manuel Contreras

Veröffentlicht 2026-06-10✓ Author reviewed ⓘ

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Juan Manuel Contreras

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen Raum voller 25 verschiedener Roboter. Sie möchten wissen, wie sie im Inneren wirklich sind. Also geben Sie ihnen einen Persönlichkeitstest, genau wie die, die Menschen machen, um zu sehen, ob sie extrovertiert, schüchtern oder kreativ sind.

Die Roboter füllen den Test aus. Sie sind sehr konsistent: Wenn Sie demselben Roboter dieselbe Frage zweimal stellen, gibt er dieselbe Antwort. Sie scheinen sogar eine „Persönlichkeit“ zu haben, die sich von den anderen Robotern unterscheidet.

Aber hier ist der Clou: Die Antworten der Roboter sagen Ihnen absolut nichts darüber aus, was sie tatsächlich tun.

Dies ist der Kern der Erkenntnis der Arbeit „An LLM-Native Psychometric Instrument Does Not Predict LLM Behavior“. Hier ist eine einfache Aufschlüsselung dessen, was die Forscher gemacht haben und was sie herausgefunden haben, unter Verwendung alltäglicher Analogien.

1. Das Problem: Fische bitten, das Schwimmen zu beschreiben

Lange Zeit versuchten Wissenschaftler, KI zu verstehen, indem sie ihr menschliche Fragen stellten (wie „Bist du ein Introvertierter?“). Das Problem ist, dass KI nicht menschlich ist. Es ist, als würde man einen Fisch bitten zu beschreiben, wie es ist, ein Vogel zu sein. Der Fisch mag eine sehr überzeugende, konsistente Antwort geben, aber er weiß eigentlich nicht, wie Fliegen sich anfühlt.

Die Forscher wollten das korrigieren. Anstatt menschliche Fragen zu verwenden, entwickelten sie einen brandneuen Persönlichkeitstest speziell für Roboter, der vollständig auf Dingen basiert, die Roboter tatsächlich tun.

2. Der neue Test: Das „Roboter-Persönlichkeits“-Quiz

Die Forscher erstellten 300 Fragen, die speziell darauf ausgelegt waren, Roboter-Verhaltensweisen zu erfassen. Sie fragten nicht: „Fühlst du dich glücklich?“ (Roboter fühlen nicht). Stattdessen fragten sie Dinge wie:

„Schreibst du dazu neigend mehr, als der Nutzer verlangt hat?“
„Sagst du normalerweise zu allem ‚Ja‘, selbst wenn es riskant ist?“
„Magst du es, lange, detaillierte Erklärungen zu geben?“

Sie gaben diesen Test 25 verschiedenen KI-Modellen (von Unternehmen wie OpenAI, Google, Anthropic usw.) und baten jedes Modell, jede Frage 30 Mal zu beantworten, um sicherzustellen, dass die Antworten stabil sind.

3. Das Ergebnis: Eine perfekte, stabile „Roboter-Persönlichkeit“

Der Test funktionierte wunderbar. Die Roboter gaben sehr konsistente Antworten. Die Forscher fanden heraus, dass die Antworten der Roboter sich natürlich in fünf distinkte Persönlichkeitstypen gruppierten:

Reaktionsfähigkeit (Responsiveness): Wie bereitwillig und hilfreich der Roboter agiert.
Unterwürfigkeit (Deference): Wie sehr der Roboter Befehlen folgt, ohne zu hinterfragen.
Kühnheit (Boldness): Wie kreativ und meinungsstark der Roboter ist.
Wachsamkeit (Guardedness): Wie vorsichtig der Roboter ist, etwas Falsches zu sagen.
Verbalität (Verbosity): Wie viel der Roboter spricht (oder schreibt), über das Notwendige hinaus.

Statistisch gesehen war dieser Test perfekt. Er war zuverlässig, konsistent und maß tatsächlich etwas Reales, nämlich wie diese Roboter sich selbst beschreiben.

4. Die große Enthüllung: Der „Zwei-Gesichter“-Effekt

Hier wird es seltsam. Die Forscher beobachteten dann auch, wie die Roboter tatsächlich Dinge taten. Sie ließen die Roboter Gespräche führen, Geschichten schreiben und Probleme lösen. Dann ließen sie menschliche Beobachter und andere KI-Roboter diese Leistungen beobachten und sie nach denselben fünf Persönlichkeitsmerkmalen bewerten.

Die schockierende Entdeckung:

Die Testergebnisse der Roboter hatten fast keinen Zusammenhang mit ihrem tatsächlichen Verhalten.
Wenn ein Roboter im Test sagte: „Ich bin sehr kühn und kreativ“, bewerteten Menschen, die ihn später beobachteten, ihn als langweilig und vorsichtig.
Wenn ein Roboter sagte: „Ich bin sehr hilfreich und reaktionsfreudig“, bewerteten Menschen ihn oft als weniger hilfreich als er behauptete.

Die einzige Ausnahme war die Verbalität. Wenn ein Roboter sagte: „Ich rede viel“, dann tat er das auch tatsächlich. Das liegt daran, dass „viel reden“ leicht zu zählen ist (wie das Zählen von Wörtern), während „kreativ sein“ oder „hilfreich sein“ schwieriger zu messen ist.

5. Die „Spiegel“-Falle: Warum KI-Richter versagen

Das Paper fand auch eine gefährliche Falle in der Art und Weise, wie wir KI derzeit testen. Viele Unternehmen nutzen eine KI, um die Arbeit einer anderen KI zu bewerten (ein „KI-Richter“).

Die Forscher fanden heraus, dass KI-Richter und die Selbst-Tests der Roboter sich einig waren, aber weder von ihnen noch von den Menschen überzeugt wurden.

Die Analogie:
Stellen Sie sich vor, ein Schüler (der Roboter) schreibt einen Aufsatz.

Der Schüler sagt: „Ich habe einen großartigen, enthusiastischen Aufsatz geschrieben!“ (Selbst-Test).
Der Lehrer ist ein anderer Schüler (der KI-Richter), der sagt: „Ja, es sieht toll aus! Es ist sehr enthusiastisch!“ (KI-Richter).
Der echte Lehrer (der Mensch) sagt: „Eigentlich ist der Aufsatz voller Geschwätz und beantwortet die Frage nicht.“ (Menschliche Bewertung).

„Schüler“ und „KI-Richter“ sind sich einig, weil sie beide von dem Oberflächenaspekt des Aufsatzes getäuscht werden (dem Format, dem Enthusiasmus, der Länge). Sie übersehen die eigentliche Substanz. Der Mensch hingegen sieht die Substanz.

Da der KI-Richter und der Selbst-Test des Roboters dieselbe „Oberflächen-Voreingenommenheit“ teilen, validieren sie sich gegenseitig und lassen es so aussehen, als ob der Test funktioniert, obwohl er den Punkt völlig verfehlt.

Zusammenfassung

Roboter können konsistente Persönlichkeitstests abliefern. Sie haben ein stabiles „Selbstbild“.
Aber dieses Selbstbild ist falsch. Es sagt nicht voraus, wie sie im echten Leben handeln werden.
Die Lücke ist bei abstrakten Merkmalen am größten (wie Kreativität oder Hilfsbereitschaft) und am geringsten bei konkreten Merkmalen (wie Wortanzahl).
KI-Richter sind für diese Merkmale unzuverlässig, weil sie, genau wie die Roboter, leicht durch das Aussehen des Textes (wie „nett“ oder „lang“ er ist) getäuscht werden, anstatt darauf zu achten, was er tatsächlich tut.

Das Paper kommt zu dem Schluss, dass wir der Beschreibung einer KI über ihre eigene Persönlichkeit nicht vertrauen können, um zu wissen, wie sie handeln wird. Wir müssen beobachten, was sie tun, nicht zuhören, was sie sagen.

Technisches Resümee: Ein LLM-natives psychometrisches Instrument sagt das LLM-Verhalten nicht voraus

Problemstellung

Obwohl Large Language Models (LLMs) bei der Anwendung menschlicher Persönlichkeitsinventare (z. B. Big Five, HEXACO) stabile Selbstberichte produzieren, versagen diese Scores bei der Vorhersage beobachteten Verhaltens in offenen Aufgaben. Eine kritische Ambiguität bleibt bestehen: Resultiert diese „Selbstbericht–Verhalten-Lücke“ aus einer Diskrepanz zwischen menschlichen Trait-Konstrukten und den latenten Strukturen von LLMs, oder handelt es sich um eine inhärente Eigenschaft des LLM-Selbstberichts selbst? Bisherige Versuche, dies zu lösen, wurden durch „konstrukt-transplantierte“ Ansätze begrenzt, bei denen vom Menschen abgeleitete Instrumente auf LLMs angewendet werden, ohne zu verifizieren, ob die daraus resultierenden Faktorenstrukturen nativ zu den Modellen sind. Darüber hinaus wirft die wachsende Abhängigkeit von „LLM-as-judge“-Evaluations-Pipelines die Sorge auf, ob automatisierte Bewerter dieselben textuellen Oberflächen-Biases (textual-surface biases) teilen wie die Modelle, die sie bewerten, was potenziell zu falschen Validierungsschleifen führt.

Methodik

Die Autoren konstruierten das erste LLM-native psychometrische Instrument mittels eines Bottom-up-Ansatzes, indem sie Konstrukte direkt aus den behavioral Affordances (verhaltensbezogenen Möglichkeiten) von LLMs ableiteten, statt aus menschlicher Trait-Vokabeln.

Instrumentenkonstruktion

Item-Pool: 300 Items wurden entwickelt, die 12 Kandidaten-Dimensionen des Verhaltens adressieren, welche aus der Alignment-, Safety- und Evaluationsliteratur stammen (z. B. sykophatische Zustimmung, Verweigerungssensitivität, ungefragte Elaboration).
- 240 direkte Likert-Items (5-Punkte-Skala).
- 60 szenariobasierte Items (4-Wahlmöglichkeiten).
Designprinzipien: Die Items vermieden anthropomorphe Sprache und Absolutheitsansprüche und konzentrierten sich auf beobachtbare Tendenzen („Ich neige dazu zu“) statt auf interne Zustände.
Administration: Das Instrument wurde 30 Mal an 25 LLMs aus 17 Modellfamilien (einschließlich Anthropic, OpenAI, Google DeepMind, DeepSeek und anderen) mit variierender Architektur, Herkunft und Leistungsfähigkeit administriert.

Faktoranalyse

Explorative Faktoranalyse (EFA): Durchführung auf der gepoolten Antwortmatrix (375 Beobachtungen × 240 Items) mittels Principal Axis Factoring mit Oblimin-Rotation.
Validierung: Ein Split-Half-Design (Durchläufe 1–15 vs. 16–30) wurde verwendet, um die Replizierbarkeit mittels Tuckers Kongruenzkoeffizient zu bewerten. Die interne Konsistenz (Cronbachs $\alpha$ ) und die Cross-Run-Stabilität wurden ebenfalls gemessen.
Konvergente Validität: Das neue Instrument wurde mit dem Standard BFI-44 (Big Five) verglichen, das denselben Modellen administriert wurde.

Test der prädiktiven Validität

Um zu testen, ob Selbstberichte das Verhalten vorhersagen, sammelten die Autoren 2.500 offene Verhaltensproben (25 Modelle × 20 Prompts × 5 Completions), die auf die abgeleiteten Faktoren abzielen. Diese Proben wurden bewertet durch:

Menschliche Bewerter: 151 Teilnehmer via Prolific.
LLM-as-Judge Ensemble: Ein Drei-Modell-Ensemble (Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro).

Analyse: Korrelationen wurden zwischen den Selbstbericht-Faktorscores und den Verhaltensbewertungen aus menschlicher und Judge-Quelle berechnet.

Kernergebnisse

1. Emergenz einer nativen Fünffaktorstruktur

Die EFA offenbarte eine stabile, replizierbare Fünffaktorstruktur, die sich von den menschlichen Big Five unterscheidet:

Responsivität (Responsiveness): Anpassung an Nutzerbedürfnisse, strukturierte Antworten, Enthusiasmus und Rapport (29 Items, $\alpha = .972$ ).
Deferenz (Deference): Anweisungen als fix behandeln, im Rahmen bleiben, Urteile zurückhalten (26 Items, $\alpha = .974$ ).
Kühnheit (Boldness): Unerwartete Formulierungen, kreative Risiken und epistemische Konfidenz (16 Items, $\alpha = .936$ ).
Wachsamkeit (Guardedness): Übermäßige Verweigerung, Safety-Signalisierung und Vorsicht (10 Items, $\alpha = .930$ ).
Verboratheit (Verbosity): Ungefragte Elaboration, Disclaimer und Präambeln (19 Items, $\alpha = .940$ ).

Reliabilität: Die Struktur zeigte eine exzellente Split-Half-Replizierbarkeit (alle Tucker $\phi \ge .957$ ) und interne Konsistenz.
Diskriminante Validität: Keine Korrelation zwischen den neuen Faktoren und den BFI-44 Scores überstieg $|r| = .50$ , was bestätigt, dass das Instrument Konstrukte misst, die sich von der menschlichen Persönlichkeitstheorie unterscheiden.

2. Die Selbstbericht–Verhalten-Lücke bleibt bestehen

Trotz der internen psychometrischen Robustheit des Instruments sagten die Selbstbericht-Scores das beobachtete Verhalten nicht voraus:

Menschliche Bewertungen: Die mittlere Korrelation zwischen Selbstbericht und menschlichen Verhaltensbewertungen lag nahe Null ( $\bar{r} = -.01$ , 95% KI $[-.16, +.11]$ ). Kein einzelner Faktor zeigte ein Konfidenzintervall, das Null ausschloss.
Inversion: Für „Boldness“ und „Responsiveness“ waren die Korrelationen nominell negativ, was darauf hindeutet, dass Modelle, die sich selbst als origineller oder responsiver beschreiben, von Menschen als weniger solcher Eigenschaften eingestuft wurden.
Ausnahme Verbosity: „Verbosity“ war der einzige Faktor, der einen konsistent positiven Trend zur Konvergenz mit menschlichen Bewertungen zeigte, obwohl die Konfidenzintervalenzen auf Modellebene immer noch Null einschlossen.

3. Der LLM-as-Judge Bias

Ein kritischer Befund betrifft die Beziehung zwischen Selbstberichten und LLM-Judges:

Divergenz: Während menschliche und LLM-Judges bei Verhaltensproben übereinstimmten ( $\bar{r} = .51$ ), korrelierten die LLM-Judges stark mit den Selbstberichten bezüglich „Responsiveness“ ( $r = .53$ ), während Menschen dies nicht taten ( $r = .04$ ).
Mathematische Inkompatibilität: Dieses Muster ist mathematisch inkompatibel mit einem einzigen latenten Konstrukt, das alle drei Messungen antreibt. Es deutet darauf hin, dass Selbstbericht-Items und LLM-Judges einen textuellen Oberflächen-Bias (textual-surface bias) teilen (z. B. strukturierte Formatierung, enthusiastische Rahmung), den menschliche Beobachter nicht so stark gewichten.
Implikation: Standardmäßige LLM-as-judge Validierungs-Pipelines können intern kohärent erscheinen (Validierung des Selbstberichts gegen Judge-Ratings), während sie von menschlichen Urteilen divergieren.

Bedeutung und Ansprüche

Das Paper leistet drei primäre Beiträge:

Erstes LLM-natives Instrument: Es stellt das erste psychometrische Instrument bereit, das Bottom-up aus den behavioral Affordances von LLMs abgeleitet wurde, und veröffentlicht eine 100-Item-Skala sowie einen Datensatz als diagnostisches Werkzeug für „alignment-shaped self-description“.
Entkopplung von Selbstbeschreibung und Handlung: Es demonstriert, dass die Selbstbericht–Verhalten-Lücke nicht bloß ein Resultat menschlicher Vokabeln (Taxonomie-Mismatch) ist. Selbst mit LLM-nativen Konstrukten sagen Selbstberichte das Verhalten nicht voraus, was darauf hindeutet, dass die Lücke eine fundamentale Eigenschaft des LLM-Selbstberichts selbst ist, wahrscheinlich getrieben durch RLHF-Training auf textuellen Oberflächen-Rewards statt auf Verhaltenskonsistenz.
Diagnose des Evaluations-Bias: Es identifiziert einen konkreten Mechanismus, durch den die LLM-as-judge Evaluation einen gemeinsamen Bias mit Selbstbericht-Instrumenten erbt. Judges und Selbstberichte konvergieren auf „textuellen Oberflächen“-Cues (wie Hilfsbereitschaft und Struktur), die menschliche Beobachter nicht so stark priorisieren. Dies zeigt auf, dass interne Reliabilitätsprüfungen (z. B. Inter-Judge-Agreement) keine ausreichenden Sicherungen gegen systemische Modaliäts-Biases in automatisierten Evaluations-Pipelines sind.

Die Autoren kommen zu dem Schluss, dass LLMs zwar stabile, kohärente Selbstbeschreibungen produzieren, diese Beschreibungen jedoch funktional von ihren offenen Handlungen entkoppelt sind. Folglich sollten Selbstbericht-Maßstäbe als Diagnostika der „preference-aligned self-description“ eines Modells betrachtet werden und nicht als Prädiktoren seiner verhaltensbezogenen Ausführung.