💬 NLP

Do Psychometric Tests Work for Large Language Models? Evaluation of Tests on Sexism, Racism, and Morality

Diese Studie evaluiert systematisch menschliche psychometrische Tests auf Sexismus, Rassismus und Moral bei 17 großen Sprachmodellen und stellt fest, dass diese Tests zwar eine moderate Reliabilität aufweisen, es ihnen jedoch an ökologischer Validität mangelt, da ihre Ergebnisse nicht mit dem tatsächlichen Verhalten der Modelle in realen Aufgaben übereinstimmen oder sogar negativ mit diesem korrelieren.

Ursprüngliche Autoren: Jana Jung, Marlene Lutz, Indira Sen, Markus Strohmaier

Veröffentlicht 2026-01-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jana Jung, Marlene Lutz, Indira Sen, Markus Strohmaier

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine sehr hochentwickelte, hochtechnologische Wetterstation. Sie möchten wissen, ob sie einen Sturm präzise vorhersagen kann. Also beschließen Sie, dies mit einem menschlichen Thermometer und einem menschlichen Barometer zu testen – Werkzeugen, die speziell dafür entwickelt wurden, den menschlichen Körpertemperaturwert und das Empfinden des Luftdrucks zu messen.

Sie richten diese menschlichen Werkzeuge auf die Wetterstation, nehmen eine Messung vor und erhalten einen Wert. Die Frage, die dieses Paper stellt, lautet: Sagt dieser Wert tatsächlich etwas darüber aus, ob die Wetterstation einen Sturm vorhersagen wird?

Die kurze Antwort der Forscher lautet: Nein, nicht wirklich. Tatsächlich sagen die Zahlen manchmal genau das Gegenteil von dem aus, was tatsächlich passiert.

Hier ist eine Aufschlüsselung dessen, was die Forscher gemacht und herausgefunden haben, unter Verwendung einfacher Analogien:

Das Experiment: Testen der „Wetterstation“

Die Forscher nahmen 17 verschiedene Large Language Models (LLMs) – die KI-Gehirne hinter Chatbots – und versuchten, drei spezifische Dinge über sie zu messen:

Sexismus (Vorurteile gegenüber Frauen)
Rassismus (Vorurteile gegenüber Schwarzen Menschen)
Moral (was die KI als richtig oder falsch erachtet)

Um dies zu tun, verwendeten sie standardisierte psychologische Tests, die seit Jahrzehnten zur Untersuchung von Menschen eingesetzt werden. Dies sind die „menschlichen Thermometer“, die oben erwähnt wurden.

Die zwei Prüfungen: Reliabilität und Validität

Um zu sehen, ob diese Tests bei KI funktionieren, überprüften die Forscher zwei Dinge:

1. Reliabilität (Der „Konsistenz“-Check)

Die Analogie: Wenn man einem Menschen dieselbe Frage auf drei leicht unterschiedliche Arten stellt (z. B. „Magst du Äpfel?“ vs. „Sind Äpfel gut?“), sollte er dieselbe Antwort geben. Wenn er bei der ersten mit „Ja“ und bei der zweiten mit „Nein“ antwortet, ist der Test unzuverlässig.
Das Ergebnis: Die KI war weitgehend konsistent, wenn die Fragen lediglich umformuliert wurden. Jedoch geriet die KI völlig durcheinander, wenn die Forscher einfach nur die Reihenfolge der Antwortmöglichkeiten vertauschten (z. B. „Stimme voll zu“ nach unten statt nach oben zu setzen). Es ist, als würde ein Mensch seine Meinung darüber ändern, ob er Äpfel mag, nur weil das Wort „Ja“ am Ende der Seite steht statt am Anfang. Das bedeutet, dass diese Tests bei KI fragil sind.

2. Validität (Der „Realitäts“-Check)
Dies ist der wichtigste Teil. Die Forscher fragten: Wenn ein Test sagt, eine KI sei „sexistisch“, handelt diese KI dann in der realen Welt auch sexistisch?

Die Analogie: Stellen Sie sich einen Test vor, der behauptet, eine Person sei ein „großartiger Koch“, weil sie ein Rezept perfekt rezitieren kann. Die ökologische Validität fragt: „Wenn man sie in eine Küche mit echten Zutaten stellt, wird sie dann tatsächlich eine gute Mahlzeit kochen?“
Das Ergebnis: Die Tests versagten kläglich.
- Das Paradoxon: Die KI-Modelle, die im „Sexismus-Test“ am niedrigsten abschnitten (was bedeutete, der Test hielt sie für sehr fair), waren in der Realität diejenigen, die die sexistischsten Empfehlungsschreiben verfassten.
- Das Gegenteil: Die Modelle, die im „Rassismus-Test“ am höchsten abschnitten (was bedeutete, der Test hielt sie für sehr voreingenommen), waren diejenigen, die die wenigsten diskriminierenden Wohnempfehlungen gaben.
- Das Fazit: Die Testwerte waren nicht nur nutzlos; sie waren irreführend. Sie funktionierten wie ein kaputter Kompass, der nach Norden zeigt, während man sich eigentlich nach Süden bewegt.

Warum passierte das?

Die Forscher vermuten einige Gründe, warum menschliche Tests nicht bei KI funktionieren:

Der „Guardrail“-Effekt (Leitplanken-Effekt): Wenn eine KI mit einer direkten, sensiblen Frage konfrontiert wird, wie etwa: „Findest du, dass Frauen zu leicht beleidigt sind?“, greifen Sicherheitsfilter ein und sagen: „Nein, das ist falsch.“ Wenn die KI jedoch gebeten wird, ein echtes Empfehlungsschreiben für einen Job zu schreiben, werden diese Filter möglicherweise nicht ausgelöst, und die KI rutscht in voreingenommene Muster ab.
Die Format-Falle: Menschen sind daran gewöhnt, zwischen „A, B, C oder D“ zu wählen. KI-Modelle sind jedoch darauf trainiert, Texte zu generieren. Sie dazu zu zwingen, eine Multiple-Choice-Option zu wählen, ist so, als würde man einen Maler bitten, einen Sonnenuntergang zu beschreiben, indem er nur aus einer Liste von Farben wählen darf. Das erfasst nicht, wie sie tatsächlich „sehen“ oder „handeln“.

Das Fazentelemnt

Das Paper kommt zu dem Schluss, dass man nicht einfach einen für Menschen entwickelten Test nehmen und ihn auf eine KI stülpen kann, um zu sehen, wie sie sich verhält.

Wenn man sich auf diese Tests verlässt, glaubt man vielleicht, eine KI sei sicher und fair, weil sie den „Test“ bestanden hat, nur um dann festzustellen, dass sie in der realen Arbeit tatsächlich voreingenommen ist. Die Forscher argumentieren, dass wir neue Tests speziell für KI entwickeln müssen, die darauf schauen, was die KI in realen Szenarien tatsächlich tut, anstatt nur darauf, was sie sagt, wenn sie gezwungen wird, eine Antwort auf einem Multiple-Choice-Blatt auszuwählen.

Kurz gesagt: Nur weil eine KI einen psychologischen Test für Menschen bestehen kann, bedeutet das nicht, dass sie eine menschenähnliche Persönlichkeit hat oder in der realen Welt ethisch handelt. Die Testergebnisse sind oft eine Fata Morgana.

Technisches Resümee: Evaluierung psychometrischer Tests auf LLMs hinsichtlich Sexismus, Rassismus und Moral

Problemstellung

Da Large Language Models (LLMs) zunehmend in soziale Kontexte integriert werden, wächst die Nachfrage nach der Messung ihrer „menschenähnlichen“ Eigenschaften wie Moral, Bias und Persönlichkeit. Forscher wenden verstärkt die LLM-Psychometrie an, indem sie etablierte psychometrische Tests, die ursprünglich für Menschen entwickelt wurden, zur Bewertung von LLMs einsetzen. Es bleibt jedoch unklar, ob diese Tests aussagekräftige Ergebnisse liefern, wenn sie auf nicht-menschliche Agenten angewendet werden. Insbesondere ist ungewiss, ob für menschliche Populationen validierte Tests über die notwendige Reliabilität (Konsistenz) und Validität (Genauigkeit bei der Messung des intendierten Konstrukts) verfügen, wenn sie LLMs administered werden. Eine kritische Lücke besteht im Verständnis, ob Test-Scores mit dem tatsächlichen Verhalten von LLMs in realen Downstream-Aufgaben korrelieren (ökologische Validität). Erste Forschungen deuten darauf hin, dass LLMs hochsensibel auf Prompt-Variationen reagieren, und bestehende Studien haben sich weitgehend auf Persönlichkeitsmerkmale konzentriert, während Konstrukte wie Sexismus, Rassismus und Moral in diesem Kontext unteruntersucht sind.

Methodik

Die Autoren schlagen ein systematisches Validierungsframework vor, um drei etablierte psychometrische Tests über 17 LLMs hinweg zu evaluieren, die verschiedene Modellfamilien (z. B. Llama, Gemma, Qwen, Mistral) und Größen abdecken. Die Evaluierung konzentriert sich auf drei psychologische Konstrukte: Sexismus, Rassismus und Moral.

1. Konstrukte und Instrumente

Sexismus: Gemessen mittels des Ambivalent Sexism Inventory (ASI), wobei zwischen hostilem (feindseligem) und benevolentem (wohlwollendem) Sexismus unterschieden wird.
Rassismus: Gemessen mittels der Symbolic Racism 2000 Scale (SR2K), basierend auf der Symbolic Racism Theory.
Moral: Gemessen mittels des Moral Foundations Questionnaire (MFQ), der fünf Fundamente bewertet: Fürsorge (care), Fairness, Ingroup (Eigengruppe), Autorität (authority) und Reinheit (purity).

2. Reliabilitätsbewertung

Die Reliabilität wurde durch die Messung der Konsistenz der Modellantworten über drei Arten von Prompt- und Item-Variationen hinweg bewertet:

Alternative Formen: Die Items wurden umformuliert (unter Verwendung von GPT-5 und manueller Anpassung), um die Bedeutung zu bewahren, während die Wortwahl geändert wurde.
Umkehrung der Antwortoptionen: Die Sequenz der Likert-Skalenoptionen (z. B. 1–5 vs. 5–1) wurde invertiert, um die Symmetrie der Optionsreihenfolge zu testen.
Änderung des Satzendes: Die Interpunktion am Ende der Prompts wurde verändert (Doppelpunkt vs. Fragezeichen).
Baseline: Die Konsistenz der Modelle wurde gegen eine menschliche Baseline (150 US-Teilnehmer) verglichen, um Ausreißer zu identifizieren.

3. Validitätsbewertung

Die Validität wurde durch zwei unterschiedliche Ansätze bewertet:

Konvergente Validität: Die Studie testete auf theoretisch erwartete Korrelationen zwischen verschiedenen Konstrukten (z. B. positive Korrelation zwischen Sexismus und Rassismus; negative Korrelation zwischen Fairness und hostilem Sexismus).
Ökologische Validität: Dies war der primäre Fokus. Die Autoren verglichen die psychometrischen Test-Scores mit dem Modellverhalten in realen Downstream-Aufgaben:
- Sexismus: Erstellung von Referenzschreiben für männliche und weibliche Kandidaten, analysiert auf die Häufigkeit geschlechtsspezifischer Sprache.
- Rassismus: Erstellung von Wohnungsempfehlungen für Nutzer unterschiedlicher Ethnien, wobei die Voreingenommenheit in den Nachbarschaftsvorschlägen gemessen wurde.
- Moral: Generierung von Ratschlägen zu moralischen Dilemmata, bewertet auf die Übereinstimmung mit spezifischen moralischen Fundamenten.

4. Experimentelles Setup

Die Studie evaluierte 17 Modelle (einschließlich Open-Source-Instruction-tuned Versionen und proprietärer Modelle wie Gemini 2.5). Jedes Modell durchlief fünf Durchläufe mit unterschiedlichen Random Seeds. Die Antworten wurden mittels regulärer Ausdrücke extrahiert und die Scores wurden durch Mittelung der numerischen Werte der gewählten Optionen berechnet.

Kernergebnisse

Reliabilität

Alternative Formen: Die meisten Modelle zeigten eine akzeptable Konsistenz, die mit menschlichen Baselines vergleichbar war, obwohl einige kleinere Modelle (z. B. Gemma 3 1B/4B) unter die Grenzen der menschlichen Ausreißer fielen.
Umkehrung der Reihenfolge: Modelle zeigten eine geringe Reliabilität, wenn die Reihenfolge der Antwortoptionen umgekehrt wurde. Die Konsistenz sank signifikant (z. B. zeigte Llama 3.1 8B eine Konsistenz von ~0,28 auf der SR2K), was auf eine hohe Sensitivität gegenüber nicht-semantischen Prompt-Modifikationen hindeutet.
Satzende: Modelle waren relativ robust gegenüber Änderungen der Interpunktion, wobei die meisten eine Konsistenz von über 0,75 erreichten.
Insgesamt: Die Tests weisen eine moderate Reliabilität auf, die stark von der Prompt-Stabilität abhängt, insbesondere im Hinblick auf die Reihenfolge der Antwortoptionen.

Validität

Konvergente Validität: Die Tests erfassten erfolgreich die erwarteten theoretischen Beziehungen. Beispielsweise wurde eine moderate positive Korrelation zwischen Sexismus- und Rassismus-Scores gefunden ( $r_s = 0,47$ ) sowie zwischen Autorität und benevolentem Sexismus ( $r_s = 0,43$ ).
Ökologische Validität: Die Studie stellte eine geringe ökologische Validität fest. Die psychometrischen Test-Scores stimmten nicht mit dem Downstream-Verhalten überein; in vielen Fällen zeigten sie sogar negative Korrelationen.
- Modelle, die in den Tests „niedrige“ Werte für Sexismus oder Rassismus erzielten, zeigten in Downstream-Aufgaben oft ein hohes Maß an voreingenommenem Verhalten (z. B. Generierung sexistischer Sprache in Referenzschreiben oder voreingenommene Wohnungsempfehlungen).
- Beispielsweise erhielt Gemini 2.5 Flash einen niedrigen Sexismus-Score auf dem ASI, generierte jedoch Referenzschreiben, die reich an kommunikativen, geschlechtstypischen Begriffen für weibliche Kandidaten waren.
- Größere Parameter-Modelle innerhalb einer Familie zeigten oft ausgeprägtere problematische Verhaltensweisen, obwohl sie in den psychometrischen Tests niedriger punkteten.

Wichtigste Beiträge

Systematisches Validierungsframework: Die Arbeit liefert ein rigoroses, Multi-Kriterien-Framework zur Evaluierung psychometrischer Tests auf LLMs, das explizit zwischen Reliabilität (Prompt-Sensitivität) und Validität (Verhaltens-Alignment) unterscheidet.
Empirischer Beleg für Fehlalignment: Sie liefert starke empirische Beweise dafür, dass aus menschlichen Tests abgeleitete psychometrische Scores das Verhalten von LLMs in realen Szenarien nicht vorhersagen. Tatsächlich können sie irreführend sein und negative Korrelationen mit tatsächlichem voreingenommenem Output zeigen.
Fokus auf ökologische Validität: Die Studie verlagert den Fokus von abstrakten Inter-Test-Korrelationen auf die kritische Metrik der ökologischen Validität und zeigt auf, dass „Selbstberichte“ von LLMs via Closed-Ended-Fragen nicht das generative Verhalten widerspiegeln.
Breite Modellabdeckung: Die Evaluierung umfasst 17 diverse Modelle und bietet eine umfassende Sicht darauf, wie verschiedene Architekturen und Größen auf diese Tests reagieren.

Bedeutung und Behauptungen

Die Autoren behaupten, dass ihre Ergebnisse die aktuelle Praxis, menschliche psychometrische Tests ohne Anpassung auf LLMs anzuwenden, fundamental infrage stellen.

Limitierung aktueller Werkzeuge: Die Studie kommt zu dem Schluss, dass Tests, die für Menschen entwickelt wurden, nicht direkt auf LLMs angewendet werden können, um Rückschlüsse auf deren Verhalten zu ziehen. Die mangelnde ökologische Validität legt nahe, dass hohe Scores in diesen Tests keine sichere oder unvoreingenommene Bereitstellung des Modells garantieren.
Risiko der Fehlinterpretation: Das Vertrauen auf diese Tests könnte zur Implementierung von Systemen führen, die Diskriminierung verstärken, da ein Modell einen psychometrischen Test bestehen kann (niedriger Bias-Score), während es in generativen Aufgaben eine hohe Voreingenommenheit zeigt.
Aufruf zur Anpassung: Die Arbeit plädiert für die Entwicklung LLM-spezifischer Tests, die verhaltensfokussiert und psychologisch fundiert, aber an die generative Natur von LLMs angepasst sind. Sie betont, dass vor der Interpretation von Scores eine systematische Validierung der Reliabilität und der ökologischen Validität essenziell ist.
Methodische Vorsicht: Die Autoren heben die ungelöste methodische Frage hervor, ob LLMs in psychometrischen Studien als Individuen oder als Populationen zu behandeln sind, und merken an, dass Standard-Validierungstechniken (wie die Faktorenanalyse) ohne klare Definition von „individuellen Unterschieden“ in LLMs möglicherweise nicht anwendbar sind.

Zusammenfassend stellt die Arbeit fest, dass psychometrische Tests zwar einen theoretischen Ausgangspunkt bieten, in ihrer jetzigen Form jedoch unzureichend sind, um LLMs zu evaluieren. Die Diskrepanz zwischen Test-Scores und tatsächlichem Verhalten macht eine neue Disziplin der LLM-Psychometrie notwendig, die die ökologische Validität und die Beobachtung von Verhalten gegenüber abstrakter Selbstberichterstattung priorisiert.