💬 NLP

Neural network embeddings recover value dimensions from psychometric survey items on par with human data

Diese Arbeit zeigt auf, dass eine neuartige Methode namens SQuID, welche Embeddings von großen Sprachmodellen verarbeitet, die Struktur menschlicher Werte aus dem PVQ-RR effektiv mit 55 % erklärter Varianz und einer kulturübergreifenden Übereinstimmung rekonstruieren kann, die mit traditionellen menschlichen Umfragedaten vergleichbar ist, und somit eine skalierbare sowie kosteneffiziente Alternative für die psychometrische Forschung bietet.

Ursprüngliche Autoren: Max Pellert, Clemens M. Lechner, Indira Sen, Markus Strohmaier

Veröffentlicht 2026-01-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Max Pellert, Clemens M. Lechner, Indira Sen, Markus Strohmaier

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die „Persönlichkeit“ einer Gruppe von Menschen zu verstehen, indem Sie sie bitten, einen langen Fragebogen über ihre Werte auszufüllen. Traditionell müssen Forscher tausende echte Menschen engagieren, die diese Fragen lesen und bewerten, wie sehr sie ihnen zustimmen. Das ist teuer, langsam und manchmal werden die Leute müde oder gelangweilt, was zu unordentlichen Daten führt.

Dieses Paper stellt eine kühne Frage: Kann ein Computer (speziell ein Large Language Model) dieselben Fragen lesen und sie so gut „verstehen“, dass er dieselbe psychologische Landkarte rekonstruiert, die Menschen erstellen?

Hier ist die Aufschlüsselung ihrer Entdeckung, unter Verwendung einfacher Analogien:

1. Das Problem: Die „Nur-Positiv“-Blindheit

Die Forscher versuchten, KI zu nutzen, um die Fragen zu lesen und sie in mathematische „Embeddings“ umzuwandeln (was im Grunde nur Listen von Zahlen sind, die die Bedeutung eines Wortes oder Satzes repräsentieren).

Dabei stießen sie jedoch auf ein Hindernis. Stellen Sie sich vor, Sie haben eine Landkarte der Werte. Auf dieser Karte sind einige Werte Freunde (wie „Anderen helfen“ und „Gütig sein“) und einige sind Feinde (wie „Anderen helfen“ und „Egoistisch sein“). In echten menschlichen Daten haben diese Feinde eine negative Beziehung (sie ziehen in entgegengesetzte Richtungen).

Aber als die KI die Fragen betrachtete, sah sie nur positive Beziehungen. Es war, als würde man eine Landkarte betrachten, auf der alles miteinander verbunden ist, aber die „Feind“-Verbindungen unsichtbar sind. Die KI konnte nicht erkennen, dass zwei Konzepte Gegensätze sind; sie sah sie einfach nur als verschiedene Versionen desselben Dings an. Das liegt daran, dass KI-Modelle auf riesigen Mengen von Text trainiert werden, die gemeinsame Sprachmuster teilen, wodurch alles ein wenig ähnlich aussieht.

2. Die Lösung: Der „SQuID“-Filter

Um dies zu beheben, erfanden die Autoren eine Methode namens SQuID (Survey and Questionnaire Item Embeddings Differentials).

Betrachten Sie das rohe Verständnis der KI für die Fragen als ein verrauschtes Radiosignal. Das Signal ist voller statischem Rauschen (gemeinsame Wörter wie „Es ist wichtig für ihn/sie“), das alles gleich klingen lässt.

SQuID fungt wie ein Noise-Cancelling-Kopfhörer.

Zuerwert nahmen die Forscher den „Durchschnitt“ aller Fragen, um ein Profil des „Hintergrundrauschens“ zu erstellen.
Dann subtrahierten sie dieses Hintergrundrauschen von jeder einzelnen Frage.

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein bestimmtes Instrument in einem Orchester zu hören. Wenn Sie das gesamte Orchester aufnehmen, hören Sie alles. Aber wenn Sie den „Durchschnittsklang“ des Orchesters aufnehmen und diesen von der Aufnahme der Violine abziehen, bleibt der einzigartige Klang der Violine übrig.

Durch diesen mathematischen Trick begann die KI plötzlich, die negativen Beziehungen zu sehen. Sie konnte endlich erkennen, dass „Selbstbestimmung“ und „Konformität“ Gegensätze sind, genau wie es Psychologen seit Jahrzehnten wissen.

3. Die Ergebnisse: Ein Spiegelbild

Nach der Anwendung von SQuID verglichen die Forscher die KI-Landkarte mit der Landkarte, die von Menschen aus 49 verschiedenen Ländern erstellt wurde.

Die Übereinstimmung: Die KI-Landkarte ähnelte der menschlichen Landkarte verblüffend stark. Sie fanden heraus, dass der KI-Ansatz 55 % der in den menschlichen Daten gefundenen Muster erklärt.
Die Form: Menschliche Werte sind oft kreisförmig angeordnet (ein „Zirkumplexe“). Ähnliche Werte liegen nebeneinander; Gegensätze liegen sich gegenüber. Die KI konnte unter Verwendung von SQuID diese kreisförmige Gestalt erfolgreich rekonstruieren, ohne jemals dazu angewiesen worden zu sein.
Der Vergleich: Die KI schnitt genauso gut ab wie – und in einigen Fällen sogar etwas besser als – traditionelle Methoden, die auf menschlichen Wertungen beruhen.

4. Warum dies wichtig ist (laut dem Paper)

Die Autoren argumentieren, dass dies nicht nur ein cooler Trick ist, sondern ein neues Werkzeug für die Wissenschaft.

Geschwindigkeit und Kosten: Anstatt Monate darauf zu warten, dass Menschen Umfragen ausfüllen, können Sie diese Daten in Minuten für Centbeträge generieren.
Skalierbarkeit: Man kann Fragen zu tausenden verschiedenen Themen sofort testen.
Validierung: Es ermöglicht Forschern zu überprüfen, ob ein Fragebogen Sinn ergibt, noch bevor sie auch nur einen einzigen Menschen engagieren, der ihn ausfüllt.

5. Was sie nicht behaupten

Es ist wichtig festzuhalten, was das Paper nicht sagt:

Sie sagen nicht, dass KI Menschen vollständig ersetzen kann. Menschen müssen weiterhin untersucht werden, um eine „Ground Truth“ (eine verifizierte Grundlage) für den Vergleich bereitzustellen.
Sie behaupten nicht, dass dies bereits für jede einzelne Art von psychologischem Test perfekt funktioniert (obwohl sie es bei Persönlichkeitstests getestet haben und es dort gut funktionierte).
Sie schlagen auch nicht vor, dass die KI „Gefühle“ oder ein „Bewusstsein“ hat. Die KI bildet lediglich die mathematische Bedeutung der Wörter in den Fragen ab, nicht die menschliche Erfahrung dahinter.

Zusammenfassung

Das Paper zeigt, dass wir durch den Einsatz einer einfachen mathematischen „Noise-Cancelling“-Technik (SQuID) KI-Modelle dazu bringen können, Fragebögen zu lesen und eine psychologische Landkarte zu erstellen, die derjenigen, die von tausenden menschlichen Teilnehmern erstellt wurde, fast identisch ist. Es verwandelt die KI von einem Leser, der nur „positiv“ sieht, in ein Werkzeug, das das volle Spektrum menschlicher Werte versteht, einschließlich der Gegensätze.

Technisches Resümee: Neuronale Netzwerk-Embeddings extrahieren Dimensionen von Wertesystemen aus psychometrischen Fragebogen-Items

1. Problemstellung

Die psychometrische Forschung stützt sich stark auf menschliche Beurteilungen durch Rater, um die Struktur von Fragebögen, wie etwa des Revised Portrait Value Questionnaire (PVQ-RR), zu validieren. Dieser Prozess ist kostspielig, zeitaufwendig und anfällig für Probleme wie Ermüdungserscheinungen der Probanden sowie mangelnde Motivation. Während Large Language Models (LLMs) vorgeschlagen wurden, um menschliche Urteile zu simulieren oder synthetische Daten zu generieren, stehen bestehende embedding-basierte Ansätze vor einer kritischen technischen Einschränkung: der Unfähigkeit, negative Korrelationen zu reproduzieren.

In der psychometrischen Theorie, insbesondere in Schwartzs Theorie der grundlegenden menschlichen Werte, weisen Dimensionen oft eine Zirkumplexe-Struktur auf, in der entgegengesetzte Werte (z. B. Konformität vs. Selbstbestimmung) negativ korreliert sind. Standardmäßige semantische Embeddings, die aus hochdimensionalen Vektorräumen abgeleitet werden, neigen dazu, Items basierend auf geteilten linguistischen Merkmalen zu clustern, was zu Ähnlichkeitswerten führt, die überwiegend positiv sind. Dieses Versagen bei der Erfassung negativer Korrelationen verhindert die genaue Rekonstruktion der kreisförmigen, multidimensionalen Strukturen, die für die Wertetheorie und andere psychometrische Modelle essenziell sind. Bisherige Versuche, dies zu lösen, erforderten domänenspezifisches Fine-Tuning, eine Neuannotation von Trainingskorpora oder die Aufgabe von Korrelationszeichen (Verwendung von Absolutwerten), was die Verallgemeinerbarkeit und theoretische Treue einschränkt.

2. Methodik

Die Autoren schlagen eine neuartige, modellagnostische Post-Processing-Methode namens "Survey and Questionnaire Item Embeddings Differentials" (SQuID) vor, um negative Korrelationen zu extrahieren, ohne Fine-Tuning oder Neuannotation zu erfordern.

2.1 Generierung der Embeddings

Die Studie nutzt semantische Embeddings von fünf verschiedenen Modellen, die unterschiedliche Klassen und Größen repräsentieren:

Linq-Embed-Mistral (7,11 Mrd. Parameter, offen, prompt-basiert): Das leistungsstärkste Modell im MTEB-Benchmark.
gemini-embedding-exp-03-07 (Closed API).
jina-embeddings-v3 (572 Mio. Parameter).
KaLM-embedding-multilingual-mini-instruct-v1.5 (494 Mio. Parameter).
mpnet-personality (109 Mio. Parameter, domänenspezifisch feinabgestimmt).

Der Input besteht aus den 57 Items des PVQ-RR. Um den in den Items inhärenten Gender-Bias durch Pronomen zu mildern, generieren die Autoren Embeddings sowohl für die männliche als auch für die weibliche Version jedes Items und bilden den Durchschnitt.

2.2 Die SQuID-Transformation

Die zentrale Innovation ist eine vektorielle Arithmetik-Operation, die darauf abzielt, "gemeinsames linguistisches Rauschen" aus den Item-Embeddings zu subtrahieren.

Berechnung des Fragebogen-Embeddings: Berechne den durchschnittlichen Embedding-Vektor ( $\bar{y}$ ) über alle 57 Items des Fragebogens.
$\bar{y} = \frac{1}{57} \sum_{i=1}^{57} y_i$
Subtraktion des Mittelwerts: Subtrahiere für jedes einzelne Item-Embedding ( $y_i$ ) das durchschnittliche Fragebogen-Embedding, um einen Differenzvektor ( $d_i$ ) zu erzeugen:
$d_i = y_i - \bar{y}$

Dieser Prozess ist von der Word2Vec-Arithmetik und Community-Embeddings inspiriert. Durch das Entfernen der gemeinsamen "Fragebogen-Ebene" semantischer Merkmale betonen die resultierenden Differenzvektoren die einzigartigen semantischen Unterscheidungen zwischen den Items, wodurch negative Korrelationen in der Ähnlichkeitsmatrix natürlich hervortreten können.

2.3 Evaluationspipeline

Die transformierten Embeddings werden durch Standard-Psychometrie-Pipelines verarbeitet:

Interne Konsistenz: Gemessen via Cronbachs Alpha für 19 Wertedimensionen.
Dimension-Dimension-Korrelationen: Die Pearson-Korrelationen zwischen den 19 latenten Dimensionen werden berechnet und mit menschlichen Rater-Daten verglichen.
Multidimensionale Skalierung (MDS): Die Korrelationsmatrix wird in eine Dissimilaritätsmatrix umgewandelt und auf einen 2D-Raum reduziert, um die Zirkumplexe-Struktur zu visualisieren.
Procrustes-Transformation: Die aus den Embeddings abgeleitete MDS-Konfiguration wird mit der menschlichen Datenkonfiguration abgeglichen, um die geometrische Kongruenz zu bewerten.
Generalisierbarkeitstests: Die Methode wird auf drei Persönlichkeitsinventare angewendet (IPIP, BFI-2, HEXACO), um zu testen, ob sie die Korrelationsbereiche über das Wertedomain hinaus verbessert.

3. Kernergebnisse

3.1 Rekonstruktion der Struktur

Varianzaufklärung: Eine lineare Regression zwischen den durch SQuID behandelten Dimension-Dimension-Ähnlichkeiten und den menschlichen Rater-Daten erklärt 55 % der Varianz ( $R^2 = 0,55$ ).
Interne Konsistenz: Das leistungsstärkste Modell, Linq-Embed-Mistral, erreichte ein durchschnittliches Cronbachs Alpha über alle 19 Dimensionen, das leicht über dem menschlichen Baseline-Wert lag, und übertraf andere Modelle in 14 von 19 Dimensionen. Zufällige Embeddings (Gaußsches Rauschen) ergaben eine nahezu Null-Konsistenz, was bestätigt, dass das Signal nicht zufällig ist.
Zirkumplexe Struktur: Die MDS-Konfiguration der Embeddings reproduzierte erfolgreich die durch Schwartzs Theorie postulierte kreisförmige Struktur. Entgegengesetzte Werte (z. B. Universalismus vs. Macht) wurden auf gegenüberliegenden Seiten des Kreises platziert, während kompatible Werte zusammen gruppiert wurden.
Geometrische Ausrichtung: Nach der Procrustes-Transformation lagen die Kongruenzkoeffizienten zwischen der Embedding-Konfiguration und den menschlichen Daten bei 0,88 für die erste Dimension und 0,82 für die zweite Dimension, was auf eine starke strukturelle Übereinstimmung hindeutet.

3.2 Generalisierbarkeit

Bei der Anwendung auf Persönlichkeitsinventare (IPIP, BFI-2, HEXACO) steigerte SQuID konsistent den Bereich der Inter-Item-Korrelationen, eine kritische Metrik zur Erfassung sowohl positiver als auch negativer Beziehungen.

IPIP: Der durchschnittliche relative Gewinn im Korrelationsbereich betrug 261,5 %.
BFI-2: Durchschnittlicher relativer Gewinn von 207,2 %.
HEXACO: Durchschnittlicher relativer Gewinn von 147,9 %.
Bemerkenswert ist, dass selbst Modelle, die bereits domänenspezifisch feinabgestimmt waren (mpnet-personality), nach der SQuID-Verarbeitung eine signifikante Verbesserung (Gewinn von 21,20 %) zeigten.

4. Beiträge und Bedeutung

Das Paper behauptet, dass semantische Embeddings, wenn sie mit SQuID verarbeitet werden, die psychometrischen Strukturen effektiv replizieren können, die zuvor nur durch umfangreiche menschliche Befragungen etabliert wurden.

Methodischer Fortschritt: SQuID bietet eine allgemeine Post-hoc-Lösung für das Problem der negativen Korrelation, ohne dass domänenspezifisches Fine-Tuning, die Neuannotation von Trainingsdaten oder komplexes Prompt Engineering erforderlich ist. Es funktioniert mit jedem Embedding-Modell und beliebigen Dimensionen.
Kosten und Skalierbarkeit: Der Ansatz bietet eine flexible, kostengünstige Alternative zu menschlichen Rater-Urteilen bei vergleichbarer Qualität. Er ermöglicht die Analyse von Fragebogenstrukturen "in-silico", noch bevor empirische Daten erhoben werden.
Theoretische Validierung: Die Ergebnisse zeigen, dass neuronale Embeddings die zugrunde liegenden semantischen Räume menschlicher Werte und Persönlichkeitsmerkmale erfassen, was auf eine Konvergenz zwischen statistischen Sprachmustern und menschlichen psychologischen Konstrukten hindeutet.
Komplementäres Werkzeug: Die Autoren positionieren dies nicht als Ersatz für menschliche Teilnehmer, sondern als ergänzende Methodik. Es ermöglicht Forschern, den Umfang von Messinstrumenten auf diverse Sprachen und Kontexte auszuweiten, die über traditionelles Sampling schwer zugänglich sind, während gleichzeitig menschliche Daten als notwendiger Referenzpunkt genutzt werden.

Das Paper schließt mit der Feststellung, dass zwar 45 % der Varianz ungeklärt bleiben (potenziell aufgrund echter Unterschiede darin, was Embeddings vs. Menschen messen, oder aufgrund von Rauschen), die Fähigkeit, die komplexe, kreisförmige Struktur menschlicher Werte mit hoher Treue zu rekonstruieren, einen bedeutenden Schritt vorwärts für die "KI-Psychometrie" und die sozialwissenschaftliche Forschung darstellt.