🤖 AI

The threat of analytic flexibility in using large language models to simulate human data

Die Studie zeigt, dass analytische Flexibilität bei der Generierung synthetischer Datensätze mit großen Sprachmodellen die Ergebnisse erheblich beeinflusst und zu unterschiedlichen Schlussfolgerungen über deren Übereinstimmung mit menschlichen Daten führen kann, weshalb dringend mehr Aufmerksamkeit und Strategien zur Reduzierung dieser Verzerrung gefordert werden.

Ursprüngliche Autoren: Jamie Cummins

Veröffentlicht 2026-04-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jamie Cummins

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🤖 Der „Silizium-Proband": Wenn Computer Menschen imitieren

Stell dir vor, du bist ein Wissenschaftler, der herausfinden will, wie Menschen auf eine neue politische Kampagne reagieren. Normalerweise müsstest du Tausende von echten Menschen befragen, was teuer, langsam und kompliziert ist.

Doch jetzt gibt es eine neue, verlockende Idee: Warum nicht einfach einen Computer (eine große Sprach-KI) fragen? Man nennt diese künstlichen Probanden „Silizium-Probanden" (weil sie auf Computerchips basieren, nicht auf Fleisch und Blut). Die Hoffnung war: Die KI hat so viel im Internet gelesen, dass sie sich genau so verhält wie ein echter Mensch.

Aber hier kommt das Problem: Jamie Cummins hat in dieser Studie herausgefunden, dass diese KI-Probanden extrem launisch sind. Je nachdem, wie man sie „anwinkt", antworten sie völlig unterschiedlich. Es ist, als würdest du mit einem Schauspieler sprechen, der seine Rolle erst dann spielt, wenn du ihm genau sagst, wie er sich anziehen soll.

🎭 Die „Koch-Rezept"-Analogie

Stell dir vor, du möchtest einen perfekten Kuchen backen, der genau so schmeckt wie der deiner Oma (die echten Menschen). Du hast einen super Koch (die KI), aber du hast keine exakte Anleitung.

In dieser Studie hat der Autor tausende verschiedene „Rezepte" ausprobiert, um den Kuchen zu backen. Jedes Rezept war eine andere Kombination von Entscheidungen:

Welchen Koch nimmst du? (GPT-4, Llama, DeepSeek? – Wie ein Koch, der eher auf Süßes steht, oder einer, der salzig bevorzugt.)
Wie viel Kreativität erlaubst du? (Der „Temperatur"-Knopf. Ist der Koch streng und genau, oder wild und experimentell?)
Was sagst du ihm? (Gibst du ihm nur den Namen des Kuchens oder auch Details über die Gäste, die ihn essen werden? – Also: Geben wir der KI Infos über Alter, Geschlecht und Einkommen des fiktiven Menschen?)
Wie stellst du die Frage? (Fragen wir alles auf einmal oder Schritt für Schritt?)

Das Ergebnis war erschreckend:

Mit Rezept A schmeckte der Kuchen fast genau wie bei der Oma (die KI traf die menschlichen Antworten perfekt).
Mit Rezept B (nur eine winzige Änderung, z. B. eine andere Temperatur) schmeckte der Kuchen wie Seife (die KI sagte völlig andere Dinge).
Und das Schlimmste: Ein Rezept, das beim Geschmack (den Antworten) toll war, war beim Aussehen (der Verteilung der Antworten) katastrophal. Es gab kein „perfektes Rezept", das für alles gut war.

🔀 Der „Garten der Gabelwege"

Der Autor nennt dieses Phänomen den „Garten der Gabelwege". Stell dir vor, du bist in einem riesigen Wald, und an jeder Kreuzung musst du eine Entscheidung treffen (Links oder Rechts?).

Wenn du links abbiegst (z. B. „Temperatur hoch"), landest du in einer schönen Wiese (gute Ergebnisse).
Wenn du rechts abbiegst (z. B. „Temperatur niedrig"), landest du im Sumpf (schlechte Ergebnisse).

Das Problem ist: Da es so viele Kreuzungen gibt, kann ein Forscher (bewusst oder unbewusst) einfach so lange hin- und herlaufen, bis er genau die Wiese findet, die ihm gefällt. Er könnte also theoretisch jedes gewünschte Ergebnis mit einer KI erzeugen, indem er einfach das richtige „Rezept" findet.

🧪 Was hat die Studie konkret gezeigt?

Der Autor hat zwei Experimente gemacht:

Experiment 1 (Der Test): Er nahm zwei bekannte psychologische Tests (z. B. „Glaubst du an eine gerechte Welt?"). Er ließ die KI 252 verschiedene Versionen dieser Tests machen.
- Ergebnis: Die Ergebnisse schwankten wild. Manchmal sagte die KI: „Ja, die Welt ist gerecht", manchmal: „Nein, gar nicht". Es hing nur davon ab, welche Einstellungen er gewählt hatte.
Experiment 2 (Der Realitätscheck): Er nahm eine berühmte, bereits veröffentlichte Studie, die behauptete, KI könne menschliche Meinungen perfekt vorhersagen. Er lieferte dieselbe Aufgabe mit 66 verschiedenen „Rezepten" neu durch.
- Ergebnis: Je nach Rezept sah die Übereinstimmung zwischen KI und Mensch entweder sehr gut aus (84 % Treffer) oder sehr schlecht (23 % Treffer).
- Die Moral: Wenn man nur ein Rezept wählt, kann man denken, die KI sei genial. Wählt man ein anderes, denkt man, sie sei nutzlos.

⚠️ Warum ist das gefährlich?

Wenn Forscher nicht vorsichtig sind, passieren zwei Dinge:

Falsche Sicherheit: Sie glauben, ihre Ergebnisse seien wahr, dabei sind sie nur ein Zufall ihrer eigenen Einstellungen.
Verlust von Vertrauen: Wenn später herauskommt, dass die Ergebnisse nur durch eine andere Einstellung reproduzierbar waren, verliert die ganze Wissenschaft an Glaubwürdigkeit.

Besonders gefährlich ist es, wenn man versucht, verletzliche oder schwer erreichbare Gruppen (z. B. Minderheiten) durch KI zu simulieren. Wenn die KI schon bei normalen Menschen so launisch ist, wird sie bei diesen Gruppen wahrscheinlich noch ungenauer sein und nur Vorurteile der KI widerspiegeln, statt echte Menschen zu verstehen.

💡 Was sollen Forscher tun? (Die Lösung)

Der Autor gibt drei einfache Ratschläge:

Sei ehrlich und offen: Bevor du beginnst, schreib genau auf: „Ich werde diese und jene Einstellungen testen." Nenne alle deine Entscheidungen (wie ein Koch, der sein Rezept veröffentlicht).
Zeige alle Wege: Zeige nicht nur das eine Ergebnis, das dir gefällt. Zeige eine „Spektrum-Kurve" (Specification Curve), die zeigt, wie sich das Ergebnis ändert, wenn man die Einstellungen leicht verändert. So sehen alle, wie stabil (oder instabil) das Ergebnis ist.
Trainiere und teste: Verwende einen Teil deiner echten Daten, um das beste KI-Rezept zu finden (Kalibrierung), und teste es dann an neuen, echten Daten, um zu sehen, ob es wirklich funktioniert.

🏁 Fazit

Die KI ist ein mächtiges Werkzeug, aber sie ist kein magischer Kristallkugel, die einfach so die Wahrheit ausspuckt. Sie ist wie ein sehr talentierter, aber verwirrter Schauspieler. Wenn man ihm nicht die exakte Regieanweisung gibt, spielt er eine völlig andere Rolle.

Bevor wir uns darauf verlassen, dass Computer Menschen ersetzen können, müssen wir lernen, wie man sie so steuert, dass sie nicht lügen – und das erfordert viel mehr Sorgfalt, als bisher gedacht wurde. Sonst bauen wir eine ganze Bibliothek von wissenschaftlichen Erkenntnissen auf, die auf Sand gebaut sind.

Titel

Die Bedrohung durch analytische Flexibilität bei der Verwendung von Large Language Models (LLMs) zur Simulation menschlicher Daten

1. Problemstellung

Sozialwissenschaftler nutzen zunehmend Large Language Models (LLMs), um „Silicon Samples" (synthetische Datensätze) zu erstellen, die menschliche Befragte ersetzen sollen. Diese Methode verspricht Effizienzsteigerungen, die Untersuchung schwer erreichbarer Populationen und die Vorab-Validierung von Studien.

Das Kernproblem, das in diesem Paper identifiziert wird, ist die analytische Flexibilität („Garden of Forking Paths"). Die Generierung von Silicon Samples erfordert eine Vielzahl von analytischen Entscheidungen, darunter:

Auswahl des Modells (z. B. GPT-4o, Llama, o-Serie).
Hyperparameter-Einstellungen (Temperatur, Reasoning-Effort, Top-k/p).
Prompt-Strategie (Item-für-Item, Skala-für-Skala, „All-in-One").
Umfang der bereitgestellten demografischen Informationen.
Nachbearbeitung der Ausgaben.

Bisher fehlt es an empirischen Belegen dafür, welche dieser Entscheidungen die Übereinstimmung mit menschlichen Daten („Fidelity") am stärksten beeinflussen. Die Sorge besteht, dass Forscher durch die Wahl spezifischer, aber vertretbarer Konfigurationen fast beliebige Ergebnisse erzielen können, was die Validität und Reproduzierbarkeit der Forschung bedroht.

2. Methodik

Die Studie besteht aus zwei Teilen, die die Sensitivität von Silicon Samples gegenüber analytischen Entscheidungen untersuchen.

Studie 1: Kontrollierter Fallstudien-Ansatz

Datenbasis: 85 Teilnehmer aus dem „Attitudes, Identity, and Individual Differences" (AIID) Datensatz.
Messinstrumente: Zwei psychologische Skalen: die „Gut Feelings Scale" (Rassenpräferenz) und die „Belief in a Just World" (BJW) Scale.
Design: Es wurden 252 verschiedene Konfigurationen generiert, indem vier Faktoren variiert wurden:
1. Modellfamilie (9 verschiedene Modelle).
2. Temperatur/Reasoning-Effort (verschiedene Werte).
3. Grad der demografischen Information (keine, nur Alter/Geschlecht, umfangreich).
4. Skalierungs-Prompt-Strategie (all-in-one, skalenweise, itemweise).
Evaluationsmetriken: Die Leistung wurde anhand dreier Kriterien gemessen:
1. Rangkorrelation: Übereinstimmung der ordinalen Rangfolge der Teilnehmer zwischen menschlichen und synthetischen Daten.
2. Verteilungsähnlichkeit: Wasserstein-Distanz zwischen den Antwortverteilungen.
3. Korrelation zwischen Skalen: Fähigkeit, den Zusammenhang zwischen den beiden Skalen korrekt abzubilden.

Studie 2: Reanalyse einer etablierten Studie

Ziel: Überprüfung, ob analytische Flexibilität die Ergebnisse einer hochzitierten, bereits veröffentlichten Studie beeinflusst (Argyle et al., 2023, Studie 3).
Daten: 500 zufällig ausgewählte Teilnehmer aus dem 2016 ANES-Umfrage (American National Election Studies).
Design: 66 alternative Konfigurationen wurden getestet, die das Original-Design von Argyle et al. variierten (unterschiedliche Modelle, Temperaturen, Prompt-Formate und Konditionierungsinformationen).
Evaluationsmetrik: Korrelation zwischen den Cramer's V-Assoziationsmatrizen der menschlichen Daten und den synthetischen Daten (Pattern Correspondence).

3. Wichtige Ergebnisse

Ergebnisse aus Studie 1:

Massive Variabilität: Die analytischen Entscheidungen führten zu erheblichen Schwankungen in der Übereinstimmung mit den menschlichen Daten.
- Rangkorrelation: Lag zwischen $r = -0,27$ und $0,36$ (BJW-Skala) bzw. $-0,25$ und $0,32$ (Gut Feelings).
- Korrelation zwischen Skalen: Die geschätzte Korrelation zwischen BJW und Gut Feelings schwankte dramatisch von $r = -0,40$ bis $0,78$. Der wahre menschliche Wert lag bei $r = 0,26$ .
Fehlende Konsistenz: Eine Konfiguration, die bei einer Metrik (z. B. Rangfolge) gut abschnitt, schnitt bei einer anderen (z. B. Verteilungsform oder Korrelation) oft schlecht ab. Es gibt keine „One-Size-Fits-All"-Lösung.
Demografie-Ironie: Die besten Konfigurationen, die menschliche Daten am genauesten nachbildeten, enthielten oft keine oder nur minimale demografischen Informationen – was dem eigentlichen Zweck von Silicon Samples (demografische Konditionierung) widerspricht.
Stochastik vs. Flexibilität: Selbst bei Temperatur 0 (minimale Zufälligkeit) blieb die Variabilität zwischen Konfigurationen hoch, was zeigt, dass die Unterschiede nicht nur auf Zufall, sondern auf strukturelle Entscheidungen zurückzuführen sind.

Ergebnisse aus Studie 2:

Beeinflussung publizierter Ergebnisse: Die Reanalyse von Argyle et al. (2023) zeigte, dass die Korrelation zwischen menschlichen und synthetischen Assoziationsstrukturen je nach Konfiguration stark variierte: von $r = 0,23$ bis $r = 0,84$ (Originalwert: $0,72$).
Abhängigkeit von der Konfiguration: Ein Forscher könnte je nach gewählter Konfiguration entweder zu einem sehr optimistischen ( $r=0,84$ ) oder einem sehr skeptischen ( $r=0,23$ ) Schluss über die Gültigkeit von Silicon Samples kommen, obwohl dieselben menschlichen Daten und dieselbe Forschungsfrage verwendet wurden.
Ausfallraten: Viele Konfigurationen scheiterten daran, gültige Ausgaben für demografische Variablen (Alter, Geschlecht, Ethnie) zu generieren, was die Vergleichbarkeit weiter einschränkt.

4. Hauptbeiträge

Nachweis der analytischen Flexibilität: Das Paper liefert den ersten direkten empirischen Beweis, dass kleine Änderungen in den Prompt-Engineering-Entscheidungen (Modell, Temperatur, Demografie) die Ergebnisse von Silicon Samples fundamental verändern können.
Inkonsistenz der Metriken: Es wird gezeigt, dass die Leistung von LLMs nicht über verschiedene Datenmerkmale (Rang, Verteilung, Korrelation) hinweg konsistent ist. Ein Modell, das Verteilungen gut abbildet, muss nicht unbedingt Korrelationen korrekt vorhersagen.
Warnung vor „Best Practices": Die Studie widerlegt die Annahme, dass man einfach eine „beste" Konfiguration finden und diese verallgemeinern kann. Die Leistung ist kontext- und merkmalsabhängig.
Reanalyse-Ergebnis: Es wird demonstriert, dass selbst etablierte, hochzitierte Studien durch alternative, aber plausible Konfigurationen in Frage gestellt werden können.

5. Signifikanz und Implikationen

Bedrohung für die Wissenschaft: Ohne strenge Standards droht die Sozialwissenschaft, eine Literatur zu produzieren, die auf willkürlichen methodischen Entscheidungen basiert und nicht replizierbar ist.
Notwendigkeit von Kalibrierung: Die Autoren schlagen vor, Silicon Samples nicht als fertiges Werkzeug zu betrachten, sondern als Ergebnis eines Entwicklungsprozesses. Dies erfordert:
- Präregistrierung der Zielmetriken und Konfigurationen.
- Spezifikationskurven (Specification Curves): Darstellung aller möglichen Ergebnisse über den Raum der analytischen Entscheidungen hinweg.
- Kalibrierungs- und Validierungsansatz: Aufteilung menschlicher Daten in Trainings- (Kalibrierung) und Testsets (Validierung), um die Generalisierbarkeit einer Konfiguration zu prüfen.
Ethische Bedenken: Die Verwendung von Silicon Samples für vulnerable oder schwer erreichbare Gruppen ist ohne sorgfältige Kalibrierung riskant, da die Modelle wahrscheinlich noch schlechter für diese Gruppen funktionieren als für die in den Trainingsdaten gut vertretenen Gruppen.
Fazit: Bevor Silicon Samples als Ersatz für menschliche Teilnehmer akzeptiert werden können, müssen Forscher die analytische Flexibilität aktiv managen und nachweisen, dass ihre spezifische Konfiguration für den jeweiligen Forschungsgegenstand robust ist.