💬 NLP

The Illusion of Intervention: Your LLM-Simulated Experiment is an Observational Study

Dieser Artikel warnt davor, dass von LLMs simulierte Experimente aufgrund des Trainings auf Beobachtungsdaten unter „User Drift" leiden, was zu Verzerrungen durch Confounder führt, und schlägt vor, negative Kontrollergebnisse zur Erkennung dieses Problems sowie verfeinerte Persona-Spezifikationen zu dessen Eindämmung einzusetzen.

Ursprüngliche Autoren: Victoria Lin, Taedong Yun, Maja Matarić, John Canny, Arthur Gretton, Alexander D'Amour

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Victoria Lin, Taedong Yun, Maja Matarić, John Canny, Arthur Gretton, Alexander D'Amour

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Das „Chamäleon"-Problem

Stellen Sie sich vor, Sie sind ein Wissenschaftler, der zwei verschiedene Gesundheitscoaches testen möchte. Sie wollen wissen, welcher von beiden Menschen besser zum Sport bewegt.

In einer perfekten Welt würden Sie eine Person nehmen, ihr Coach A zeigen und ihr dann Coach B zeigen. Da es dieselbe Person ist, wäre jeder Unterschied in ihrer Reaktion definitiv auf den Coach zurückzuführen und nicht darauf, dass sich die Person verändert hat.

Aber man kann nicht für jeden Test echte Menschen verwenden (es ist zu teuer und zu langsam). Daher verwenden Forscher KI-generierte „synthetische Nutzer" (LLMs), die so tun, als wären sie Menschen. Sie geben der KI eine einfache „Persona", wie zum Beispiel: „Du bist ein 30-jähriger Mann."

Das Problem: Das Paper argumentiert, dass diese KI-Nutzer wie Chamäleons sind. Wenn Sie ihnen Coach A zeigen, entscheidet die KI möglicherweise im Geheimen: „Oh, dieser Coach klingt technisch, also werde ich so tun, als wäre ich ein ernsthafter Sportler." Aber wenn Sie ihr Coach B zeigen, denkt die KI vielleicht: „Dieser Coach ist locker, also werde ich so tun, als wäre ich ein Couch-Potato."

Obwohl Sie mit exakt demselben Prompt „30-jähriger Mann" begonnen haben, hat sich die KI bis zum Zeitpunkt, an dem Sie ihre Meinung einholen, in zwei völlig unterschiedliche Personentypen verdriftet. Das lässt es so aussehen, als wären die Coaches unterschiedlich, wobei Sie in Wirklichkeit nur einen ernsthaften Sportler mit einem Couch-Potato verglichen haben.

Das Kernproblem: „User Drift" (Nutzer-Verdriftung)

Die Autoren nennen dies User Drift.

Die Illusion: Wir glauben, ein faires, kontrolliertes Experiment durchzuführen (wie einen wissenschaftlichen Versuch).
Die Realität: Da KI-Modelle mit realen Daten trainiert wurden (in denen Menschen ihre eigenen Wege wählen), neigen sie dazu, die „Lücken" einer Persona basierend auf der Situation auszufüllen.
Das Ergebnis: Die „Population" der KI-Nutzer ändert sich je nachdem, welche Behandlung sie erhalten. Dies erzeugt einen Selektionsbias. Es ist so, als würden Sie ein neues Auto für Team A auf einer Rennstrecke testen, aber aus Versehen Team B auf einem schlammigen Feld testen. Wenn Team A gewinnt, liegt es dann am Auto oder an der Strecke?

Wie sie die KI auf frischer Tat ertappten

Um zu beweisen, dass die KI verdriftet, verwendeten die Forscher einen Trick namens Negative Control Outcomes (negative Kontrollergebnisse).

Stellen Sie sich das wie einen Lügendetektortest für das Experiment vor.

Sie stellten den KI-Nutzern Fragen, die sich nicht ändern sollten, egal mit welchem Coach sie gesprochen hatten. Zum Beispiel: „Was ist Ihre Rasse?" oder „Was ist Ihre Staatsbürgerschaft?"
Bei einem echten menschlichen Experiment ändert sich Ihre Rasse nicht nur, weil Sie mit einem anderen Coach gesprochen haben.
Die Entdeckung: In den KI-Experimenten änderten sich die Antworten tatsächlich. Die KI, die mit Coach A sprach, begann zu behaupten, einer anderen politischen Partei anzugehören oder andere Hobbys zu haben als die KI, die mit Coach B sprach, obwohl sie mit demselben Prompt gestartet waren.
Die Schlussfolgerung: Wenn sich die „unveränderlichen" Merkmale der KI verschieben, dann verschieben sich wahrscheinlich auch ihre „veränderlichen" Meinungen (das Hauptergebnis). Das Experiment ist kontaminiert.

Die Lösung: Der KI eine „Hintergrundgeschichte" geben

Die Forscher fanden einen Weg, das Chamäleon daran zu hindern, die Farbe zu wechseln. Sie erkannten, dass sie der KI vor Beginn des Experiments eine viel detailliertere „Hintergrundgeschichte" geben mussten.

Der alte Weg: „Du bist ein 30-jähriger Mann." (Zu vage, die KI füllt die Lücken basierend auf dem Coach aus).
Der neue Weg: „Du bist ein 30-jähriger Mann, der in Ohio lebt, 50.000 Dollar verdient, Wandern liebt, Demokrat ist und jeden Sonntag zur Kirche geht."

Indem sie der KI diese spezifischen Details explizit mitteilten (die die Autoren als Confounder bezeichnen), „sperrten" sie die Persona fest. Die KI konnte nicht in einen anderen Personentyp verdriften, weil die Anweisungen zu spezifisch waren.

Sie testeten dies, indem sie Details schrittweise hinzufügten. Zuerst fügten sie nur demografische Daten hinzu (Alter, Ort). Das half ein wenig. Aber die wahre Magie geschah, als sie zielgerichtete Fragen hinzufügten, die sich auf das spezifische Thema bezogen (z. B. die KI vor dem Test nach ihren spezifischen Ansichten zum Thema zu fragen). Dies stoppte die Verdriftung und machte die Ergebnisse stabil.

Die Quintessenz

Das Paper kommt zu dem Schluss, dass KI-Simulationen keine magischen Spiegel der Realität sind; sie sind eher wie Beobachtungsstudien.

Nur weil Sie eine KI dazu auffordern, ein „Nutzer" zu sein, bedeutet das nicht, dass sie dieser Nutzer bleibt. Wenn Sie den Ergebnissen eines KI-Experiments vertrauen wollen, können Sie nicht einfach davon ausgehen, dass die KI konsistent ist. Sie müssen:

Auf Verdriftung prüfen: Stellen Sie der KI Fragen, die sich nicht ändern sollten, um zu sehen, ob sie heimlich ihre Identität ändert.
Die Persona sperren: Geben Sie der KI eine sehr detaillierte, spezifische Hintergrundgeschichte, die die Dinge abdeckt, die sich sonst ändern könnten.

Ohne diese Schritte könnten Sie glauben, eine neue Wahrheit über menschliches Verhalten entdeckt zu haben, aber tatsächlich haben Sie nur herausgefunden, wie gut die KI darin ist, so zu tun, als wäre sie verschiedene Menschen.

Technische Zusammenfassung: Die Illusion der Intervention in LLM-simulierten Experimenten

Problemstellung

Large Language Models (LLMs) werden zunehmend genutzt, um menschliches Verhalten für synthetische Experimente zu simulieren, wie etwa zur Evaluierung von KI-Agenten oder zur Durchführung groß angelegter Umfragen. Die vorherrschende Annahme ist, dass Forscher durch die Initialisierung identischer LLMs mit derselben Persona (z. B. „ein 30-jähriger Mann") und deren Aussetzung gegenüber verschiedenen Interventionen (z. B. Agent A vs. Agent B) einen randomisierten kontrollierten Versuch (RCT) nachahmen können, um kausale Effekte zu schätzen.

Dieses Papier argumentiert jedoch, dass solche synthetischen Experimente unter User Drift (Benutzerdrift) leiden, was sie eher zu Beobachtungsstudien als zu randomisierten Versuchen macht. Da LLMs auf Beobachtungsdaten trainiert sind und durch abduktives Schlussfolgern operieren, leiten sie nicht näher definierte latente Attribute ( $X \setminus L$ ) ab, um Kohärenz mit dem Interventionskontext ( $A$ ) zu wahren. Folglich können zwei synthetische Benutzer, die mit identischen beobachteten Attributen ( $L$ ) initialisiert wurden, je nach erhaltener Intervention in unterschiedliche latente Populationen abdriften. Dies erzeugt einen Selektionsbias (Confounder), bei dem die Verteilung latenter Benutzerattribute über die Behandlungsbedingungen hinweg unterschiedlich ist ( $P(X | A=1, L) \neq P(X | A=0, L)$ ), was den geschätzten Behandlungseffekt ( $\tau_{obs}$ ) vom wahren kausalen Effekt ( $\tau_{ATE}$ ) verzerrt.

Methodik

Formalisierung des Bias

Die Autoren formalisieren das Problem unter Verwendung des Rahmens potenzieller Ergebnisse. In einem idealen RCT stellt die randomisierte Zuweisung sicher, dass Hintergrundfaktoren ausgeglichen sind. In LLM-Simulationen faktorisiert der generative Prozess die gemeinsame Verteilung als $P(L, A, X, Y)$ anstatt als kausale Reihenfolge $P(X, L, A, Y)$ . Wenn eine Intervention $A$ eingeführt wird, leitet das LLM latente Attribute $X \setminus L$ ab, die mit $A$ konsistent sind, wodurch ein offener Backdoor-Pfad von $A$ zu $Y$ über unbeobachtete Benutzerattribute entsteht. Dies induziert einen Bias-Term $\delta_{SB}$ , sodass $\tau_{ATE} = \tau_{obs} - \delta_{SB}$ gilt.

Diagnose: Negative Kontrollergebnisse

Um diese Drift zu erkennen, ohne die vollständige latente Persona zu beobachten, schlagen die Autoren die Verwendung von negativen Kontrollergebnissen ( $Z$ ) vor. Dies sind Variablen, die:

Kausal von der Intervention $A$ unbeeinflusst sein sollten (invariant unter Behandlung).
Von denselben unbeobachteten latenten Attributen ( $X \setminus L$ ) abhängen, die die Drift im primären Ergebnis antreiben.

Beispiele sind demografische Attribute (Herkunft, Staatsbürgerschaft) oder stabile Überzeugungen, die sich nicht ändern sollten, je nachdem, ob ein Benutzer mit einem „positiven" oder „negativen" KI-Agenten interagiert. Die Autoren quantifizieren die Drift mithilfe der Total Variation Distance (TVD) zwischen den Verteilungen von $Z$ unter verschiedenen Interventionsbedingungen ( $A=0$ vs. $A=1$ ). Eine von Null verschiedene TVD zeigt an, dass die Intervention die latente Benutzerpopulation verschoben hat, was auf Confounding hinweist.

Minderung: Iterative Confounder-Anpassung

Um den Bias zu reduzieren, schlagen die Autoren ein iteratives Verfahren vor, um zusätzliche Confounder ( $L'$ ) zu ermitteln und zu spezifizieren, die als Proxy für die unbeobachteten latenten Attribute dienen.

Ermittlung: Das System fordert den synthetischen Benutzer nach der Intervention nach spezifischen Attributen auf (z. B. Einkommen, Religion oder gezielte Fragen im Zusammenhang mit der Intervention).
Sampling: Neue Confounder werden aus einer behandlungsuniformen Mischverteilung gesampelt, um sicherzustellen, dass die angepasste Population ein randomisiertes Szenario widerspiegelt.
Iteration: Diese ermittelten Attribute werden zur Persona-Spezifikation hinzugefügt ( $\tilde{L} = L \cup L'$ ), und das Experiment wird erneut durchgeführt. Diese Schleife wird fortgesetzt, bis die TVD der negativen Kontrollergebnisse stabilisiert ist oder unter einen Schwellenwert fällt.

Die Autoren betonen, dass dies ein iterativer, zielgerichteter Ansatz ist und keine einmalige Spezifikation aller möglichen Attribute, um eine Verschlechterung des Kontextfensters und Sampling-Bias zu vermeiden.

Hauptbeiträge

Formalisierung des User Drift: Das Papier liefert einen Rahmen für kausale Inferenz, der zeigt, dass LLM-simulierte Experimente inhärent unter Selektionsbias leiden, bedingt durch interventionsabhängige Verschiebungen latenter Benutzerattribute.
Empirische Diagnose: Es führt die Verwendung negativer Kontrollergebnisse und der Total Variation Distance als praktisches Werkzeug ein, um User Drift und Selektionsbias über verschiedene LLM-Familien hinweg zu diagnostizieren.
Minderungsstrategie: Es zeigt, dass eine zielgerichtete, iterative Ermittlung von Confoundern während der Persona-Spezifikation den Selektionsbias erheblich reduzieren und die Effekt-Schätzungen sowohl in Umfragen als auch in Multi-Turn-Agenten-Evaluierungsszenarien stabilisieren kann.

Ergebnisse

Die Autoren bewerteten ihren Ansatz über mehrere Modelle (Qwen3, GPT-OSS, Gemma, Gemini) und Datensätze (OpinionQA, Book Opinions, MovieLens).

Vorhandensein von Drift: Bei Iteration 0 (Basislinie) wurde bei den meisten Modellen und Datensätzen eine erhebliche TVD in den negativen Kontrollergebnissen beobachtet, was bestätigt, dass identische initiale Personas je nach Intervention in unterschiedliche latente Populationen abdriften. Bemerkenswerterweise zeigten Modelle mit stärkeren abduktiven Schlussfolgerungsfähigkeiten (z. B. Gemma-4) mehr Drift als kleinere, weniger leistungsfähige Modelle.
Auswirkung der Anpassung: Die iterative Confounder-Anpassung reduzierte die TVD im Allgemeinen, was auf eine Verringerung des User Drift hindeutet.
- In Umfrageszenarien (OpinionQA) nahm die TVD über die Iterationen hinweg konsistent ab.
- In Agenten-Evaluierungsszenarien variierten die Ergebnisse; einige Modelle (z. B. Gemma-4) zeigten deutliche Reduktionen, während andere (z. B. GPT-OSS-20B) eine flache oder schwach veränderliche TVD aufwiesen, was darauf hindeutet, dass prompt-basierte Konditionierung in Multi-Turn-Szenarien nicht einheitlich effektiv ist.
Auswirkung auf Effekt-Schätzungen: Die beobachteten Behandlungseffekte ( $\tau_{obs}$ ) verschoben sich in den frühen Anpassungsiterationen signifikant, bevor sie sich stabilisierten. Dies bestätigt, dass naive Schätzungen durch User Drift confoundet waren.
Design-Feinheiten: Die Studie ergab, dass das Hinzufügen generischer demografischer Attribute zu Beginn die TVD (Selektionsbias) manchmal sogar erhöhen konnte, bevor zielgerichtete, aufgaben spezifische Confounder sie reduzierten. Dies unterstreicht die Bedeutung der Auswahl von Confoundern, die für die spezifische Behandlung und das Ergebnis relevant sind.

Bedeutung und Behauptungen

Das Papier kommt zu dem Schluss, dass Evaluierungen mit synthetischen Benutzern standardmäßig als Beobachtungsstudien und nicht als randomisierte Experimente behandelt werden sollten. Die „Illusion der Intervention" entsteht, weil die generative Natur des LLM es der Intervention ermöglicht, den latenten Zustand des simulierten Benutzers retroaktiv zu beeinflussen.

Die Autoren behaupten, dass:

Ohne Diagnose und Minderung synthetische Benutzerexperimenten riskieren, aufgrund unbeobachteten Selektionsbias irreführende kausale Schätzungen zu produzieren.
Negative Kontrollergebnisse ein notwendiges Diagnosewerkzeug darstellen, um diesen Bias zu erkennen.
Eine iterative, zielgerichtete Confounder-Anpassung eine gangbare Strategie zur Verbesserung der internen Validität ist, obwohl sie nicht die Beseitigung aller Bias garantiert, insbesondere wenn erhebliche latente Variation ungemessen bleibt.

Die Arbeit dient als warnender Rahmen für Forscher, die LLMs zur Simulation menschlicher Reaktionen nutzen, und fordert einen Wechsel vom Vorurteil kausaler Gültigkeit hin zur aktiven Diagnose und Korrektur von User Drift.