📊 statistics

What is the Causal Effect of a Conversation? Estimands and Inference in AI Mediated Conversations

Diese Arbeit entwickelt ein Potential-Outcomes-Framework für kausale Inferenz in KI-vermittelten Konversationen, das zwischen verschiedenen kausalen Objekten wie Zuweisungsbedingungen, spezifischen Nachrichten und realisierten Konversationsmerkmalen unterscheidet, um die distinkten Schätzer und Identifikationsannahmen zu klären, die erforderlich sind, wenn Konversationen endogen generiert statt lediglich empfangen werden.

Ursprüngliche Autoren: Adriane Fresh, Aiden Shin

Veröffentlicht 2026-07-07

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Adriane Fresh, Aiden Shin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Wissenschaftler, der herausfinden will, was Menschen dazu bringt, ihre Meinung zu ändern. In der Vergangenheit hätten Sie ihnen vielleicht einen Flyer oder ein festes Skript zum Lesen ausgehändigt. Das lässt sich leicht untersuchen: Jeder erhält exakt dasselbe Stück Papier, und wenn sich ihre Meinung ändert, wissen Sie, dass es an diesem Papier lag.

Doch heute nutzen Forscher zunehmend Gespräche als ihre „Behandlung“. Anstatt eines Flyers lassen sie eine Person (oder eine KI) mit dem Subjekt sprechen. Das Problem ist, dass ein Gespräch kein Flyer ist. Es ist ein Tanz.

Dieses Paper argumentiert, dass man, wenn man Gespräche untersucht, sehr vorsichtig damit sein muss, was man eigentlich misst. Wenn man nicht vorsichtig ist, glaubt man vielleicht, den Effekt von „Höflichkeit“ zu messen, während man in Wirklichkeit nur den Effekt davon misst, „einem höflichen Roboter zugewiesen worden zu zu sein“.

Hier ist die Aufschlüsselung der Hauptideen des Papers, unter Verwendung einiger alltäglicher Analogien.

1. Das „Tanzflächen-Problem“

Stellen Sie sich vor, Sie möchten untersuchen, wie Musik das Tanzen beeinflusst.

Der alte Weg (Statische Behandlung): Sie bringen alle in einen Raum und spielen „Lied A“ in einer Endlosschleife. Alle hören exakt dasselbe Lied. Wenn sie unterschiedlich tanzen, liegt es an dem Lied. Einfach.
Der neue Weg (Konversationelle Behandlung): Sie bringen die Leute auf eine Tanzfläche mit einem Partner. Sie sagen Partner A, er solle „nett“ sein, und Partner B, er solle „unfreundlich“ sein.

Hier liegt der Haken: Der Tanz besteht nicht nur daraus, was der Partner tut; er ist das, was beide gemeinsam tun.

Wenn Sie einen „unfreundlichen“ Partner mit einer schüchternen, höflichen Tänzerin zusammenbringen, könnte die schüchtere Tänzerin ihn beruhigen. Der Tanz wird am Ende sehr sanft sein.
Wenn Sie denselben „unfreundlichen“ Partner mit einem lauten, aggressiven Tänzer zusammenbringen, könnte das Gespräch in einem Wortgefecht enden.

Obwohl beide Paare dieselbe Bedingung („unfreundlicher Partner“) zugewiesen bekamen, war das tatsächliche Erlebnis (der Tanz) völlig unterschiedlich. Das Paper nennt dies Endogenität: Das Gespräch wird gemeinsam durch die beiden Personen erschaffen. Man kann nicht einfach sagen: „Der unfreundliche Partner hat das Schreien verursacht“, denn das Schreien hing auch davon ab, wer die andere Person war.

2. Die fünf verschiedenen Dinge, die man messen könnte

Das Paper sagt, dass Forscher oft fünf verschiedene Dinge verwechseln. Denken Sie an diese wie an verschiedene Schichten einer Zwiebel:

Die Zuweisung (Das Ticket): Dies ist das Ticket, das Sie dem Teilnehmer in die Hand drücken. „Sie erhalten den netten Roboter.“ Das ist leicht zu messen. Es sagt Ihnen, was passiert, wenn man jemandem eine Bedingung zuweist. Aber es sagt nichts darüber aus, wie sich das Gespräch tatsächlich angefühlt hat.
Die Eröffnungslinie (Der erste Schritt): Dies ist das allererste, was der Roboter sagt. „Hallo, lassen Sie uns über Politik sprechen.“ Dies ist spezifisch, berücksichtigt aber nicht, wie sich das Gespräch nach diesem ersten Schritt entfaltet.
Die Richtlinie (Das Regelwerk): Dies ist der Satz der Anweisungen, denen der Roboter folgt. „Sei immer höflich, aber wenn sie wütend werden, bleibe ruhig.“ Dies ist ein „Regime“. Es ist ein gutes Maß dafür, wie ein spezifisches System funktioniert, aber es ist immer noch ein Bündel aus vielen verschiedenen möglichen Gesprächen.
Die Botschaft (Der spezifische Schritt): Dies ist ein einzelner Satz, der während des Tanzes gesprochen wird. „Ich verstehe Ihren Punkt.“ Das Paper argumentt, dass dies das Schwierigste zu untersuchende Element ist. Warum? Weil dieser Satz etwas völlig anderes bedeutet, wenn die Person gerade etwas Nettes gesagt hat im Vergleich dazu, wenn sie gerade geschrien hat. Der Kontext verändert die Bedeutung.
Das realisierte Gespräch (Der ganze Tanz): Dies ist die tatsächliche, chaotische, einzigartige Interaktion, die stattgefunden hat. Es ist das Einzige, was für den Teilnehmer wirklich zählt, aber es ist das Schwierigste, wissenschaftlich zu untersuchen, weil niemals zwei Tänze exakt gleich sind.

3. Das „Bündelgeschenk-Problem“

Das Paper verwendet eine großartige Analogie dafür, warum es schwierig ist, spezifische Merkmale (wie „Zivilisiertheit“ oder „Tonfall“) zu untersuchen.

Stellen Sie sich vor, Sie schicken jemandem ein Geschenkpaket.

Das Ziel: Sie möchten wissen, ob die rote Schleife an der Box die Person glücklich macht.
Die Realität: Die Box enthält auch eine Tafel Schokolade, eine Notiz und ein Spielzeug.
Das Problem: Wenn Sie jemandem eine Box mit einer roten Schleife geben, bekommt er auch die Schokolade. Wenn Sie jemandem eine Box mit einer blauen Schleife geben, bekommt er eine andere Schokolade.

Sie können nicht sagen, ob die Schleife sie glücklich gemacht hat oder ob es die Schokolade war. In Gesprächen ist „Zivilisiertheit“ die Schleife, aber sie ist immer mit anderen Dingen gebündelt, wie etwa der „Länge der Rede“, der „emotionalen Intensität“ oder der Frage, „wer gerade spricht“. Man kann sie nicht einfach trennen.

4. Wie lösen wir das also?

Das Paper sagt nicht: „Hört auf, Gespräche zu untersuchen“. Es sagt: „Hört auf, so zu tun, als wären Gespräche einfache Flyer.“

Um klare Antworten zu erhalten, müssen Forscher ihre Experimente ändern:

Passen Sie die Frage an das Design an: Wenn Sie die Wirkung einer Richtlinie untersuchen wollen, randomisieren Sie die Richtlinie. Wenn Sie die Wirkung einer spezifischen Botschaft untersuchen wollen, müssen Sie diese spezifische Botschaft mitten in einem Gespräch randomisieren (indem Sie den Tanz unterbrechen und dem Partner sagen: „Sag jetzt genau diesen Satz“).
Akzeptieren Sie die „lokale“ Wahrheit: Manchmal kann man nur den Effekt auf die Menschen messen, die mit der Behandlung „konform“ gingen. Wenn Sie zum Beispiel einen „unhöflichen“ Bot zuweisen, aber eine höfliche Person ihn beruhigt, können Sie den Effekt der Unhöflichkeit auf diese Person nicht messen. Sie können ihn nur bei denjenigen messen, die tatsächlich in einen Streit geraten sind.
Nutzen Sie „Repräsentationen“: Anstatt zu versuchen, jedes einzelne Wort eines Gesprächs zu vergleichen (was unmöglich ist, da sie alle einzigartig sind), sollten Forscher Gespräche nach ihrem „Vibe“ gruppieren (z. B. „hochgradig feindselig“, „moderat freundlich“) und Nachrichten innerhalb dieser Gruppen vergleichen.

Das Fazit

Gespräche sind kraftvoll, weil sie lebendig sind. Sie reagieren auf Sie. Aber weil sie auf Sie reagieren, sind sie schwer zu untersuchen.

Wenn Sie ein Gespräch wie ein statisches Objekt (wie einen Flyer) behandeln, werden Sie die falsche Antwort erhalten. Sie könnten glauben, Sie untersuchen den Effekt von „Unfreundlichkeit“, während Sie in Wirklichkeit den Effekt von „Unfreundlichkeit gemischt mit der spezifischen Persönlichkeit der Person, mit der Sie gesprochen haben“ untersuchen.

Dieses Paper bietet eine Landkarte, die Forschern hilft, nicht mehr zwischen dem Ticket (Zuweisung) und der Reise (dem eigentlichen Gespräch) sowie der Landschaft (den spezifischen Merkmalen wie Tonfall oder Länge) zu verwechseln. Es sagt uns, dass wir, um zu verstehen, wie Gespräche Köpfe ändern, viel präziser sein müssen darüber, welchen Teil des Gesprächs wir eigentlich messen.

Technisches Resümee: Estimanden und Inferenz in KI-vermittelten Konversationen

Problemstellung
Politikwissenschaftler nutzen zunehmend Konversationen als kausale Behandlungen, die von menschlichen Kanzlern bis hin zu generativer künstlicher Intelligenz (KI) reichen. Während die interaktive, responsive Natur von Konversationen eine hohe ökologische Validität und Skalierbarkeit bietet (insbesondere bei KI), führt sie grundlegende Herausforderungen für die kausale Inferenz ein. Im Gegensatz zu statischen Interventionen (z. B. Flugblättern oder festem Text) werden Konversationen gemeinsam produziert (jointly produced) durch den Befragten und den Interloquutor. Folglich ist der realisierte Gesprächsverlauf endogen zu den Merkmalen des Befragten (z. B. Feindseligkeit, Neugier oder Widerstand).

Das Kernproblem besteht darin, dass die Randomisierung auf eine Konversationsbedingung (z. B. eine „zivile“ vs. eine „unzivile“ KI-Policy) zwar den Effekt der Zuweisung identifiziert, aber nicht notwendigerweise den Effekt der realisierten Konversation oder spezifischer Merkmale innerhalb dieser (z. B. das Ausmaß der Unzivilität) identifiziert. Da sich die Konversation dynamisch basierend auf den Eingaben des Befragten entfaltet, ist die Variation im realisierten Treatment systematisch mit den Merkmalen des Befragten korreliert, die auch die Ergebnisse beeinflussen. Dies erzeugt eine Konfundierung, die Standard-Randomized-Designs ohne zusätzliche Annahmen nicht auflösen können. Das Paper argumentiert, dass die Behandlung der „Konversation“ als monolithisches Treatment die unterschiedlichen theoretischen Objekte (Zuweisung, Policy, Nachricht, Merkmal) verschleiert, die verschiedene kausale Definitionen und Identifikationsstrategien erfordern.

Methodik und Framework
Die Autoren entwickeln ein Potential-Outcomes-Framework, das für sequentielle, interaktive Prozesse angepasst wurde. Sie formalisieren die Konversation als einen pfadabhängigen Prozess, der umfasst:

Zuweisung ( $Z_i$ ): Die randomisierte Bedingung (z. B. Prompt oder Policy).
Policy ( $\pi$ ): Die Regel, die die Antworten des Interlokutors auf die Historie steuert.
Historie ( $H_{it}$ ): Die Sequenz vorangegangener Nachrichten.
Realisierte Konversation ( $C_i$ ): Der vollständige Pfad der Nachrichten, der durch das Zusammenspiel von Policy, Historie und dem Verhalten des Befragten ( $R_i$ ) generiert wird.
Merkmale ( $D_i, B_i$ ): Gemessene und ungemessene latente Merkmale der Konversation (z. B. Tonfall, Zivilität).

Das Framework unterscheidet zwischen der designinduzierten Intervention (was randomisiert wird) und der realisierten Exposition (was der Befragte tatsächlich erlebt). Es nutzt gerichtete azyklische Graphen (Directed Acyclic Graphs, DAGs), um zu illustrieren, wie die Merkmale des Befragten ( $U_i$ ) sowohl den konversativen Pfad als auch das Ergebnis beeinflussen, was selbst unter Randomisierung Endogenität erzeugt.

Das Paper definiert eine Taxonomie von kausalen Estimanden, von denen jeder einem anderen theoretischen Objekt entspricht und unterschiedliche Identifikationsannahmen erfordert:

Zuweisungseffekt ( $\tau_Z$ ): Der Intent-to-Treat (ITT)-Effekt der Zuweisung zu einer Bedingung. Identifizierbar unter Standard-Randomisierungsannahmen (Konsistenz, Keine Interferenz, Ignorierbarkeit, Positivität).
Eröffnungsnachrichteneffekt ( $\tau_{A0}$ ): Der Effekt der initialen Nachricht. Identifizierbar, wenn die Nachricht direkt randomisiert wird, aber oft konfundiert, wenn die Nachricht ein Proxy für ein latentes Merkmal ist.
Policy-Effekt ( $\tau_\pi$ ): Der Effekt der Implementierung eines spezifischen konversativen Regimes. Identifizierbar unter Randomisierung der Policy, unter der Annahme einer stabilen Implementierung. Dies ist jedoch ein aggregierter Effekt, der über diverse konversative Trajektorien mittelt.
Nachrichteneffekt ( $\tau_{A_t}$ ): Der Effekt einer spezifischen Nachricht conditional auf die Historie. Erfordert sequentielle Ignorierbarkeit (die nächste Nachricht ist bedingt auf die Historie „als ob“ zufällig). Das Paper argumentiert, dass dies oft verletzt wird, da die Historie endogen zu den Merkmalen des Befragten ist.
Merkmalseffekt ( $\tau_D$ ): Der Effekt eines latenten Merkmals (z. B. Unzivilität). Erfordert, dass die Variation des Merkmals von anderen ungemessenen Komponenten der Nachricht entkoppelt ist (Bundling Bias).
Realisierter Konversationseffekt ( $\tau_C$ ): Der Effekt des vollständigen Pfades. Erfordert Konversations-Ignorierbarkeit, was im Allgemeinen nicht testbar ist und unwahrscheinlich erfüllt wird, da Konversationen gemeinsam produziert werden.
Dosierungseffekt ( $\tau_E$ ): Der Effekt der kumulativen Exposition gegenüber einem Merkmal. Erbt die Konfundierung des Merkmals-Level-Estimands.

Zentrale Ergebnisse und Propositionen
Das Paper präsentiert mehrere Propositionen, die die Grenzen der Identifikation in konversativen Settings formalisieren:

Proposition 1 (Selektionsverzerrung): Der Vergleich von Ergebnissen über verschiedene Nachrichten hinweg scheitert daran, den Nachrichteneffekt zu isolieren, da die Nachrichten durch unterschiedliche Historien generiert werden, welche wiederum durch unbeobachtete Merkmale des Befragten ( $U_i$ ) getrieben werden.
Proposition 2 (Feature Bundling Bias): Die Variation eines Merkmals von Interesse (z. B. Tonfall) ist typischerweise mit anderen ungemessenen Aspekten der Nachricht gebündelt. Die Randomisierung der Nachricht isoliert den Merkmalseffekt nicht.
Proposition 3 (Endogenität von Pfaden): Die realisierte Konversation ist sowohl ein Treatment als auch ein Indikator für die Charakteristika des Befragten. Der Vergleich realisierter Pfade konfundiert den Treatment-Effekt mit der Heterogenität des Befragten.
Proposition 4 (Dosierungserbe): Die Aggregation von Merkmalen zu einem Dosierungsmaß löst die zugrunde liegende Konfundierung auf dem Merkmals-Level nicht auf.

Implikationen für das Forschungsdesign
Die Autoren schlagen mehrere Designstrategien vor, um Estimanden mit Forschungszielen in Einklang zu bringen:

Estimand an Design anpassen: Forscher müssen explizit definieren, ob sie an der Zuweisung, der Policy oder spezifischen Merkmalen interessiert sind, und das Design entsprechend gestalten.
Turn-Level-Randomisierung: Anstatt die gesamte Bedingung zu randomisieren, können Forscher spezifische Nachrichten zu bestimmten Zeitpunkten (conditional auf die Historie) randomisieren. Dies erzeugt einen Local Average Treatment Effect (LATE) für spezifische konversative Zustände und reduziert so die Endogenität.
Conditional Average Treatment Effects (CATE): Indem Forscher auf Repräsentationen der Historie konditionieren (z. B. „ziviler“ vs. „feindseliger“ Kontext) anstatt auf die vollständige hochdimensionale Historie, können sie schätzen, wie Nachrichteneffekte je nach Kontext variieren.
Average Marginal Component Effect (AMCE): Die Aggregation von CATEs über die beobachtete Verteilung konversativer Kontexte hinweg, um durchschnittliche Nachrichteneffekte zusammenzufassen.
Instrumentvariablen (LATE): Wenn die realisierte Exposition nicht direkt manipulierbar ist, kann die Zuweisung als Instrument für das realisierte Merkmal dienen, um einen Local Average Treatment Effect für „Complier“ (jene, deren Konversation durch die Zuweisung verschoben wurde) zu identifizieren.
Beschränkte Protokolle (Constrained Protocols): Die Einschränkung des Nachrichtenraums (z. B. Multiple-Choice-Antworten), um die empirische Unterstützung für Vergleiche zu verbessern, wobei dies möglicherweise zulasten der ökologischen Validität geht.

Bedeutung und Ansprüche
Das Paper beansprucht, eine gemeinsame Sprache für die Definition und Interpretation kausaler Effekte in konversativen Settings bereitzustellen, insbesondere wenn diese durch KI vermittelt werden. Sein primärer Beitrag besteht nicht darin, Forschern zu raten, sich nur auf leicht identifizierbare Estimanden (wie ITT) zurückzuziehen, sondern die Trade-offs zu klären, die mit der Untersuchung komplexer, theoretisch reichhaltiger Objekte wie „Überzeugung“ oder „Deliberation“ verbunden sind.

Die Autoren argumentieren, dass die Lücke zwischen dem, was zugewiesen wird, und dem, was erlebt wird, ein fundamentales Merkmal sozialer Interaktion ist und nicht bloß ein methodisches Versagen. Indem sie die Annahmen, die für den Übergang von der Zuweisung zu den realisierten Merkmalen erforderlich sind, explizit machen, ermöglicht das Framework den Wissenschaftlern:

Empirische Strategien besser mit theoretischen Zielen abzustimmen.
Funde mit angemessener Vorsicht hinsichtlich der Konfundierung zu interpretieren.
In Forschungsdesigns zu innovieren (z. B. sequentielle Randomisierung), um spezifische kausale Objekte zu adressieren.

Das Paper schließt mit dem Argument, dass Konversationen deshalb kraftvoll sind, weil sie adaptiv und gemeinsam produziert werden, aber genau diese Merkmale kausale Effekte schwerer definierbar und identifizierbar machen. Das Framework dient dazu, diese Komplexität zu navigieren, anstatt sie zu eliminieren.