Causal Inference with Generative Artificial Intelligence: Application to Texts as Treatments

Dieses Paper schlägt eine Generative AI-Powered Inference (GPI)-Methodik vor, die große Sprachmodelle nutzt, um Behandlungen zu generieren und deren interne Repräsentationen zu verwenden, um eine genauere und effizientere Schätzung kausaler Effekte aus unstrukturiertem Text zu ermöglichen, wodurch die Notwendigkeit entfällt, kausale Repräsentationen direkt aus Daten zu lernen, und gängige Herausforderungen wie Confounding und Verletzungen der Überlappung überwunden werden.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht herauszufinden, ob ein bestimmtes Detail in einer Geschichte das Gefühl der Menschen gegenüber einer Figur verändert. Nehmen wir an, Sie wollen wissen: Erhöht ein militärischer Hintergrund die Sympathie von Wählern für einen Politiker?

Das Problem ist, dass reale Geschichten chaotisch sind. Ein Politiker mit einem militärischen Hintergrund könnte auch zufällig älter sein, ein anderes Bildungsniveau haben oder seine Biografie in einem emotionaleren Ton verfasst haben. Wenn Sie einfach nur zwei beliebige Biografien vergleichen, können Sie nicht sagen, ob die Wähler den Kandidaten wegen des militärischen Teils oder wegen des Bildungsteils mochten. In der Wissenschaft nennen wir diese chaotischen Zusatzdetails „Confounder“ (Störvariablen).

Traditionell versuchen Forscher, dies zu beheben, indem sie Computer nutzen, um Texte zu „lesen“ und zu erraten, worin die Confounder bestehen. Aber das ist so, als würde man versuchen, ein schmutziges Fenster zu reinigen, indem man rät, wo der Dreck sitzt; es ist schwer, langsam und oft ungenau.

Dieses Paper stellt ein neues Werkzeug namens GPI (Generative-AI Powered Inference) vor. So funktioniert es, erklärt anhand einer einfachen Analogie:

Die magische Fotokopierstation (Die GenAI)

Anstatt nur bestehende Geschichten zu lesen, nutzen die Forscher eine „magische Fotokopierstation“ (ein Large Language Model, oder LLM), um die Geschichten für sie zu schreiben.

1. Der Prompt: Der Forscher sagt der Maschine: „Schreibe eine Biografie eines Politikers, der einen militärischen Hintergrund hat.“ Dann sagt er: „Schrebe eine Biografie eines Politikers, der keinen militärischen Hintergrund hat.“
2. Der geheime Bauplan: Hier liegt die Superkraft. Wenn die KI die Geschichte schreibt, spuckt sie nicht einfach nur Wörter aus; sie erstellt einen verborgenen, internen „Bauplan“ (eine mathematische Repräsentation) von genau dem, was sie geschrieben hat.
3. Der Trick: Da die KI die Geschichte geschrieben hat, haben die Forscher Zugriff auf diesen perfekten, verborgenen Bauplan. Sie wissen genau, was die KI in den Text eingebaut hat, um ihn über das Militär handeln zu lassen, und sie wissen, was sie für alles andere (wie Bildung oder Tonfall) eingefügt hat.

Der „Deconfounder“ (Der Filter)

Die Forscher nutzen diesen perfekten Bauplan, um einen speziellen Filter namens Deconfounder zu bauen.

• Der alte Weg: Stellen Sie sich vor, Sie versuchen, rote und blaue Murmeln zu trennen, die miteinander verklebt sind. Sie müssen raten, wie Sie sie auseinanderziehen können.
• Der GPI-Weg: Da die KI die Geschichte geschrieben hat, besitzen die Forscher die „Bedienungsanleitung“. Sie können den Bauplan betrachten und sagen: „Okay, dieser Teil des Bauplans ist die Zutat ‚Militär‘, und dieser andere Teil des Bauplans ist die Zutat ‚Bildung‘.“ Sie können den militärischen Teil mathematisch isolieren, ohne den Bildungsanteil zu beeinflussen.

Dies ermöglicht es ihnen zu fragen: „Wenn wir die Bildung und den Tonfall exakt gleich halten, aber nur den militärischen Teil ändern, wie verändert sich dann die Bewertung der Wähler?“

Warum das besser ist

Das Paper behauptet, dass diese Methode wie ein Upgrade von einem Handkurbel-Taschenrechner zu einem Supercomputer ist, und nennt dafür zwei Hauptgründe:

1. Genauigkeit: Da sie den wahren internen Bauplan der KI verwenden anstatt nur den Sinn des Textes zu erraten, erhalten sie ein viel klareres Ergebnis. In ihren Tests wies ihre Methode weniger „Rauschen“ (Fehler) auf und lieferte zuverlässigere Ergebnisse als die besten existierenden Methoden.
2. Geschwindigkeit: Die alten Methoden sind wie der Versuch, ein riesiges Puzzle zu lösen, indem man sich jedes einzelne Teil einzeln ansieht. Die neue Methode ist wie das Vorhandensein des Bildes auf dem Karton; sie löst das Problem etwa 100 Mal schneller.

Der „Text Reuse“-Kniff

Die Forscher haben auch eine coole Abkürzung gefunden. Wenn man eine bestehende Biografie nimmt und die KI bittet, „genau dieselbe Geschichte umzuschreiben“, erstellt die KI einen neuen, perfekten Bauplan für diesen alten Text. Das bedeutet, man muss keine neuen Geschichten von Grund auf neu generieren; man kann alte Daten verwenden, sie der KI zuführen und die gleichen hochwertigen Ergebnisse erzielen.

Das Wesentliche

Das Paper argumentt, dass, indem wir generative KI nicht nur dazu nutzen, Text zu generieren, sondern um die verborgene Struktur dieses Textes zu verstehen, wir das chaotische Geflecht von Ursache und Wirkung in den Sozialwissenschaften endlich entwirren können.

• Das Ziel: Den wahren Effekt einer spezifischen Sache (wie dem Militärdienst) auf ein Ergebnis (wie die Zufriedenheit der Wähler) zu messen.
• Das Problem: Andere Dinge (Confounder) sind vermischt.
• Die Lösung: Eine KI nutzen, um den Text zu generieren oder umzuschreiben, ihren „geheimen Bauplan“ zu greifen und so Ursache und Rauschen perfekt zu trennen.

Die Autoren testeten dies an realen Wählerumfragen und fanden heraus, dass ein militärischer Hintergrund tatsächlich dazu führt, dass Wähler eine positivere Einstellung gegenüber Kandidaten entwickeln, und sie konnten dies mit viel größerer Sicherheit und Geschwindigkeit als bisher beweisen. Sie merken auch an, dass dieselbe Logik in Zukunft auch für Bilder und Videos funktionieren könnte, sofern die KI in der Lage ist, diese mit ähnlicher Präzision zu generieren.

Technische Zusammenfassung

Technische Zusammenfassung: Kausale Inferenz mit Generativer Künstlicher Intelligenz: Anwendung auf Texte als Behandlungen

Problemstellung
Die Arbeit befasst sich mit der Herausforderung, kausale Effekte zu schätzen, wenn Behandlungen unstrukturierte, hochdimensionale Objekte sind, wie etwa Texte. In der traditionellen kausalen Inferenz mit Text müssen Forscher eine niedrigdimensionale Repräsentation konfundierender Merkmale (z. B. Tonfall, Länge, spezifische Themen) aus den Daten lernen, um diese zu adjustieren. Bestehende Methoden, wie etwa solche, die BERT-Embeddings oder Themenmodelle verwenden, versuchen, diese Repräsentationen direkt aus den Behandlungstexten zu lernen. Dieser Prozess hat jedoch oft Schwierigkeiten, das spezifische Behandlungsmerkmal (z. B. militärischer Hintergrund) von anderen korrelierten konfundierenden Merkmalen zu trennen, was zu verzerrten Schätzungen und Verletzungen der Overlap-Annahme führt. Zudem ist das Lernen dieser Repräsentationen aus Daten rechenintensiv und führt möglicherweise nicht zu genauen kausalen Schätzungen, insbesondere wenn die Konfundierung stark ausgeprägt ist.

Methodik: GenAI-Powered Inference (GPI)
Die Autoren schlagen die Methodik der GenAI-Powered Inference (GPI) vor, welche tiefe generative Modelle, speziell Large Language Models (LLMs), nutzt, um die kausale Inferenz zu verbessern. Die zentrale Innovation liegt in der Nutzung der wahren internen Repräsentation generierter Texte direkt aus dem LLM, anstatt eine Repräsentation aus den Daten zu lernen.

1. Experimentelles Design:

   • Forscher verwenden ein LLM, um Behandlungsobjekte (Texte) basierend auf spezifischen Prompts zu generieren. Alternisch können bestehende Texte „wiederverwendet“ werden, indem man das LLM anweist, sie exakt zu reproduzieren.
   • Das LLM muss im Modus der deterministischen Dekodierung (z. B. Greedy Search mit einer Temperatur von Null) operieren, um sicherzustellen, dass der Output eine deterministische Funktion der internen Repräsentation ist.
   • Die interne Repräsentation ($R_i$) des generierten Textes wird direkt aus den verborgenen Schichten (Hidden Layers) des LLM extrahiert.

2. Kernannahmen:

   • Separabilität (Annahme 5): Das Behandlungsmerkmal ($T$) und die konfundierenden Merkmale ($U$) müssen separierbar sein. Speziell darf $T$ keine deterministische Funktion von $U$ sein, und $U$ darf keine deterministische Funktion von $T$ sein. Dies impliziert, dass man in das Behandlungsmerkmal intervenieren kann, ohne die konfundierenden Merkmale zu verändern.
   • Deterministische Dekodierung (Annahme 6): Der Output des generativen Modells ist eine deterministische Funktion seiner internen Repräsentation, was sicherstellt, dass das Behandlungs-Objekt nur über diese Repräsentation vom Prompt abhängt.

3. Identifikation und Schätzung:

   • Nichtparametrische Identifikation: Unter den Annahmen der Separabilität und der deterministischen Dekodierung beweisen die Autoren die Existenz einer Deconfounder-Funktion $f(R_i)$, die die konfundierenden Merkmale zusammenfasst. Dieser Deconfounder ist eine niedrigdimensionale Repräsentation des internen Zustands $R_i$, die die bedingte Unabhängigkeit erfüllt: $Y_i \perp R_i \mid T_i, f(R_i)$.
   • Schätzstrategie: Die Autoren verwenden eine neuronale Netzwerkarchitektur basierend auf TarNet, um den Deconfounder und die bedingte Outcome-Funktion simultan zu schätzen.
   • Double Machine Learning (DML): Um asymptotisch valide Konfidenzintervalle zu erhalten, wendet die Methode DML an. Entscheidend ist, dass der Propensity Score als Funktion des geschätzten Deconfounders modelliert wird und nicht als Funktion der rohen internen Repräsentation. Dies vermeidet die Verletzung der Overlap-Annahme, die auftreten würde, wenn der Propensity Score direkt auf der hochdimensionalen internen Repräsentation modelliert würde (in der das Behandlungsmerkmal eine deterministische Funktion ist).
   • Wahrgenommene Behandlungen: Die Methodologie wird auf Settings ausgeweitet, in denen Probanden Behandlungsmerkmale unterschiedlich wahrnehmen, indem ein Instrumentalvariablen-Ansatz verwendet wird, bei dem das tatsächliche Behandlungsmerkmal als Instrument für das wahrgenommene Merkmal dient.

Wesentliche Beiträge

• Nutzung wahrer interner Repräsentationen: Im Gegensatz zu vorangegangener Arbeit, die Repräsentationen aus Daten lernt (z. B. via BERT-Embeddings), extrahiert GPI die wahre vektorisierte Repräsentation direkt aus Open-Source-LLMs. Dies eliminiert die Notwendigkeit, kausale Repräsentationen aus den Daten zu lernen, was sowohl die Genauigkeit als auch die Recheneffizienz verbessert.
• Formalisierung der Separabilität: Die Arbeit etabliert die „Separabilität“-Annahme formal als notwendige Bedingung für die nichtparametrische Identifikation in diesem Kontext und verknüpft sie mit dem Konzept der Disentanglement und der Overlap-Annahme.
• Diagnosewerkzeuge: Die Autoren schlagen Diagnosewerkzeuge vor, einschließlich der Analyse von Propensity-Score-Verteilungen und des Independence-of-Support-Scores (IOSS), um potenzielle Verletzungen der Separabilitätsannahme zu detektieren.
• Effiziente Schätzung: Durch die Verwendung der internen Repräsentation und einer spezifischen neuronalen Netzwerkarchitektur vermeidet die Methode den „Fluch der Dimensionalität“ und die Verletzungen der Overlap-Annahme, die bei bestehenden Methoden des kausalen Repräsentationslernens üblich sind.

Ergebnisse
Die Autoren evaluieren GPI durch Simulationsstudien basierend auf dem Candidate Profile Experiment (Fong und Grimmer, 2016) sowie eine empirische Anwendung desselben Datensatzes.

• Simulationsstudien:

  • Unter der Separabilitätsannahme zeigt GPI (sowohl bei neu generierten Texten als auch bei Textwiederverwendung) signifikant geringere Bias und einen geringeren Root Mean Squared Error (RMSE) im Vergleich zu State-of-the-Art-Methoden (Outcome Model mit BERT und DML mit BERT).
  • GPI hält eine korrekte 95%-Konfidenzintervall-Abdeckung in Szenarien mit schwacher, moderater und starker Konfundierung ein. Im Gegensatz dazu leiden BERT-basierte Methoden unter schwerer Unterdeckung oder einem Zusammenbruch bei starker Konfundierung.
  • Recheneffizienz: GPI ist mehr als zehnmal schneller als BERT-basierte Schätzer.
  • Textwiederverwendung: Der „Text Reuse“-Ansatz (Regenerierung existierender Texte) liefert einen geringeren Varianz-Wert (RMSE) als die Generierung neuer Texte, was wahrscheinlich auf die Konsistenz der internen Repräsentationen zurückzuführen ist.
  • Verletzung von Annahmen: Wenn die Separabilitätsannahme verletzt wird (d. h. Behandlungs- und konfundierende Merkmale sind miteinander verschränkt), schneiden alle Methoden, einschließlich GPI, schlecht ab, was die Bedeutung der Annahme unterstreicht.

• Empirische Anwendung:

  • Angewandt auf das Candidate Profile Experiment, schätzt GPI einen positiven und statistisch signifikanten Effekt des militärischen Hintergrunds auf die Wählerbewertung (ATE $\approx$ 4,85).
  • Konkurrierende BERT-basierte Methoden lieferten widersprüchliche Ergebnisse: Eine lieferte einen negativen signifikanten Effekt, die andere einen unvernünftigen, sehr großen positiven Effekt (ATE $\approx$ 45,7), was vermutlich auf Overlap-Verletzungen zurückzuführen ist.
  • Der IOSS für GPI lag bei 0,10, was auf einen besseren Support-Overlap im Vergleich zu 0,41 bei den BERT-basierten Methoden hindeutet.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass GPI die Validität der kausalen Inferenz mit unstrukturierten Behandlungen durch die Nutzung der Fähigkeiten von GenAI signifikant verbessert. Die primäre Bedeutung liegt in der Fähigkeit zu:

1. Behandlungsmerkmale von konfundierenden Merkmalen mittels der wahren internen Repräsentationen von LLMs zu trennen (disentangle).
2. Die Notwendigkeit zu vermeiden, kausale Repräsentationen aus Daten zu lernen, wodurch Schätzfehler und Rechenkosten reduziert werden.
3. Die Bedingungen (Separabilität) für eine valide Identifikation zu formalisieren und damit eine theoretische Grundlage für die Nutzung von GenAI in der kausalen Inferenz zu schaffen.
4. Die kausale Inferenz via Instrumentalvariablen auf wahrgenommene Behandlungsmerkmale zu erweitern.

Die Autoren merken an, dass sich die Methodik, obwohl der Fokus auf Text liegt, auch auf Bilder und potenziell Videos anwenden lässt, sofern die internen Repräsentationen effektiv verwaltet werden können. Sie betonen zudem, dass die Methode auf die Verfügbarkeit von Open-Source-LLMs angewiesen ist, die den Zugriff auf interne Repräsentationen und eine deterministische Dekodierung ermöglichen.