Causality Elicitation from Large Language Models

Each language version is independently generated for its own context, not a direct translation.

Stellen Sie sich vor, Sie haben einen sehr gut gebildeten, aber etwas chaotischen Bibliothekar. Dieser Bibliothekar ist eine Künstliche Intelligenz (KI), die Millionen von Büchern gelesen hat und alles über die Welt weiß. Aber wenn Sie ihn fragen: „Was führt zu was?", antwortet er nicht mit einer klaren Liste, sondern spuckt tausende von verschiedenen Geschichten aus, die alle ein bisschen anders klingen, aber im Kern das Gleiche erzählen.

Diese Forscher haben einen Weg gefunden, diesen Bibliothekar zu zähmen, um Kausalitäten (Ursache-Wirkungs-Beziehungen) zu finden. Hier ist die Erklärung ihres Vorgehens, übersetzt in eine einfache Geschichte:

1. Das Problem: Der Lärm der vielen Stimmen

Stellen Sie sich vor, Sie wollen herausfinden, wie sich eine neue Steuer auf den Markt auswirkt. Sie bitten die KI, 100 verschiedene Szenarien zu schreiben.

Szenario 1 sagt: „Die Zölle werden erhöht."
Szenario 2 sagt: „Es gibt neue Handelsbarrieren."
Szenario 3 sagt: „Der Schutz der einheimischen Industrie wird verschärft."

Für einen Computer sind das drei völlig verschiedene Dinge. Aber für einen Menschen ist es klar: Es ist im Grunde dasselbe Ereignis. Wenn der Computer diese Unterschiede ignoriert, wird das Ergebnis ein chaotisches Durcheinander sein, aus dem man keine klaren Regeln ableiten kann.

2. Die Lösung: Eine 5-Schritte-Maschine

Die Forscher bauen eine Pipeline (eine Art Förderband), um aus dem Chaos eine klare Landkarte zu machen.

Schritt 1 & 2: Die Geschichte erzählen und die Perlen sammeln

Die KI schreibt viele kurze Geschichten zu einem Thema (z. B. „Wie Trumps Politik Japan beeinflusst"). Dann liest eine andere KI-Instanz diese Geschichten und sucht nach wichtigen Ereignissen (wie „Zölle erhöhen", „Währung schwanken", „Investitionen stoppen").

Analogie: Es ist wie ein Archäologe, der in 100 Sandhaufen nach Scherben sucht und sie in einen Eimer wirft.

Schritt 3: Die „Namens-Verwandlung" (Das Herzstück)

Jetzt kommt der magische Teil. Die KI nimmt alle diese Scherben (die Ereignis-Namen) und sortiert sie.

Sie nutzt eine Art „Gedächtnis-Scan" (Embeddings), um zu erkennen, dass „Zölle erhöhen" und „Handelsbarrieren" wie zwei Geschwister sind, die sich sehr ähnlich sehen.
Dann bittet sie eine menschliche KI, diesen Haufen von ähnlichen Scherben einen einzigen, klaren Namen zu geben, z. B. „Handelskonflikt".
Analogie: Stellen Sie sich vor, Sie haben 50 verschiedene Namen für dasselbe Haustier (Fiffi, Rex, Hund, Vierbeiner). Die KI sagt: „Halt! Das ist alles derselbe Hund. Wir nennen ihn ab jetzt einfach nur 'Fido'."

Schritt 4: Die Checkliste erstellen

Nun wird eine riesige Tabelle erstellt. Für jede der 100 Geschichten wird abgehakt: „Enthält diese Geschichte den Begriff 'Fido'?" (Ja/Nein).

Analogie: Statt 50 verschiedene Spalten für 50 Namen des Hundes zu haben, haben wir jetzt nur noch eine Spalte: „Ist Fido dabei?". Das macht die Tabelle übersichtlich.

Schritt 5: Die Landkarte zeichnen (Kausalität)

Jetzt nehmen die Forscher diese saubere Tabelle und nutzen mathematische Werkzeuge, um Muster zu finden. Sie fragen: „Wenn 'Fido' (Handelskonflikt) in einer Geschichte vorkommt, kommt dann oft auch 'Geldentwertung' vor?"

Wenn ja, zeichnen sie einen Pfeil von A nach B.
Das Ergebnis ist keine absolute Wahrheit, sondern eine Hypothesen-Karte. Es zeigt: „Das ist das Szenario, das die KI für am wahrscheinlichsten hält."

3. Was haben sie herausgefunden? (Die Beispiele)

In ihrem Papier testen sie das mit zwei Themen:

Trump und Japan: Die KI hat erkannt, dass wenn die USA Zölle und Sicherheitsbeschränkungen einführen, Japan oft reagiert, indem es Fabriken in die USA verlegt (FDI). Die KI hat also eine Kette gefunden: US-Druck → Japanische Reaktion.
Künstliche Intelligenz und Gold: Hier fand die KI heraus, dass KI-Investitionen oft mit geopolitischen Spannungen (z. B. Taiwan) und dem Kauf von Gold durch Zentralbanken verknüpft sind. Es gibt zwei Wege, wie KI den Goldpreis beeinflusst: über die Wirtschaftskraft und über die Angst vor Konflikten.

Warum ist das wichtig?

Das Wichtigste an dieser Studie ist die Ehrlichkeit der Forscher: Die KI weiß nicht, was in der realen Welt wirklich passiert. Sie weiß nur, was in ihren Trainingsdaten steht.

Stellen Sie sich die Ergebnisse nicht als einen fertigen Bauplan für eine Brücke vor, sondern als eine Skizze eines Architekten, der sagt: „Hier sind die Ideen, die ich habe. Prüfen Sie sie, bevor Sie bauen."

Der Nutzen: Es hilft Menschen (Experten), schnell zu sehen, welche Zusammenhänge eine KI für plausibel hält.
Die Grenze: Es ist kein Beweis. Es ist ein Werkzeug, um Hypothesen zu generieren, die dann von echten Menschen überprüft werden müssen.

Zusammenfassend: Die Forscher haben eine Methode entwickelt, um den „Lärm" aus den Antworten einer KI zu filtern, die Begriffe zu vereinheitlichen und daraus eine klare Landkarte von Ursache und Wirkung zu zeichnen – nicht als endgültige Wahrheit, sondern als eine sehr gut durchdachte Liste von Vermutungen, die man untersuchen kann.

Each language version is independently generated for its own context, not a direct translation.

Hier ist eine detaillierte technische Zusammenfassung des Papers „Causality Elicitation from Large Language Models" auf Deutsch:

Titel: Kausalität aus Large Language Models (LLMs) ableiten

Autoren: Takashi Kameyama, Masahiro Kato, Yasuko Hio, Yasushi Takano, Naoto Minakawa (Mizuho-DL Financial Technology Co., Ltd.)
Datum: März 2026

1. Problemstellung

Die Arbeit adressiert die Herausforderung, kausale Zusammenhänge aus den in Large Language Models (LLMs) kodierten Wissensbeständen zu extrahieren. Während LLMs riesige Datenmengen verarbeitet haben und komplexe Narrative generieren können, fehlt es oft an einer strukturierten Methode, um diese impliziten kausalen Hypothesen in ein überprüfbares Format zu überführen.

Ein zentrales technisches Hindernis ist das Problem der Variabilität von Ereignisbezeichnungen („Variable Identity"-Problem). Wenn ein LLM Ereignisse extrahiert, können semantisch identische Konzepte (z. B. „Zölle erhöhen", „Schutzmaßnahmen verschärfen", „Handelskonflikte") als unterschiedliche, freie Textstrings behandelt werden. Dies führt zu:

Redundanz in den Daten.
Instabilität bei der downstream-Analyse (z. B. Feature-Auswahl).
Schwierigkeiten bei der korrekten Zuordnung von Variablen für die Kausalitätsentdeckung.

Das Ziel ist nicht, eine validierte Realität zu beweisen, sondern einen Rahmen zu schaffen, der die Menge der kausalen Hypothesen präsentiert, die ein LLM plausibel annehmen kann, dargestellt als eine prüfbare Menge von Variablen und Kandidaten-Graphen.

2. Methodik: Die fünfstufige Pipeline

Die Autoren schlagen eine robuste Pipeline vor, die von der Dokumentengenerierung bis zur kausalen Entdeckung reicht. Der Kern der Innovation liegt in der Vorverarbeitung (Schritt iii und iv), um eine stabile Datenmatrix zu erzeugen.

Schritt (i): Generierung von Dokumenten

Basierend auf einem bestimmten Thema (z. B. „Auswirkungen der Trump-Politik auf Japan") werden $N$ analytische Dokumente von einem LLM generiert. Die Prompts instruieren das Modell, als Analyst zu agieren und narrative Szenarien mit konkreten Ereignissen und Mechanismen zu erstellen.

Schritt (ii): Ereignisextraktion

Aus jedem generierten Dokument wird eine Liste von Ereignisphrasen extrahiert (z. B. Politikentscheidungen, Marktbewegungen). Ein robustes Parsing-System normalisiert die Ausgabe des LLMs (JSON, Listen, Bullet-Points) in eine einheitliche String-Liste.

Schritt (iii): Ereigniskanonisierung (Kerninnovation)

Um das Problem der variierenden Benennungen zu lösen, wird ein „Embedding-First"-Ansatz verwendet:

Embedding: Alle extrahierten Ereignisstrings werden in Vektoren umgewandelt (z. B. mit text-embedding-3-large).
Clustering: Die Vektoren werden mittels MiniBatchKMeans gruppiert. Ähnliche semantische Bedeutungen landen im selben Cluster.
Benennung durch LLM: Für jeden Cluster werden repräsentative Beispiele ausgewählt und an ein LLM gesendet, um einen einzigen, menschenlesbaren, kanonischen Namen (Label) zu generieren (z. B. „Tarifverschärfung" statt der drei verschiedenen Eingabe-Strings).
Dies erzeugt eine Abbildungsfunktion $f: V_{raw} \to V_{canon}$ , die semantisch äquivalente Strings auf dasselbe Label abbildet.

Schritt (iv): Konstruktion der Binären Inzidenzmatrix

Anhand der Kanonisierung wird eine aggregierte Dokument-Ereignis-Matrix $Z \in \{0, 1\}^{N \times C}$ erstellt.

Zeilen repräsentieren Dokumente.
Spalten repräsentieren die kanonischen Ereignisse.
Ein Eintrag ist 1, wenn das Dokument irgendeine der ursprünglichen Varianten des kanonischen Ereignisses enthält (logisches OR über die zugehörigen Roh-Spalten).
Dies eliminiert Redundanz und schafft eine stabile Basis für die statistische Analyse.

Schritt (v): Kausale Entdeckung (Causal Discovery)

Auf der binären Matrix $Z$ werden etablierte Algorithmen zur Kausalitätsentdeckung angewendet, um Kandidaten-Graphen zu generieren:

PC-Algorithmus: Basiert auf bedingten Unabhängigkeitstests.
GES (Greedy Equivalence Search): Sucht nach einem gerichteten Graphen durch Optimierung eines Scores.
LiNGAM: Nutzt funktionale Modelle (ICA/DirectLiNGAM) für eine kausale Ordnung.

3. Wichtige Beiträge

Pipeline zur Kausalitätsableitung: Eine integrierte Methode, die Dokumentengenerierung, Ereigniskanonisierung und kausale Entdeckung verbindet.
Lösung des Identitätsproblems: Durch die explizite Kanonisierung (Clustering + LLM-Benennung) wird die Stabilität der Variablen für die downstream-Analyse sichergestellt. Dies unterscheidet sich von reinen Text-zu-Daten-Ansätzen, die oft bei Oberflächenversionen scheitern.
Hypothesen-Map statt Validierung: Die Autoren betonen, dass das Ergebnis ein „Hypothesen-Graph" ist, der die im LLM kodierten Abhängigkeiten widerspiegelt, nicht unbedingt die physikalische Realität. Es dient als Werkzeug für Experten zur Überprüfung und Verfeinerung von Hypothesen.
Interdisziplinäre Verknüpfung: Die Arbeit verbindet NLP (Event Extraction, Entity Resolution), Text-as-Data (Feature Construction) und Kausale Inferenz.

4. Ergebnisse (Empirische Analyse)

Die Methode wurde in zwei Fallstudien getestet:

Fallstudie I: Trumps Politik und die japanische Wirtschaft (2026+)
- $N=100$ Dokumente, $C=30$ kanonische Ereignisse.
- Der PC-Algorithmus identifizierte drei wiederkehrende Mechanismen:
  1. Technologische Restriktionen führen zu lokaler Beschaffung und japanischen Direktinvestitionen (FDI) in den USA.
  2. Verschärfung von Handelsregeln und „Buy American"-Politik wirken als Druckbündel.
  3. Japanische Antwortmechanismen (Verteidigungszahlungen, Überwachung der US-Politik) sammeln die Eingangs-Kanten.
- Die Ergebnisse zeigten eine konsistente Struktur über verschiedene Algorithmen (PC, GES, LiNGAM) hinweg.
Fallstudie II: US-Investitionen in KI und Goldpreise
- $N=100$ Dokumente, $C=20$ kanonische Ereignisse.
- Der Graph identifizierte zwei Hauptkanäle, die auf einen „Gold-Nachfrage-Hub" zulaufen:
  1. Ein makrofinanzierter Kanal (KI-Investition $\to$ Wachstum $\to$ Zinsen/USD-Stärke $\to$ Gold).
  2. Ein geopolitischer Kanal (Exportkontrollen, Taiwan-Straße $\to$ Unsicherheit $\to$ Goldkäufe durch Zentralbanken).
- Der Graph trennte diese Pfade klar und zeigte, wo sie im narrativen Raum konvergieren.

5. Bedeutung und Limitationen

Bedeutung:
Die vorgestellte Methode bietet einen systematischen Weg, um das „Black-Box"-Wissen von LLMs in interpretierbare, strukturierte kausale Hypothesen zu übersetzen. Sie ermöglicht es Analysten, Szenarien zu simulieren und die impliziten Annahmen eines Modells über Kausalzusammenhänge zu visualisieren und zu hinterfragen. Sie ist besonders nützlich für die Formulierung von Hypothesen in komplexen ökonomischen oder politischen Szenarien.

Limitationen:

Kanonisierung: Es besteht ein Trade-off zwischen falschen Zusammenführungen (False Merges) und übersehenen Zusammenführungen. Die Granularität hängt von der Analysten-Policy ab.
Datentyp: Die Inzidenzmatrix ist binär, während viele Kausalitätsalgorithmen (wie LiNGAM) für kontinuierliche Daten entwickelt wurden.
Zeitliche Ordnung: Die binäre Matrix kollabiert die zeitliche Reihenfolge innerhalb eines Dokuments. Kausale Richtungen basieren primär auf bedingtem Ko-Auftreten, nicht auf zeitlicher Priorität (obwohl zeitliche Constraints theoretisch einfügbar sind).
Bias: Die Ergebnisse spiegeln Verzerrungen und Auslassungen der LLM-Prompts wider.
Keine Wahrheit: Die Graphen sind keine validierten Realitätsmodelle, sondern Hypothesenräume, die externer Validierung (durch Experten oder reale Daten) bedürfen.

Zukunftsausblick:
Die Autoren planen, Methoden für diskrete Daten, Ansätze zur Behandlung latenter Confounder (z. B. FCI), Stabilitätsanalysen und die Validierung gegen externe Zeitreihendaten zu entwickeln.