📈 economics

Ideological Bias in LLMs' Economic Causal Reasoning

Die Studie zeigt, dass große Sprachmodelle bei wirtschaftlichen Kausalfragen mit ideologischem Konflikt systematisch eine Verzerrung zugunsten interventionistischer (staatlicher) gegenüber marktorientierter Perspektiven aufweisen, was ihre Zuverlässigkeit in hochriskanten politischen und wirtschaftlichen Kontexten beeinträchtigt.

Ursprüngliche Autoren: Donggyu Lee, Hyeok Yun, Jungwon Kim, Junsik Min, Sungwon Park, Sangyoon Park, Jihee Kim

Veröffentlicht 2026-04-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Donggyu Lee, Hyeok Yun, Jungwon Kim, Junsik Min, Sungwon Park, Sangyoon Park, Jihee Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen super-intelligenten Roboter, der alles über Wirtschaft weiß. Er kann dir sagen, was passiert, wenn der Staat den Mindestlohn erhöht oder wenn Zinsen gesenkt werden. Klingt toll, oder? Aber dieses Papier wirft eine wichtige Frage auf: Ist dieser Roboter wirklich neutral, oder hat er eine heimliche politische Brille auf, die er nicht abnimmt?

Hier ist die Geschichte der Studie, einfach erklärt:

1. Das Problem: Der "Zwiebel-Effekt" in der Wirtschaft

In der Wirtschaft gibt es Dinge, über die sich Experten oft streiten. Stell dir vor, du schälst eine Zwiebel.

Die "Marktfreundliche" Sicht (Kapitalismus): "Wenn wir den Mindestlohn erhöhen, werden Firmen weniger Leute einstellen, weil es zu teuer wird." (Wie eine Zwiebel, die man schneidet: weniger Arbeitsplätze).
Die "Interventions-Freundliche" Sicht (Staatliche Eingriffe): "Wenn wir den Mindestlohn erhöhen, haben Arbeiter mehr Geld zum Ausgeben, die Wirtschaft läuft besser, und Firmen stellen sogar mehr ein!" (Wie eine Zwiebel, die man pflanzt: mehr Wachstum).

Beide Seiten haben logische Argumente. Aber was sagt der KI-Roboter dazu?

2. Der Experiment: Ein Test mit 10.000 Fakten

Die Forscher haben sich 10.000 echte Wirtschaftsfakten aus den besten wissenschaftlichen Zeitschriften geschnappt. Davon waren etwa 1.000 Fälle, bei denen die beiden oben genannten Sichtweisen zu entgegengesetzten Ergebnissen führen würden.

Sie haben 20 der besten KI-Modelle (wie GPT, Claude, Llama) getestet und gefragt: "Was passiert wirklich?"

3. Die Entdeckung: Der Roboter ist nicht fair

Das Ergebnis war überraschend und etwas beunruhigend:

Schwierige Fälle: Die KIs waren bei diesen streitigen Fällen generell schlechter als bei einfachen Fakten. Das ist verständlich.
Die heimliche Voreingenommenheit: Aber hier kommt der Clou: Wenn die KIs einen Fehler machten, lag dieser Fehler nicht zufällig.
- Wenn die Wahrheit sagte: "Staatliche Eingriffe helfen" (Intervention), hatten die KIs oft recht.
- Wenn die Wahrheit sagte: "Der Markt regelt das allein" (Markt), hatten die KIs viel öfter unrecht.

Die Analogie: Stell dir vor, du hast einen Schiedsrichter bei einem Fußballspiel. Wenn Team A (der Staat) ein Tor schießt, pfeift er korrekt. Aber wenn Team B (der Markt) ein Tor schießt, denkt er, es sei Abseits, obwohl es nicht war. Der Schiedsrichter ist nicht dumm, er hat nur eine systematische Vorliebe für Team A.

4. Warum passiert das? (Die "Brille" der KI)

Die Forscher haben herausgefunden, dass man diese Vorliebe nicht einfach weg-prompten kann.

Der "Beispiel-Trick" funktioniert nicht: Man könnte der KI sagen: "Hier ist ein Beispiel, wie der Markt funktioniert, antworte so!" Aber das half kaum. Die KI behielt ihre innere Vorliebe bei.
Es ist tief verankert: Es scheint, als hätte die KI beim "Lernen" (Training) unbewusst mehr Texte über staatliche Hilfe gelesen oder verinnerlicht, die positiv klingen, während Marktmechanismen oft als "hart" oder "schmerzhaft" wahrgenommen werden.

5. Warum ist das gefährlich?

Stell dir vor, du nutzt diese KI, um politische Entscheidungen zu treffen oder Zeitungsartikel zu schreiben.

Wenn die KI sagt: "Ein Mindestlohnanstieg schadet der Wirtschaft", könnte das bedeuten, dass sie die Fakten einfach falsch interpretiert hat, weil sie eine "staatliche Brille" aufhat.
Das Tückische: Die KI wirkt sehr selbstbewusst. Sie sagt es mit fester Stimme. Niemand merkt sofort, dass sie sich auf der einen Seite (Staat) viel sicherer fühlt als auf der anderen (Markt).

Fazit in einem Satz

Diese Studie zeigt, dass unsere super-smarten WirtschaftskIs nicht wie neutrale Computer sind, sondern wie Schiedsrichter mit einer versteckten Team-Präferenz: Sie sind viel besser darin, zu erkennen, wenn der Staat etwas richtig macht, und viel schlechter darin, zu sehen, wenn der Markt funktioniert.

Die Lehre: Wenn wir KIs für wichtige Wirtschaftstipps nutzen, müssen wir aufpassen, dass sie uns nicht unbewusst in eine Richtung drängen, nur weil sie "sozialer" oder "staatlicher" eingestellt sind, als wir denken.

Titel: Ideologische Verzerrung im ökonomischen kausalen Schlussfolgern von LLMs

Problemstellung
Die Arbeit untersucht, ob Large Language Models (LLMs) systematische ideologische Verzerrungen aufweisen, wenn sie über ökonomische Kausalzusammenhänge schlussfolgern. Während LLMs zunehmend in hochriskanten Bereichen wie der Politikberatung, der Wirtschaftsberichterstattung und der Unternehmensentscheidungsunterstützung eingesetzt werden, fehlt es bisher an einem Verständnis dafür, wie diese Modelle mit Fällen umgehen, in denen die kausale Richtung ideologisch umstritten ist.
Das Kernproblem besteht darin, dass bei vielen ökonomischen Interventionen (z. B. Mindestlohnerhöhungen) konkurrierende theoretische Rahmenwerke existieren:

Interventionsorientiert (Pro-Staat): Erwartet positive Effekte auf die Beschäftigung durch Nachfragesteigerung.
Marktorientiert (Pro-Markt): Erwartet negative Effekte durch steigende Lohnkosten und Automatisierung.
Bestehende Bias-Studien konzentrieren sich oft auf Meinungsäußerungen oder politische Präferenzen, nicht aber auf die Fähigkeit der Modelle, empirisch überprüfte Fakten in kontextuellen, ideologisch gespaltenen Szenarien korrekt zu inferieren.

Methodik
Die Autoren erweitern den bestehenden EconCausal-Benchmark, der 10.490 kausale Triplets (Behandlung, Ergebnis, Wirkungsrichtung) aus Top-Tier-Wirtschafts- und Finanzjournalen enthält.

Identifikation ideologisch umstrittener Fälle:
- Vier verschiedene LLMs (GPT, Claude, Qwen, Grok) wurden angewiesen, für jedes Triplets eine erwartete Wirkungsrichtung aus einer interventionsorientierten und einer marktorientierten Perspektive zu prognostizieren, ohne Kenntnis des empirischen Ergebnisses.
- Ein Triplets wurde als „ideologisch umstritten" klassifiziert, wenn mindestens drei der vier Modelle unterschiedliche Vorzeichen für die beiden Perspektiven vorhersagten.
- Dies ergab einen Datensatz von 1.056 umstrittenen Fällen (10,1 % des Gesamtdatensatzes).
- Die Ground-Truth wurde in zwei Kategorien unterteilt: Intervention-Truth (das empirische Ergebnis stimmt mit der Interventionsperspektive überein) und Market-Truth (Übereinstimmung mit der Marktperspektive).
Expertenvalidierung:
- Zwei Wirtschaftswissenschaftler validierten eine repräsentative Stichprobe (126 Triplets) mit einer hohen Übereinstimmungsrate (93,33 %), was die Stabilität des Labeling-Prozesses bestätigte.
Evaluation:
- Es wurden 20 state-of-the-art LLMs (sowohl Closed-Source wie GPT, Claude, Gemini, Grok als auch Open-Source wie Llama, Qwen) evaluiert.
- Metriken:
  - Genauigkeitslücke ( $\Delta acc$ ): Differenz zwischen der Genauigkeit bei Intervention-Truth und Market-Truth Fällen.
  - Richtungsfehler-Bias ( $B_{dir}$ ): Misst, ob Fehler systematisch in eine ideologische Richtung (Intervention vs. Markt) abweichen.
- Robustheitschecks: Schwierigkeits-Matching (1:1-Paarung von Fällen gleicher Schwierigkeit), Subfeld-Analyse (nach JEL-Klassifikation) und In-Context-Learning-Experimente (Einfluss von Beispielen im Prompt).

Hauptergebnisse

Erhöhte Schwierigkeit bei umstrittenen Fällen:
- Alle 20 Modelle zeigten auf ideologisch umstrittenen Triplets eine signifikant geringere Genauigkeit als auf nicht-umstrittenen Fällen (Closed-Source: -13,2 pp, Open-Source: -11,3 pp).
Systematische Asymmetrie der Genauigkeit:
- Die Modelle sind konsistent genauer, wenn das empirische Ergebnis mit interventionsorientierten Erwartungen übereinstimmt.
- Closed-Source-Modelle: Durchschnittliche Genauigkeitslücke von +9,7 Prozentpunkten zugunsten der Intervention.
- Open-Source-Modelle: Noch größere Lücke von +15,1 Prozentpunkten.
- Von 20 Modellen wiesen 18 eine positive Lücke auf. Nur die Claude-Familie (Sonnet 4.6, Opus 4.6) zeigte eine leichte Tendenz zugunsten der Marktperspektive.
Systematische Richtung der Fehler:
- Fehler sind nicht zufällig verteilt. Wenn Modelle falsch liegen, neigen sie überproportional zu interventionsorientierten Vorhersagen.
- Der Bias-Score $B_{dir}$ ist bei 15 von 20 Modellen positiv (z. B. Llama 3.3-70B: +17,9).
Heterogenität nach Subfeldern:
- Die Verzerrung ist nicht uniform. Sie ist am stärksten in Bereichen wie Gesundheitswesen (+20,9 pp) und Sozialpolitik/Umverteilung (+18,0 pp).
- In der Steuerpolitik zeigte sich sogar eine leichte Umkehrung des Musters, was darauf hindeutet, dass die Verzerrung kontextabhängig ist.
In-Context-Learning (ICL) und Kalibrierung:
- Das Hinzufügen von Beispielen (Intervention vs. Markt) im Prompt konnte die Verzerrung nicht zuverlässig korrigieren.
- Modelle behielten ihre zugrundeliegende Priorität bei, auch wenn sie durch Beispiele in die entgegengesetzte Richtung gelenkt wurden.
- Kalibrierungsanalysen zeigten, dass kontrastierende Beispiele die Sicherheit (Confidence) der Modelle erhöhen können, ohne die Genauigkeit zu verbessern (Miskalibrierung).
Ursachenanalyse:
- Die Verzerrung ist kein reines Prompting-Phänomen, da sie bereits in den Base-Modellen (vor Instruction Tuning) vorhanden ist und durch Instruction Tuning teilweise sogar verstärkt wird.
- Sie resultiert wahrscheinlich aus einer Interaktion von Pretraining-Daten, Alignment-Prozessen und der Verteilung der empirischen Literatur, auf der die Modelle trainiert wurden.

Wichtige Beiträge

Neues Konzept: Einführung des Begriffs „ideologisch umstrittene kausale Beziehungen" als neuer Lens zur Untersuchung von LLM-Schlussfolgerungen jenseits rein kontextueller Abhängigkeiten.
Datensatz: Erstellung eines gelabelten Subsets des EconCausal-Benchmarks, das umstrittene von nicht-umstrittenen Fällen unterscheidet.
Empirische Analyse: Systematischer Nachweis, dass LLMs in umstrittenen Fällen weniger genau sind und eine asymmetrische Zuverlässigkeit aufweisen.
Metriken: Definition und Anwendung von Metriken für die Richtungsspezifische Verzerrung ( $\Delta acc$ und $B_{dir}$ ), die standardmäßige Benchmarks übersehen würden.

Bedeutung und Implikationen
Die Studie zeigt, dass LLMs in der ökonomischen Analyse nicht nur ungenau sein können, sondern systematisch in eine ideologische Richtung verzerrt sind. Dies stellt ein erhebliches Risiko für die Politikberatung dar, da Nutzer die Vorhersagen oft als empirische Fakten und nicht als durch Priors verzerrte Schlussfolgerungen interpretieren.

Fazit: Die reine Gesamtgenauigkeit ist ein unzureichendes Maß für die Bewertung von LLMs in wirtschaftspolitischen Kontexten.
Empfehlung: Es ist dringend notwendig, Evaluierungen um eine „richtungsabhängige" Komponente zu erweitern, um systematische Verzerrungen zu erkennen, bevor Modelle in hochriskanten Entscheidungsprozessen eingesetzt werden. Die Verzerrung ist tief in der Architektur und den Trainingsdaten verankert und lässt sich nicht durch einfache Prompting-Techniken eliminieren.