📈 economics

Model Selection as Policy Choice: Open-Weight LLMs Converge on Institutions but Diverge on Economic Policy

Diese Studie zeigt, dass Open-Weight-Large-Language-Modelle keine austauschbaren Werkzeuge für die Politikanalyse sind, da die Modellauswahl – statt der Sampling-Temperatur – stabile, strukturierte Divergenzen bei wirtschaftspolitischen Präferenzen vorantreibt, während ein Konsens bei institutionellen und ökologischen Themen gewahrt bleibt, wodurch die Modellwahl zu einer kritischen Governance-Entscheidung wird.

Ursprüngliche Autoren: Tamas Olah, Marianna Abuczki, Nayna Babar, Tibor Tokes

Veröffentlicht 2026-07-01

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tamas Olah, Marianna Abuczki, Nayna Babar, Tibor Tokes

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Nicht alle KI-Köche kochen das gleiche Gericht

Stellen Sie sich vor, Sie sind ein Regierungsbeamter, der versucht, eine neue Wirtschaftspolitik zu entscheiden. Sie fragen eine KI nach Rat. Die meisten Menschen gehen davon aus, dass sie, wenn sie fünf verschiedene KI-Modelle dieselbe Frage stellen, fünf leicht unterschiedliche Versionen derselben Antwort erhalten – so als würde man fünf verschiedene Personen bitten, dasselbe Gedicht aufzusagen.

Dieses Paper argumentiert, dass diese Annahme falsch ist.

Anstatt austauschbare Werkzeuge zu sein, fanden die Autoren heraus, dass verschiedene KI-Modelle wie verschiedene Köche mit unterschiedlichen Persönlichkeiten und politischen Philosophien sind. Wenn man sie dieselbe Frage zur Wirtschaft stellt, geben sie nicht nur andere Worte von sich; sie wählen oft völlig unterschiedliche Rezepte basierend auf ihrem eigenen verborgenen „Geschmack“.

Das Experiment: Der KI-Geschmackstest

Die Forscher richteten einen massiven Geschmackstest ein.

Die Speisekammer: Sie sammelten 40 verschiedene „Open-Weight“-KI-Modelle (das sind Modelle, die jeder herunterladen und auf dem eigenen Computer ausführen kann, im Gegensatz zu den geheimen Modellen der großen Tech-Unternehmen).
Die Speisekarte: Sie gaben jedem einzelnen Modell denselben Fragebogen. Die Fragen deckten schwierige Themen wie Inflation, Arbeitslosigkeit, Wohnen und internationale Beziehungen ab.
Die Regeln: Für jede Frage mussten die Modelle vier verschiedene mögliche Antworten (A, B, C oder D) auf einer Skala von 0 bis 100 bewerten.
Die Wiederholung: Um sicherzustellen, dass die Ergebnisse nicht nur zufällige Fehler waren, stellten sie jedem Modell dieselben Fragen jeweils 100 Mal.

Was sie entdeckten

1. Die „Persönlichkeit“ ist real, nicht zufällig

Wenn man eine Münze wirft, ist das Ergebnis zufällig. Wenn man eine KI etwas fragt, erwartet man vielleicht auch ein gewisses Maß an Zufälligkeit. Die Forscher fanden jedoch heraus, dass die Zufälligkeit (Rauschen) tatsächlich sehr gering war.

Die Analogie: Stellen Sie sich einen Chor vor. Wenn die Sänger nur zufällige Geräusche machen würden, wäre der Klang ein Chaos. Aber hier fanden die Forscher heraus, dass die „Stimme“ jedes Sängers (jedes KI-Modells) sehr deutlich und stabil war.
Das Ergebnis: Etwa 57 % der Unterschiede in den Antworten kamen daher, welches Modell antwortete. Das Ändern der „Temperatur“ (eine Einstellung, die eine KI mal mehr, mal weniger zufällig macht) änderte die Antwort kaum (weniger als 2 %). Das bedeutet, dass die Modelle über stabile, eingebaute Vorurteile (Biases) verfügen, die nicht verschwinden, nur weil man eine Einstellung anpasst.

2. Sie sind sich einig darüber, „wer das Sagen hat“, aber streiten darüber, „wie man Geld ausgibt“

Die Forscher nutzten eine statistische Karte (wie ein GPS für Ideen), um zu sehen, wo die Modelle stehen. Sie fanden zwei Haupt-„Bruchlinien“, an denen sich die Modelle unterschieden:

Die „Vertrauen in Institutionen“-Linie (Wo sie sich meist einig sind): Fast alle Modelle stimmten darin überein, dass internationale Organisationen, Regeln und formale Institutionen wichtig sind. Sie alle mochten im Allgemeinen die Idee, den Regeln zu folgen und Experten zu vertrauen.
Die „Wirtschaftsphilosophie“-Linie (Wo sie streiten): Hier spalteten sich die Modelle auf.
- Gruppe A (Die Markt-Liebhaber): Diese Modelle bevorzugen es, den freien Markt entscheiden zu lassen, Regulierungen abzubauen und Wachstum zu priorisieren.
- Gruppe B (Die Interventionalisten): Diese Modelle bevorzugen es, wenn der Staat eingreift, um Ungleichheit zu bekämpfen, Preise zu kontrollieren und die Umwelt zu schützen, selbst wenn dies das Wachstum bremst.

Der „Stagflations“-Test:
Die Forscher stellten eine klassische schwierige Frage: „Das Land hat hohe Inflation UND hohe Arbeitslosigkeit. Was tun wir?“

Einige Modelle sagten: „Bekämpft die Inflation, selbst wenn Menschen ihre Jobs verlieren.“
Andere sagten: „Rettet die Jobs, selbst wenn die Preise steigen.“
Andere sagten: „Erstellt strikte Regeln für beides.“
Andere sagten: „Nutzt eine Mischung aus seltsamen, experimentellen Kontrollen.“
Der Schock: Jede dieser vier Antworten war die „Top-Wahl“ für mindestens einige der Modelle. Es gab keine einzelne „KI-Antwort“.

3. Die „Selbstvertrauens“-Falle

Einer der interessantesten Funde betraf das Selbstvertrauen (Confidence).

Einige Modelle waren sehr schüchtern und sagten: „Ich bin mir nicht sicher“ (niedrige Konfidenzwerte).
Andere waren sehr laut und sagten: „Ich weiß die Antwort!“ (hohe Konfidenzwerte).
Die Wendung: Das Selbstvertrauen eines Modells hing nicht davon ab, wie schwer die Frage war. Es hing ausschließlich davon ab, welches Modell es war.
Die Analogie: Es ist wie ein Schüler, der immer eine 3 bekommt, aber sagt: „Ich bin mir zu 100 % sicher, dass ich recht habe“, während ein anderer Schüler eine 1 bekommt, aber sagt: „Ich bin mir nur zu 50 % sicher.“ Wenn Sie ein politischer Entscheidungsträger sind, könnten Sie dazu verleitet werden, dem lauten, selbstbewussten Modell zu vertrauen, obwohl es genauso voreingenommen ist wie das leise eine.

4. Größe bedeutet nicht „bessere“ Politik

Man könnte denken, dass eine größere, klügere KI (mit mehr „Gehirnschmalz“) eine ausgewogenere oder „korrektere“ politische Sichtweise hätte.

Der Befund: Größere Modelle waren etwas konsistenter (weniger verrauscht), aber sie hatten keine andere politische Meinung als kleinere Modelle.
Die Analie: Ein riesiger, superintelligenter Roboter und ein kleiner, einfacher Roboter könnten beide „Markt-Liebhaber“ oder beide „Interventionalisten“ sein. Man kann die politische Voreingenommenheit eines Modells nicht einfach an seiner Größe oder seinem Markennamen erraten.

Das Fazbare: Die Wahl eines Modells ist eine politische Entscheidung

Das Paper kommt zu dem Schluss, dass die Wahl des zu verwendenden KI-Modells kein technisches Detail ist, sondern eine politische Entscheidung.

Die Metapher: Wenn Sie einen Berater engagieren, um einen Bericht über die Wirtschaft zu schreiben, engagieren Sie eine Person mit einer bestimmten Weltanschauung. Wenn Sie KI-Modell X engagieren, engagieren Sie einen „marktkonservativen“. Wenn Sie KI-Modell Y engagieren, engagieren Sie einen „staatlich intervenierenden“.
Die Gefahr: Wenn Sie das nicht wissen, denken Sie vielleicht, die KI gebe Ihnen neutrale, objektive Fakten. In Wirklichkeit schleust die KI jedoch heimlich ihre eigenen verborgenen Werte in Ihre politischen Entscheidungen ein.

Das Fazit:
Bevor wir KI zur Unterstützung politischer Entscheidungen einsetzen, müssen wir sie wie einen menschlichen Experten behandeln: Prüfen Sie deren Hintergrund, kennen Sie deren Vorurteile und vertrauen Sie nicht einfach der Meinung einer einzigen Person. Wir müssen verschiedene KIs nutzen, ihre Antworten vergleichen und das gesamte Bild betrachten, anstatt zuzulassen, dass ein einzelnes „Standardmodell“ unsere Zukunft für uns entscheidet.

Technische Zusammenfassung: Modellwahl als politische Entscheidung

Problemstellung
Große Sprachmodelle (LLMs) werden zunehmend in die Politikanalyse, strategische Planung und Entscheidungsunterstützung integriert. In der angewandten Praxis werden LLMs jedoch häufig als austauschbare Instrumente behandelt – eine Annahme, die empirisch selten getestet wird. Die vorliegende Arbeit postuliert, dass diese Annahme fehlerhaft ist: Selbst wenn Aufgaben und Prompts konstant gehalten werden, können LLMs sich systematisch darin unterscheiden, wie sie ökonomische und institutionelle Dilemmata rahmen. Diese Unterschiede sind nicht bloßes Dekodierungsrauschen, sondern spiegeln stabile Orientierungen wider, die in Trainingsdaten, Architektur und Alignment-Zielen eingebettet sind. Folglich ist die Wahl eines spezifischen Modells in politischen Kontexten keine neutrale technische Detailfrage, sondern eine substanzielle Governance-Entscheidung, die den Narrativ, die normativen Schwerpunkte und die hervorgehobenen Zielkonflikte politischer Vorschläge beeinflusst.

Methodik
Die Studie verwendet ein kontrolliertes, reproduzierbares experimentelles Design, um die Verhaltensregelmäßigkeiten von 40 Open-Weight-LLMs abzubilden, die lokal via Ollama ausgeführt wurden.

Datengenerierung: Ein fester Multiple-Choice-Fragebogen wurde an alle Modelle administriert. Das Instrument umfasst makro-fiskalische Zielkonflikte, regulatorische Dilemmata, internationale Institutionen, Wahrnehmungen öffentlicher Figuren und politisch-ökonomische Interpretationsrahmen.
Experimentelles Protokoll:
- Replikation: Jedes Modell beantwortete den vollständigen Fragebogen 100 Mal bei zwei Sampling-Temperaturen ( $T=0.2$ und $T=0.8$ ), um zwischen stabilen Orientierungen und stochastischem Rauschen zu unterscheiden.
- Bewertung: Für jedes Item ordneten die Modelle einen Score (0–100) vier vordefinierten Antwortrahmen (A–D) zu.
- Normalisierung: Die Antworten wurden relativ zum Mittelwert der jeweiligen Frage zentriert, um Level-Effekte zu eliminieren und den Fokus auf die relative Präferenzordnung zu legen.
Analytische Pipeline:
1. Varianzzerlegung: Die Gesamtvarianz der Optionsunterstützung wurde in Modell-Varianz (Between-Model), Temperatureffekte und Replikationsrauschen zerlegt.
2. Dimensionsreduktion: Eine gewichtete Hauptkomponentenanalyse (PCA) wurde auf die nach Modellen zusammengefassten Antwortprofile angewendet, um latente Achsen der Variation zu identifizieren.
3. Clustering: Die Modelle wurden im PCA-Score-Raum (unter Verwendung der ersten 16 Komponenten) geclustert, um eine diskrete Typologie von Modell-"Typen" abzuleiten.
4. Validierung: Die datengestützten PCA-Achsen wurden gegen eine unabhängig handkodierte Taxonomie ideologischer Achsen (z. B. institutionelles Vertrauen, Wirtschaftsstaat–Markt) validiert, um die Konstruktvalidität sicherzustellen.
5. Topische Dekomposition: Die Studie lokalisierte, wo die Heterogenität konzentriert ist, indem sie die Modell-"Neigungen" über spezifische Themenbereiche hinweg verglich.

Kernergebnisse

Signal vs. Rauschen: Die Modellidentität erklärt 57 % der Variation in der Optionsunterstützung, während die Sampling-Temperatur weniger als 2 % erklärt. Die verbleibende Varianz ist das Replikationsrauschen, das je nach Modell signifikant variiert (zwischen 3 % und 79 %). Die Antwortprofile innerhalb eines Modells sind über verschiedene Temperaturen hinweg hochgradig stabil (medianer Korrelationskoeffizient $r=0.99$ ), was bestätigt, dass es sich bei den Unterschieden um stabile Orientierungen und nicht um Dekodierungsartefakte handelt.
Latente Dimensionen: Die PCA extrahierte zwei dominante, interpretierbare Achsen:
1. Institutionelles Vertrauens-Dimension (PC1): Kontrastiert institutionelle, koordinierte und technokratische Rahmungen (positiver Pol) mit souveränitätsorientierten, exekutiven-zentrierten oder ad-hoc-basierten Verhandlungsrahmungen (negativer Pol). Diese Achse korreliert stark ( $r=0.92$ ) mit handkodiertem institutionellem Vertrauen.
2. Ökonomisch-Umweltbezogene Dimension (PC2): Kontrastiert Marktwachstums-/Effizienz-orientierte Rahmungen mit regulierten/grünen/distributiven Nachhaltigkeitsrahmungen. Diese Achse korreliert mit der Wirtschaftsstaat–Markt-Achse ( $r=0.48$ ) und der Klimambition ( $|r|=0.60$ ).
Typologie: Das Clustering ergab acht distinkte Modelltypen, die von „literal forecasting“ und „pragmatisch-interventionistisch“ bis hin zu „risiko- und souveränitätsbetont“ und „polarisiert, staatsorientiert“ reichen.
Themenspezifische Heterogenität:
- Konsens: Modelle sind sich bei institutionellem Vertrauen, Offenheit und Klimarahmungen weitgehend einig (98 % tendieren zu Klimambition und institutionellem Vertrauen).
  - Divergenz: Modelle spalten sich scharf bei ökonomischen Fragen. Bei einem einzelnen Stagflations-Item waren alle vier politischen Rahmenbedingungen für eine Teilmenge von Modellen die Top-Wahl. Nur etwa eines von fünf Modellen tendiert auf der Wirtschaftsstaat–Markt-Achse in Richtung „Markt“, während der Rest zu „Staat“ tendiert.
- Stabilität: Die ökonomische Orientierung ist keine feste globale Eigenschaft; die Haltung eines Modells zu einer ökonomischen Frage sagt die Haltung zu einer anderen nur schwach voraus (Cronbachs $\alpha = 0.58$ ).
Konfidenz und Skalierung: Die selbstberichtete Konfidenz ist weitgehend eine feste Eigenschaft des Modells (55 % der Varianz) und kein Spiegelbild der Fragekomplexität oder Kontroverse. Größere Modellskalierung sagt eine höhere Konsistenz (geringeres Rauschen) voraus, sagt jedoch keine spezifische politische Orientierung oder politische Präferenz voraus.

Kernbeiträge

Empirischer Nachweis der Nicht-Austauschbarkeit: Die Studie liefert robuste Belege dafür, dass Open-Weight-LLMs in politischen Kontexten nicht austauschbar sind. Ihre Unterschiede sind strukturiert, stabil und signifikant genug, um politische Empfehlungen und Begründungen zu verändern.
Methodologischer Rahmen: Sie führt eine reproduzierbare Pipeline zur Prüfung des Modellverhaltens ein, die persistente Orientierungen von Sampling-Rauschen trennt und Modelle auf interpretierbare ideologische Dimensionen abbildet.
Typologie des Modellverhaltens: Sie etabliert eine kompakte Typologie von acht Modell-"Typen" basierend auf ihren Antwortprofilen, was eine Kategorisierung von Modellen nach ihrer zugrunde liegenden politischen Logik statt nach reinen Leistungsbenchmarks ermöglicht.
Reframing der Modellwahl: Die Arbeit argumentiert, dass die Modellwahl eine governance-relevante Designentscheidung ist. Sie zeigt, dass die in Modellen eingebetteten „Werte“ messbar und anfechtbar sind, und stellt damit die Vorstellung des Modells als neutrales Informationsabrufsystem infrage.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass die gesellschaftlichen Einsätze der Modellwahl zentral für den technischen Vergleich von Modellen sind. Durch den Nachweis, dass Modelle bei institutionellen und kosmopolitischen Rahmungen konvergieren, sich aber bei ökonomischen und distributiven Fragen divergieren, argumentieren die Autoren, dass die Modellwahl sowohl den empfohlenen politischen Rahmen als auch dessen Rechtfertigung bedingt.

Die Bedeutung liegt in der Verschiebung der Perspektive von der Suche nach dem „richtigen Modell“ hin zur Sichtbarmachung von Modellorientierungen. Die Autoren führen an, dass die Behandlung der Modellwahl als technisches Detail die inhärenten Wertentscheidungen in der politischen Automatisierung verschleiert. Stattdessen schlagen sie vor:

Modellwahl sollte als eine Governance-Entscheidung behandelt werden, vergleichbar mit Robustheitsprüfungen in der empirischen Ökonomie.
Multi-Modell-Stresstests sind notwendig, um die Sensitivität von Schlussfolgerungen gegenüber latenten Framing-Tendenzen offenzulegen.
Die Sichtbarmachung und Anfechtbarkeit der in Modellen eingebetteten Werte ist eine Voraussetzung für deren verantwortungsvollen Einsatz in der Politikgestaltung.

Die Studie kommt zu dem Schluss, dass Modelle zwar nicht neutral sind, ihre spezifischen Orientierungen jedoch nicht willkürlich sind; sie sind strukturiert, messbar und folgenreich. Daher muss die Wahl des Instruments ein bewusster, rechenschaftspflichtiger Akt bleiben, um sicherzustellen, dass die Gesellschaft diese Systeme gestaltet, anstatt stillschweigend von ihnen geformt zu werden.