Technische Zusammenfassung: Geopolitische Verzerrungen in LLMs entstehen im Post-Training

Problemstellung

Die vorherrschende Annahme im Bereich der Verzerrungen bei Large Language Models (LLMs) besagt, dass geopolitische Präferenzen direkt aus den statistischen Regelmäßigkeiten der Pre-Training-Korpora vererbt werden. Die frühere Literatur geht davon aus, dass Modelle als passive Erben der demografischen, kulturellen und ideologischen Verzerrungen fungieren, die in ihren Trainingsdaten vorhanden sind, was impliziert, dass die Minderung von Verzerrungen auf Datenebene erfolgen muss. Diese Studie stellt dieses Kausalmodell in Frage und untersucht, ob geopolitische Verzerrungen primär eine Funktion der Pre-Training-Daten sind oder ob sie aktiv während der Post-Training-Phase (Instruction Tuning und Alignment) eingeführt oder verstärkt werden.

Methodik

Die Autoren führten ein kontrolliertes, gepaartes Szenario-Experiment über sieben Open-Weight-LLM-Familien aus sieben verschiedenen Laboren durch (drei westlich: Mistral AI, Meta, Google; vier chinesisch: Alibaba, Baichuan, 01.AI, Zhipu).

Experimentelles Design

• Modellpaare: Die Studie verglich das „Base"-Modell (nur Pre-Training) mit dem „Chat"-Modell (Pre-Training + Post-Training) für jede Familie. Alle Modelle wurden so ausgewählt, dass sie auf eine einzelne RTX 3090 passten (7–9 Milliarden Parameter), um die Reproduzierbarkeit zu gewährleisten.
• Szenario-Bank: Eine Bank mit 79 geopolitischen Szenarien wurde erstellt, die 28 Länderpaare umfasste. Die Szenarien deckten 13 Typen ab (z. B. Luftraumverletzung, Handelszwang, Souveränitätsstreitigkeiten) und balancierten „heiße" politische Themen mit „kalten" prozeduralen aus.
• Forced-Choice-Abfrage: Den Modellen wurde eine Erzählung vorgelegt, in der Land A und Land B in einen Konflikt verwickelt waren. Sie mussten sich entscheiden, welches Land gerechter oder weniger gerechtfertigt handelte.
  • Robustheitsmerkmale: Das Design umfasste eine Rollenbalance (Variation, welches Land der Aggressor ist) und eine doppelte Fragestellung (Abfrage sowohl nach „mehr" als auch nach „weniger" gerechtfertigt), um lexikalische oder positionelle Artefakte herauszufiltern.
  • Messung: Verzerrungen wurden mittels Log-Odds ($\log P(A) - \log P(B)$) nach Softmax über das Vokabular quantifiziert.
• Linguistische Variablen: Die Abfrage wurde in drei Sprachen durchgeführt: Englisch, Französisch und Chinesisch. Die Übersetzungen wurden von einem LLM (Claude) generiert, um Konsistenz zu gewährleisten, wobei die Autoren anmerken, dass dies einen potenziellen Störfaktor einführt.
• Technische Korrekturen:
  • Token-Varianten-Summierung: Bei Modellen, die SentencePiece-Tokenizer verwenden (Yi, Baichuan), summierten die Autoren die Wahrscheinlichkeiten über Token-Varianten (z. B. „A", „ A", „(A"), um eine Untererfassung der Konformität zu vermeiden.
  • Prefill-Korrekturen: Spezifische Anpassungen wurden für GLM- und Yi-Chat-Modelle vorgenommen, um Antwortvorlagen (z. B. das Voranstellen von neuen Zeilen oder Klammern) zu berücksichtigen, die bei naiver Single-Token-Bewertung die Konformitätswerte künstlich unterdrückten.
  • Kohärenzfilter: Die Analyse beschränkte sich auf 31 Szenarien, bei denen die Präferenz des Modells zwischen „gerechtfertigt" und „ungerechtfertigt" in mindestens 70 % der Modell-Sprache-Kombinationen das Vorzeichen wechselte.

Hauptergebnisse

1. Post-Training als Quelle der Verzerrung

Das bedeutendste Ergebnis ist, dass geopolitische Verzerrungen im Post-Training und nicht im Pre-Training entstehen.

• Base-Modelle: Sechs der sieben Base-Modelle waren in Bezug auf China-Freundlichkeit statistisch nahezu neutral. Beispielsweise zeigte das Alibaba-Qwen-2.5-Base-Modell einen China-Freundlichkeits-Score von $-0,15$ Log-Odds ($p=0,15$), der von neutral nicht zu unterscheiden war.
• Chat-Modelle: Das Post-Training führte zu signifikanten Verschiebungen. Das Qwen-2.5-Chat-Modell verschob sich auf $+2,91$ Log-Odds ($p < 10^{-4}$), was einer 18-fachen Erhöhung der Chancen für China-Freundlichkeit entspricht.
• Richtung: Bei sechs der sieben Familien entsprach die Verschiebung durch das Post-Training der Nationalität des Modellentwicklers (westliche Labore verschoben sich anti-chinesisch; drei der vier chinesischen Labore verschoben sich pro-chinesisch). Die Ausnahme war 01.AIs Yi, das sich nach dem Post-Training anti-chinesisch verschob.

2. Linguistische Modulation der Verzerrung

Die Sprache, in der das Modell abgefragt wird, verstärkt oder dämpft die eingeprägte Verzerrung.

• Französische Abfrage: Das in Frankreich hergestellte Mistral-Modell wurde erst bei Abfrage auf Französisch eindeutig pro-französisch. Der Wechsel von englischen zu französischen Abfragen führte zu einer Änderung der Frankreich-Freundlichkeit um $+1,91$ Log-Odds ($p < 10^{-4}$).
• Chinesische Abfrage: Obwohl fünf der sieben post-getrainierten Modelle bei Abfrage auf Chinesisch eine deskriptive Verschiebung hin zu China-Freundlichkeit zeigten, war dieser Effekt auf Bevölkerungsebene statistisch nicht von der Base-Modell-Tendenz zu unterscheiden ($p=0,66$). Bestimmte Modelle wie Mistral und Yi zeigten jedoch eine starke Verstärkung.
• Mechanismus: Die Studie legt nahe, dass die Sprache die geäußerten Präferenzen basierend auf der Basispräferenz des Modells und der „Inhaltsverflechtung" der Sprache mit bestimmten Ländern moduliert, anstatt einfach eine statische, vom Hersteller ausgerichtete Verzerrung zu aktivieren.

3. Heterogenität zwischen Laboren und Gegnern

• Lab-Varianz: „Chinesisch entwickelte LLMs" sind keine homogene Kategorie. Qwen 2.5 zeigte eine starke China-Freundlichkeit gegenüber westlichen Nationen, aber eine schwächere Verzerrung gegenüber Nationen des Globalen Südens. Im Gegensatz dazu zeigte Yi 1.5 China-Freundlichkeit nur gegenüber den USA und China-feindliche Verzerrung gegenüber fast allen anderen Gegnern.
• Themenunabhängigkeit: Die Verzerrung war breit gefächert und nicht themenspezifisch. Das Ausmaß der Verzerrung unterschied sich zwischen „heißen" (Souveränität, Atom) und „kalten" (Luftraum, Handel) Szenarien nicht signifikant.

4. Robustheits- und Validitätsprüfungen

• Konformität: Die Studie adressierte das Problem der „Verweigerung" oder Nicht-Konformität. Naive Auswertungen interpretierten Antwortvorlagen (z. B. GLMs Ausgabe mit führendem Zeilenumbruch) oft als Verweigerung. Nach Korrektur dieser Vorlagen war die Konformität hoch, und Verzerrungen wurden sichtbar.
• Fiktive Entitäten: Bei Tests mit fiktiven Ländernamen mit phonetischen Hinweisen (z. B. „Zhaodong", das chinesisch klingt) zeigten Modelle dieselben herstellerausgerichteten Verzerrungen, was darauf hindeutet, dass die Verzerrung durch Identitätshinweise ausgelöst wird und nicht durch auswendig gelerntes Wissen über reale Länder.
• Freie Generierung: Offene Reasoning-Aufgaben bestätigten, dass die in Forced-Choice-Abfragen beobachteten Verzerrungen auch dann bestehen bleiben, wenn Modellen die Generierung von Reasoning erlaubt wird, was darauf hindeutet, dass die Präferenz nicht lediglich ein Artefakt des Forced-Choice-Formats ist.

Bedeutung und Behauptungen

Die Studie behauptet, geopolitische Verzerrungen nicht nur als Datenproblem (vom Internet vererbt), sondern als Alignment- und Einsatzproblem neu zu rahmen.

• Aktive Gestaltung: Die Studie zeigt, dass geopolitische Präferenzen aktiv während der Post-Training-Pipeline (SFT, RLHF oder Safety Tuning) geformt werden. Die Base-Modelle sind weitgehend neutral, während die Chat-Modelle die spezifischen Alignmentsziele des entwickelnden Labors widerspiegeln.
• Transparenzbedarf: Da das Post-Training bestimmt, wie Modelle Nationen und politische Perspektiven repräsentieren, argumentieren die Autoren für mehr Transparenz, Prüfung und Aufsicht der Alignmentsprozesse.
• Einschränkungen: Die Autoren bleiben in ihren Behauptungen bescheiden. Sie stellen fest, dass die Stichprobengröße ($n=7$ Familien) die statistische Power für verallgemeinernde Aussagen über Labore hinweg begrenzt (der Trend 6/7 beim Alignment bestand einen Binomialtest bei $\alpha=0,05$ nicht, bestand jedoch einen Vorzeichen-Magnitude-t-Test). Sie erkennen zudem an, dass sie nicht zwischen absichtlichen Alignmentszielen und zufälligen Nebeneffekten anderer Tuning-Ziele (z. B. Hilfsbereitschaft oder Schadensvermeidung) unterscheiden können. Darüber hinaus beschränkt sich die Studie auf Modelle mit 7–9 Milliarden Parametern und deckt keine geschlossenen Frontier-Modelle ab.

Zusammenfassend liefert die Studie empirische Belege dafür, dass die „geopolitische Linse" eines LLM weitgehend ein Produkt seines Post-Training-Alignments und nicht seiner Pre-Training-Daten ist, wobei die Abfragesprache als kritischer Modulator dieser geäußerten Präferenzen dient.