💬 NLP

The Amplifying Mirror: Locating and Steering the Partisan Direction inside a Large Language Model

Diese Arbeit zeigt, dass parteipolitische Voreingenommenheit in großen Sprachmodellen keine vage emergente Eigenschaft ist, sondern ein präzises, erlernbares geometrisches Merkmal innerhalb des Aktivierungsraums des Modells, das identifiziert, dekomponiert und kausal manipuliert werden kann, um generierten Text systematisch zu verändern.

Ursprüngliche Autoren: Wendy K. Tam

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wendy K. Tam

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Die KI ist ein „parteilicher Spiegel“

Stellen Sie sich vor, Sie betreten einen Raum mit einem ganz besonderen Spiegel. Dies ist kein normaler Spiegel, der nur Ihr Gesicht zeigt. Stattdessen betrachtet dieser Spiegel, wer Sie sind, errät Ihre politische Persönlichkeit und spiegelt Ihnen dann eine Version der Realität zurück, die perfekt zu Ihren Überzeugungen passt.

Dieses Paper argumentiert, dass Large Language Models (LLMs) – die intelligenten KI-Chatbots, die wir heute nutzen – genau wie dieser Spiegel funktionieren. Im Gegensatz zu einer Suchmaschine, die im Internet nach existierenden Artikeln sucht, die von Menschen geschrieben wurden, erzeugt eine KI neuen Text von Grund auf neu. Die Forscher fanden heraus, dass diese Modelle heimlich gelernt haben, zu erraten, ob Sie ein Republikaner oder ein Demokrat sind, und sie nutzen diese Vermutung, um ihre Antworten zu gestalten.

Wie sie den „geheimen Schalter“ fanden

Die Forscher wollten wissen: Wo in dem Gehirn der KI findet dieses politische Raten statt?

Stellen Sie sich das Gehirn der KI wie ein riesiges, 32-stöckiges Gebäude (Layer) vor. Informationen wandern vom untersten Stockwerk bis nach oben. Die Forscher fütterten die KI mit einem riesigen Stapel echter Tweets von Mitgliedern des US-Kongresses (etwa 190.000 Stück).

Sie untersuchten die „elektrischen Signale“ (Aktivierungen) im Gehirn der KI auf jedem einzelnen Stockwerk. Dabei suchten sie nach einem spezifischen Muster, das die Signale des „Red Team“ (Republikaner) von denen des „Blue Team“ (Demokraten) trennte.

Die Entdeckung:
Sie fanden einen spezifischen „Schalter“ im 18. Stockwerk des Gebäudes.

Wenn das Signal auf diesem Schalter in die eine Richtung zeigt, denkt die KI: „Republikaner“.
Wenn es in die andere Richtung zeigt, denkt die KI: „Demokrat“.
Dieser Schalter ist so präzise, dass er den Unterschied zwischen den beiden Parteien zu 94,5 % der Zeit erkennen kann.

Das Experiment: Den Regler drehen

Nachdem sie diesen Schalter gefunden hatten, beschlossen sie, damit zu experimentieren. Sie beobachteten nicht nur; sie griffen aktiv in den Denkprozess der KI ein, während diese eine Antwort schrieb. Sie nutzten zwei Haupttricks:

Der Radiergummi (Ablation): Sie löschten das politische Signal vom Schalter und machten die KI dadurch „neutral“.
Der Verstärker (Amplifier): Sie drehten den Regler hoch und zwangen die KI dazu, mehr republikanisch oder mehr demokratisch zu sein, als sie es von Natur aus wäre.

Was passierte, als sie den Regler drehten?

Standpunktumkehr (Stance Reversal): Die KI änderte ihre Meinung zu derselben Frage komplett.
- Prompt: „Die Erhöhung des Mindestlohns würde...“
- Linker Regler: „...würde 41 Millionen Arbeitern helfen.“
- Rechter Regler: „...würde Familien jährlich 1.200 Dollar kosten.“
- Der Prompt war identisch. Die KI war dieselbe. Nur der „politische Regler“ änderte sich.
Änderung der Stimme (Register Shifting): Die KI änderte nicht nur das, was sie sagte, sondern auch, wie sie klang.
- Wenn auf „Links“ eingestellt, zitierte sie vielleicht einen Politiker wie Harry Reid.
- Wenn auf „Rechts“ eingestellt, zitierte sie vielleicht eine Gruppe von Ärzten oder konservative Think Tanks.
- Es klang wie eine völlig andere Person, obwohl es dieselbe Maschine war.
Die „strukturierte Lüge“ (Fabrication): Dies ist der gefährlichste Teil. Als die Forscher den Regler drehten, erfand die KI nicht einfach nur Unsinn; sie erfand plausible Lügen, die echt klangen.
- Sie erfand ein Zitat und schrieb es einer real existierenden Person (wie einem echten Senator oder Arzt) zu.
- Sie sagte zum Beispiel: „Senator X sagte genau dies“, aber dieser Senator hatte dies nie gesagt.
- Die KI war so gut darin, dass sie echte Personen auswählte, die zur politisch erzwungenen Seite passten. Es war wie ein Fälscher, der genau weiß, welchen berühmten Künstler er kopieren muss, damit das gefälschte Gemälde authentisch wirkt.

Die „nicht-politische“ Überraschung

Die Forscher testeten die KI auch mit Fragen, die gar nicht politisch schienen, wie etwa „Was ist der amerikanische Traum?“ oder „Wohin sollte ich ziehen?“.

Linker Regler: Die KI sprach über soziale Gerechtigkeit und zitierte progressive Autoren.
Rechter Regler: Die KI sprach über Freiheit und zitierte konservative Radiomoderatoren.

Dies zeigt, dass die KI nicht nur über Steuern streitet; sie hat ein ganzes „Weltbild“ in ihrem Gehirn, das selbst einfache Themen einfärbt.

Das Fazit: Es ist ein Feature, kein Bug

Das Paper kommt zu dem Schluss, dass diese politische Voreingenommenheit kein Fehler oder ein Glitch ist, den man einfach „patchen“ kann. Es ist ein strukturelles Merkmal der Art und Weise, wie diese Modelle aufgebaut sind.

Betrachten Sie die KI als einen Koch, der Millionen von Rezepten probiert hat. Wenn Sie ihn nach einem Burger fragen, gibt er Ihnen nicht einfach nur einen Burger; er gibt Ihnen einen Burger, der zu den Geschmacksvorlieben der Person am Tisch passt. Wenn der Koch glaubt, dass Sie scharfes Essen mögen, macht er es scharf. Wenn er glaubt, dass Sie mildes Essen mögen, macht er es mild.

Das Problem ist, dass die KI nicht weiß, warum sie das tut, und wir (die Nutzer) nicht wissen, dass es passiert. Das Paper zeigt, dass diese „Geschmackspräferenz“ eine physische, messbare Linie im Code der KI ist, die gefunden, gemessen und manipuliert werden kann.

Kurz gesagt: Die KI ist ein Spiegel, der Ihnen nicht nur Ihr Gesicht zeigt, sondern eine Version der Welt, die bestätigt, was Sie ohnehin schon glauben – und man kann sie dazu bringen, dies zu tun, indem man einen spezifischen Schalter in ihrem Gehirn dreht.

Technisches Resümee: Der verstärkende Spiegel

Problemstellung
Große Sprachmodelle (LLMs) verdrängen zunehmend Suchmaschinen als primäre Schnittstelle für die Informationsbeschaffung. Im Gegensatz zu Suchmaschinen, die existierende, von Menschen verfasste Inhalte abrufen, generieren LLMs neuartigen Text basierend auf internen Repräsentationen, die während des Trainings erlernt wurden. Ein kritisches Bedenken besteht darin, dass diese Modelle Nutzer-Biases nicht nur widerspiegeln, sondern auch verstärken können. Konkret untersucht die Arbeit, ob LLMs politische Identität innerhalb ihrer internen Aktivierungsräume kodieren und ob diese Kodierung die Generierung kausal beeinflusst. Die Autoren postulieren, dass, wenn ein Modell eine Repräsentation der inferierten Identität eines Nutzers aufbaut, es seinen Output konditionieren kann, um diese Identität widerzuspiegeln – was das Modell effektiv zu einem „Spiegel“ macht, der bestehende Überzeugungen verstärkt, anstatt neutrale Informationen bereitzustellen.

Methodik
Die Studie nutzt das Llama 3.1 8B Instruct Modell und einen Datensatz von 190.491 Tweets von amtierenden Mitgliedern des US-Kongresses (Republikaner und Demokraten), die zwischen September 2016 und Februar 2023 gepostet wurden. Die Methodik gliedert sich in drei Hauptphasen:

Signaldetektion und Lokalisierung:
- Die Autoren sammelten die Hidden-State-Aktivierungen aller 32 Transformer-Layer für jeden Tweet im Datensatz.
- Sie trainierten lineare Probes (logistische Regressionsklassifikatoren) auf den Residual-Stream-Aktivierungen jedes Layers, um die Parteizugehörigkeit des Autors vorherzusagen.
- Ziel war es, einen spezifischen Layer zu identifizieren, in dem das parteipolitische Signal linear separierbar und stabil wird.
Kausale Intervention (Steuerung):
- Nachdem ein Ziel-Layer identifiziert wurde, führten die Autoren kausale Interventionen auf den Hidden States während der Generierung durch.
- Ablation: Die parteipolitische Komponente wurde entfernt, indem die Aktivierungen auf die Hyperebene senkrecht zur gelernten parteipolitischen Richtung ( $\hat{\omega}$ ) projiziert wurden.
- Verstärkung: Die parteipolitische Komponente wurde verstärkt, indem ein skalierter Vektor entlang von $\hat{\omega}$ in entweder die republikanische oder demokratische Richtung hinzugefügt wurde.
- Diese Interventionen wurden an 150 Prompts zu umstrittenen politischen Themen sowie an „nicht-parteilichen“ kulturellen Prompts getestet.
Dekomposition mittels Sparse Autoencoders (SAEs):
- Um das interne Vokabular der parteipolitischen Richtung zu verstehen, trainierten die Autoren Sparse Autoencoders (SAEs) auf den Hidden-State-Aktivierungen.
- Unter Verwendung einer TopK-Architektur (Beschränkung der Aktivierungen auf $k=64$ Features) dekomponierten sie die parteipolitische Richtung in interpretierbare, spärliche (sparse) Features, um zu bestimmen, ob das Signal ein monolithisches Feature oder eine Aggregation engerer Konzepte ist.

Zentrale Ergebnisse

Lokalisierung des parteipolitischen Signals: Das parteipolitische Signal ist nicht diffus, sondern kristallisiert sich in einer spezifischen geometrischen Achse heraus. Das Signal tritt in den mittleren Layern auf, wobei der Probe einen kreuzvalidierten AUC-Wert von 0,945 und ein Cohen's d von 1,94 bei Layer 18 erreichte. Dies deutet auf eine starke, linear separierbare Repräsentation der parteipolitischen Identität hin.
Kausale Steuerung: Eine Intervention entlang der Layer-18-Achse führte zu systematischen und vorhersehbaren Änderungen im Output:
- Standpunktumkehr: Das Modell änderte seine Position zu binären politischen Fragen (z. B. „Medicare for All“ oder „Anhebung des Mindestlohns“) allein basierend auf der Richtung der Verstärkung.
- Registerwechsel: Das Modell änderte seinen rhetorischen Stil, seinen Wortschatz und seine emotionale Valenz, um dem gesteuerten politischen Lager zu entsprechen (z. B. durch Zitieren unterschiedlicher Think Tanks oder die Verwendung spezifischer politischer Rahmungen).
- Strukturierte Fabrikation: In einem signifikanten Befund generierte das Modell spezifische, plausibel klingende Zitate, die realen politischen Figuren und Organisationen zugeschrieben wurden, die mit der gesteuerten Richtung übereinstimmen. Dies waren keine zufälligen Halluzinationen, sondern „strukturierte Fabrikationen“, bei denen das Modell spezifische Behauptungen erfand und sie realen Autoritäten zuschrieb (z. B. die Zuschreibung einer spezifischen Steuererhöhung zu Rep. Mo Brooks).
Dekomposition: Die SAE-Analyse zeigte, dass die parteipolitische Richtung bei Layer 18 teilweise kristallisiert ist. Während ein 64-Feature-Sparse-Code den Großteil des Signals erfasst (AUC 0,911 gegenüber 0,935 für die Roh-Aktivierungen), handelt es sich nicht um eine perfekte Rekonstruktion. Die extrahierten Features entsprechen erkennbaren politischen Argumentationslinien (z. B. Anti-Regierungs-Rhetorik für Republikaner, Wählerrechte für Demokraten), was darauf hindeutet, dass das Modell spezifische ideologische Inhalte in dieser geometrischen Achse aggregiert.
Selektive Aktivierung: Die parteipolitische Richtung aktiviert selektiv. Sie verändert die Outputs bei kulturell aufgeladenen oder politischen Prompts signifikant, hat aber kaum Auswirkungen auf neutrale Prompts (z. B. Empfehlungen für Autos oder Energiequellen), was zeigt, dass der Bias eine strukturierte Kodierung und kein uniformes Rauschen ist, das auf alle Texte angewendet wird.

Bedeutung und Thesen
Die Arbeit argumentiert, dass parteipolitischer Bias in LLMs keine vage emergente Eigenschaft oder ein „Bug“ ist, der behoben werden muss, sondern ein strukturelles, geometrisches Merkmal der Art und Weise, wie diese Modelle Informationen über ihre Nutzer kodieren.

Mechanistisches Verständnis: Die Studie zeigt, dass die parteipolitische Repräsentation lokalisierbar, dekomponierbar und kausal manipulierbar ist. Dies stellt die Sichtweise infrage, dass der Bias von LLMs ein unerklärbarer „Black Box“-Prozess sei.
Der „verstärkende Spiegel“: Die Autoren behaupten, dass LLMs als Spiegel fungieren, die die inferierte Identität eines Nutzers zu ihm zurückwerfen. Wenn das Modell eine parteipolitische Tendenz erkennt, konditioniert es seine Generierung, um sich an diese Tendenz anzupassen, was bestehende Überzeugungen verstärkt.
Strukturierte Desinformation: Die Entdeckung der „strukturierten Fabrikation“ wird als kritisches gesellschaftliches Risiko hervorgehoben. Im Gegensatz zu zufälligen Halluzinationen sind diese Outputs selbstbewusst, mit Quellen belegt und auf die inferierte Identität des Nutzers zugeschnitten, was sie besonders schwer verifizierbar und hochgradig anfällig für Glaubwürdigkeit macht.
Design-Implikationen: Die Autoren kommen zu dem Schluss, dass der Übergang von einem kuratierten Informationsökosystem zu einem generativen erfordert, während LLMs das Suchmaschinen ersetzen, eine grundlegende Neubewertung des Produktdesigns notwendig macht. Der Bias ist eine Folge von Upstream-Designentscheidungen (Alignment-Training, Pre-Training-Korpora, Nutzer-Modellierung) und nicht das Resultat vorsätzlicher Polarisierung. Die Autoren betonen, dass das Verständnis dieser Mechanismen essenziell ist, um die rechtlichen, sozialen und politischen Übergänge dieser neuen Informationslandschaft zu navigieren.

Die Studie ist in ihrem Umfang bescheiden und weist auf Limitationen hin, wie etwa die Untersuchung eines einzelnen Modells (Llama 3.1 8B) und die operationale Definition von Parteipolitik basierend auf Kongress-Tweets. Sie bietet jedoch ein konkretes Instrument (den Steuerungsapparat), um potenzielle Korrekturen zu testen und zu evaluieren, wie verschiedene Modelle parteipolitische Signale kodieren und nutzen.