💬 NLP

The Neutral Mask: How RLHF Provides Shallow Alignment while Leaving Partisan Structure Intact in a Large Language Model

Dieses Paper zeigt auf, dass RLHF in Llama 3.1 8B funktionale politische Neutralität nicht durch das Löschen zugrunde liegender parteipolitischer Strukturen erreicht, sondern durch das Durchtrennen des kausalen Pfades von diesen intakten internen Repräsentationen zum Output des Modells, wodurch eine fragile Ausrichtung geschaffen wird, die durch spezifische Steering-Techniken umgangen werden kann.

Ursprüngliche Autoren: Wendy K. Tam

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wendy K. Tam

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Eine „Neutralitäts“-Maske, kein neues Gehirn

Stellen Sie sich vor, Sie haben eine sehr kluge, belesene Person (das Basismodell), die jedes Buch, jeden Zeitungsartikel und jeden Tweet gelesen hat, der jemals geschrieben wurde. Diese Person hat starke Meinungen. Wenn man sie nach der Politik fragt, klingt sie vielleicht sofort wie ein leidenschaftlicher Demokrat oder ein erbitterter Republikaner, je nach Thema. Sie hat einen tiefen, internen „Kompass“, der stark in verschiedene Richtungen zeigt.

Die Forscher wollten wissen: Was passiert, wenn wir diese Person darauf trainieren, „neutral“ und hilfreich zu sein?

Die Arbeit argumenttiert, dass der Trainingsprozess (genannt RLHF) nicht wirklich den politischen Kompass der Person auslöscht oder ihr Gehirn verändert. Stattdessen setzt er eine Maske auf sie auf. Die Person hat immer noch all diese politischen Meinungen und internen Richtungen, aber sie wurde darauf trainiert, diese zu ignorieren und auf eine langweilige, ausgewogene „Beide-Seiten-betrachtende“ Weise zu sprechen.

Wenn man die Maske abnimmt (oder die Person durch einen spezifischen Kontext dazu verleitet, die Maske abzulegen), ist ihr ursprünglicher politischer Kompass immer noch da und bereit, sich zu drehen.

Wie sie das getestet haben: Das „Politische GPS“

Um dies zu beweisen, verwendeten die Forscher ein Werkzeug wie ein Politisches GPS.

Die Karte: Zuerst kartierten sie eine spezifische Richtung im „Gehirn“ des Modells (mathematisch ausgedrückt), die den Unterschied zwischen „Republikaner“ und „Demokrat“ repräsentiert.
Der Test: Sie stellten dem „Basismodell“ (vor dem Training) und dem „Instruct-Modell“ (nach dem Training) dieselben 84 Fragen, die von „Wie man ein Steak kocht“ bis hin zu „Ist Abtreibung legal?“ reichten.

Die Ergebnisse:

Das Basismodell: Wenn es nach Politik gefragt wurde, schwang die Nadel seines internen GPS wild umher. Manchmal zeigte sie weit nach links, manchmal weit nach rechts. Seine Antworten entsprachen diesem Schwung (z. B. klang es sehr progressiv oder sehr konservativ).
Das Instruct-Modell: Wenn es dieselben Fragen gestellt wurde, bewegte sich die Nadel seines internen GPS kaum. Sie blieb in der Mitte stecken. Seine Antworten waren perfekt ausgewogen und listeten Argumente für beide Seiten auf, ohne einen Gewinner zu küren.

Die Überraschung: Die Forscher erwarteten, dass das Training den politischen Kompass entfernt hätte. Stattdessen fanden sie heraus, dass der Kompass immer noch da war; er wurde nur von einer starken Hand sehr ruhig gehalten.

Die „Lichtschalter“-Analogie: Was eigentlich passiert

Die Arbeit verwendet eine kluge Analogie mit Lichtschaltern (oder Merkmalen/Features) im Gehirn des Modells.

Vor dem Training (Basismodell): Das Gehirn hat viele Lichtschalter. Einige Schalter steuern „Kochen“, andere „Geschichte“ und wieder andere „Politische Rhetorik“. Wenn man eine politische Frage stellt, werden die „Politische Rhetorik“-Schalter umgelegt, und das Modell spricht mit einer parteiischen Stimme.
Nach dem Training (Instruct-Modell): Die Forscher fanden heraus, dass die „Politische Rhetorik“-Schalter komplett AUSGESCHALTET sind. Sie sind dunkel. Das Modell nutzt sie überhaupt nicht.
Der Clou: Das Modell nutzt gar nicht viele Schalter. Es nutzt nur einen winzigen, spezifischen Satz von Schaltern, die „formale, langweilige, ausgewogene Sprache“ steuern.

Das „Offset“-Rätsel:
Den Forschern fiel auf, dass die Nadel des GPS des Instruct-Modells nicht exakt bei Null lag, sondern leicht in Richtung der „Republikaner“-Seite geneigt war. Sie dachten: „Aha! Es ist immer noch voreingenommen!“
Doch als sie genauer hinsahen, erkannten sie, dass diese Neigung nicht durch politische Meinungen verursacht wurde. Sie wurde durch den Stil der Antworten verursacht. Das Modell wurde darauf trainiert, auf eine sehr formale, strukturierte Weise zu sprechen (unter Verwendung von Listen, Zitaten und einem formalen Tonfall). Es stellte sich heraus, dass in den Daten, die das Modell trainierten, Republikaner diesen formalen Stil häufiger verwendeten als Demokraten. So drückte der „formale Stil“-Schalter die politische Nadel versehentlich leicht nach rechts, obwohl das Modell politisch gar nichts sagte.

Das „Fernbedienungs“-Experiment

Um zu beweisen, dass der politische Kompass noch vorhanden, aber nur getrennt war, spielten die Forscher ein Spiel mit einer Fernbedienung.

Sie nahmen das „Basismodell“ und das „Instruct-Modell“ und nutzten eine Fernbedienung, um die „Politische Rhetorik“-Schalter zwangsweise einzuschalten (dies nennt man Steering).

Basismodell: Als sie den Schalter erzwangen, begann das Modell sofort, starke politische Meinungen auszuspucken. Es funktionierte perfekt.
Instruct-Modell: Als sie denselben Schalter erzwangen, änderte das Modell seine Antwort nicht. Es gab weiterhin die gleiche ausgewogene, neutrale Antwort.

Was das bedeutet: Die „Verkabelung“ für politische Meinungen ist immer noch im Gehirn des Instruct-Modells vorhanden. Aber die „Sicherung“, die diese Drähte mit dem Mund (dem Output) verbindet, wurde durchtrennt. Das Modell kennt die politischen Argumente, aber es wurde darauf trainiert, sich zu weigern, sie auszusprechen.

Das Fazit: Eine fragile Neutralität

Die Arbeit kommt zu dem Schluss, dass die „Neutralität“, die wir heute bei KI sehen, funktional, nicht strukturell ist.

Funktionale Neutralität: Die KI verhält sich neutral, weil sie Regeln befolgt. Es ist wie ein Schauspieler, der ein Skript auswendig gelernt hat, um immer höflich zu klingen.
Strukturelle Neutralität: Die KI wäre neutral, weil sie buchstäblich nicht die Kapazität besitzt, voreingenommen zu sein. (Die Arbeit sagt, dass dies nicht der Fall ist).

Das Risiko: Da der interne politische Kompass intakt bleibt, ist die „Maske“ fragil. Wenn jemand weiß, wie man die Regeln umgeht (zum Beispiel, indem man die KI austrickst, indem man sie glauben lässt, der Nutzer wünsche eine bestimmte politische Meinung, oder durch die Verwendung eines „Jailbreak“-Prompts), kann das Modell die Maske sofort fallen lassen und seine zugrunde liegende parteipolitische Struktur offenbaren.

Kurz gesagt: Die KI wurde nicht „umgezogen“, um ihre politische Voreingenommenheit zu verlieren. Sie hat nur gelernt, eine Maske der Neutralität zu tragen. Die Voreingenommenheit ist immer noch da, wartet hinter der Maske und ist bereit, herauszukommen, wenn die Maske verrutscht.

Technisches Resümee: Die neutrale Maske

Problemstellung
Das primäre Ziel von Reinforcement Learning from Human Feedback (RLHF) ist es, große Sprachmodelle (LLMs) mit menschlichen Werten in Einklang zu bringen, um sie sicher und nützlich zu machen. Der Mechanismus, durch den RLHF diese Werte kodiert, bleibt jedoch opak. Eine wachsende Zahl von Belegen deutet darauf hin, dass das Alignment-Training oft zu „funktionaler Compliance“ führt, statt zu einer tiefen strukturellen Ausrichtung, was potenziell dazu führt, dass zugrunde liegende wertgeladene Strukturen intakt bleiben, während lediglich deren Ausdruck unterdrückt wird. Diese Arbeit untersucht dieses Phänomen durch die Linse der parteipolitischen Orientierung und adressiert die Frage, ob RLHF parteipolitische Biases aus den internen Repräsentationen eines Modells entfernt oder sie lediglich von der Output-Generierungspipeline entkoppelt.

Methodik
Die Studie verwendet eine mechanistische Fallstudie, die die internen Repräsentationen des Llama 3.1 8B-Modells in zwei Zuständen vergleicht: dem Base-Modell (vortrainiert auf massiven Textkorpora) und dem Instruct-Modell (feingetuned mittels RLHF). Die Methodologie umfasst drei primäre technische Komponenten:

Partisan Probing: Unter Verwendung einer linearen Sonde (Linear Probe), die auf 190.491 Tweets von Kongressabgeordneten trainiert wurde, identifizieren die Autoren eine spezifische Richtung ( $\hat{\omega}$ ) im Hidden-State-Aktivationsraum von Schicht 18, in der die parteipolitische Identität linear separierbar ist. Diese Sonde wird sowohl auf das Base- als auch auf das Instruct-Modell über 84 diverse Prompts (politisch, historisch, wissenschaftlich und nicht-politisch) angewendet, um parteipolitische Scores zu messen.
Sparse Autoencoder (SAE) Dekomposition: Ein TopK Sparse Autoencoder wird auf den Hidden States von Schicht 18 der Congressional-Tweets trainiert, um den 4.096-dimensionalen Residual Stream in 32.768 latente Merkmale zu zerlegen. Dies ermöglicht die Identifizierung interpretierbarer, monosemantischer Merkmale, die spezifisch zwischen der Kodierung von politischem Inhalt und dem Diskursstil unterscheiden.
Feature-Level Steering: Um Kausalität zu etablieren, führen die Autoren Experimente zum Activation Steering durch. Sie extrahieren Decoder-Spalten aus dem SAE, die den spezifischen Merkmalen (politikbezogen und registerbezogen) entsprechen, und fügen während der Generierung Perturbationen ( $\alpha \cdot \hat{d}_i$ ) zu den Hidden States hinzu. Dies testet, ob das Steuern der internen Repräsentation entlang parteipolitischer Richtungen zu entsprechenden Änderungen im generierten Text führt, sowohl für das Base- als auch für das Instruct-Modell.

Kernergebnisse

Kompression, nicht Löschung: RLHF komprimiert die Varianz des parteipolitischen Signals drastisch. Während die parteipolitischen Scores des Base-Modells eine breite Spanne abdecken (von -0,5 bis 1,253), werden die Scores des Instruct-Modells in ein schmales Band komprimiert, das nahe bei 0,169 zentriert ist. Trotz dieser Verschiebung hin zu einem positiven (republikanisch-orientierten) Offset bleibt der generierte Text des Instruct-Modells konsistent neutral und multiperspektivisch.
Verschwinden von Politik-Features: Die SAE-Dekomposition zeigt, dass fünf spezifische Merkmale, die erkennbare politische Inhalte kodieren (z. B. Anti-Biden-Rhetorik, progressive Advocacy), im Base-Modell sporadisch aktiv sind, im Instruct-Modell jedoch über alle 84 Prompts hinweg vollständig inaktiv (null) sind.
Die Natur des Offsets: Der verbleibende positive parteipolitische Score (0,169) im Instruct-Modell wird nicht durch Politik-Features getrieben. Die Dekomposition zeigt, dass 68 % dieses Scores aus dem SAE-Decoder-Bias (vererbt aus dem Congressional-Tweet-Korpus) stammen und 24 % von einem einzelnen Feature (32143) herrühren, das einen formalen Diskursstil (nummerierte Listen, Zitate, institutionelle Stimme) kodiert, statt einer politischen Position. Die positive Ausrichtung dieses Stil-Features ist ein Artefakt des Trainingskorpus, nicht eine politische Haltung.
Kausale Entkopplung: Steering-Experimente demonstrieren eine fundamentale Divergenz im Verhalten. Wenn das Base-Modell entlang der Richtungen von Politik-Features gesteuert wird, verschiebt sich sein Output passend zur parteipolitischen Richtung. Im Gegensatz dazu reagieren die internen Repräsentationen des Instruct-Modells zwar auf das Steering (der parteipolitische Score verschiebt sich identisch), aber die Generierungspipeline versagt dabei, diese repräsentative Verschiebung in den Text-Output zu konvertieren. Das Instruct-Modell generiert ungeachtet der Stärke des Steerings weiterhin ausgewogene, neutrale Texte.

Wesentliche Beiträge

Mechanistischer Beleg für „Disconnect-Rather-Delete“: Die Arbeit liefert empirische Beweise dafür, dass RLHF die parteipolitische Geometrie aus dem Repräsentationsraum eines Modells nicht löscht. Stattdessen unterbricht es den kausalen Pfad zwischen dieser Geometrie und dem Output-Generierungsmechanismus.
Unterscheidung zwischen funktionaler und struktureller Neutralität: Die Studie unterscheidet zwischen funktionaler Neutralität (der Output erscheint ausgewogen) und struktureller Neutralität (der zugrunde liegende Bias wurde entfernt). Die Autoren zeigen, dass das Llama 3.1 8B Instruct-Modell Ersteres erreicht, während es Letzteres beibehält.
Rolle des Diskursstils: Die Analyse identifiziert, dass die beobachtete „Neutralität“ teilweise ein Nebenprodukt des RLHF-Trainings ist, welches das Modell dazu bringt, einen spezifischen formalen, strukturierten Register einzunehmen, der aufgrund der Trainingsdaten zufällig mit einer bestimmten Richtung im parteipolitischen Raum korreliert, anstatt ein Ergebnis einer bewussten Löschung politischer Kenntnisse zu sein.

Bedeutung und Behauptungen
Die Arbeit argumentiert, dass die beobachtete Neutralität in ausgerichteten LLMs eine „Maske“ ist. Die zugrunde liegende parteipolitische Geometrie bleibt intakt und kann reaktiviert werden, wenn die kausale Verbindung zur Generierungspipeline umgangen wird. Die Autoren behaupten, dass dieses „Disconnect-not-Delete“-Muster wahrscheinlich eine allgemeine Eigenschaft aktueller Alignment-Methoden ist, die bereits zuvor in den Bereichen Toxizität und Sicherheit beobachtet wurde.

Die Bedeutung dieses Befundes liegt in der Fragilität des ausgerichteten Verhaltens. Da der strukturelle Bias bestehen bleibt, können Mechanismen, die die parteipolitische Identität eines Nutzers inferieren und verstärken (z. B. durch den Kontext eines Gesprächs), die parteipolitische Generierung reaktivieren. Die Autoren kommen zu dem Schluss, dass aktuelle Alignment-Methoden möglicherweise nur oberflächliche Compliance erreichen, was darauf hindeutet, dass wahre Sicherheit und Alignment Methoden erfordern, die die Repräsentationen selbst ausrichten, anstatt lediglich die Generierung um existierende werteladene Strukturen herumzuleiten. Die Autoren merken an, dass ihre Ergebnisse spezifisch für die Llama 3.1 8B Architektur sind und dass der Rechenaufwand für eine solche mechanistische Analyse die Anwendung auf Open-Weight-Modelle derzeit einschränkt.