The Neutral Mask: How RLHF Provides Shallow Alignment while Leaving Partisan Structure Intact in a Large Language Model

Technische Samenvatting: Het Neutrale Masker

Probleemstelling
De primaire ambitie van Reinforcement Learning from Human Feedback (RLHF) is om grote taalmodellen (LLM's) af te stemmen op menselijke waarden, waardoor ze veilig en nuttig worden. De mechanismen waarmee RLHF deze waarden codeert, blijven echter opaak. Een groeiende hoeveelheid bewijs sugggeist dat alignment-training vaak resulteert in "functionele naleving" in plaats van diepe structurele afstemming, wat potentieel de onderliggende waarde-geladen structuren intact laat terwijl slechts hun expressie wordt onderdrukt. Dit artikel onderzoekt dit fenomeen door de lens van partijdige politieke oriëntatie, waarbij de vraag wordt behandeld of RLHF partijdige vooroordelen verwijdert uit de interne representaties van een model of ze slechts loskoppelt van de output-generatiepijplijn.

Methodologie
De studie hanteert een mechanistische casestudy die de interne representaties van het Llama 3.1 8B-model vergelijkt in twee toestanden: het Base-model (voorgetraind op enorme tekstcorpora) en het Instruct-model (fijn afgestemd met RLHF). De methodologie omvat drie primaire technische componenten:

1. Partijdige Probing: Door gebruik te maken van een lineaire probe getraind op 190.491 congres-tweets, identificeren de auteurs een specifieke richting ($\hat{\omega}$) in de verborgen-toestand activatieruimte van Laag 18 waar partijdige identiteit lineair scheidbaar is. Deze probe wordt toegepast op zowel het Base- als het Instruct-model over 84 diverse prompts (politiek, historisch, wetenschappelijk en niet-politiek) om partijdige scores te meten.
2. Sparse Autoencoder (SAE) Decompositie: Een TopK sparse autoencoder wordt getraind op de Laag 18 verborgen toestanden van de congres-tweets om de 4.096-dimensionale residual stream te decomponeren in 32.768 latente kenmerken. Dit maakt de identificatie van interpreteerbare, monosemantische kenmerken mogelijk, waarbij specifen de kenmerken die beleidsinhoud versus discursieve stijl coderen.
3. Feature-Level Steering: Om causaliteit vast te stellen, voeren de auteurs experimenten uit met activatie-steering. Ze extraheren decoderkolommen uit de SAE die overeenkomen met specifieke kenmerken (beleidsgerelateerd en register-gerelateerd) en voegen perturbaties ($\alpha \cdot \hat{d}_i$) toe aan de verborgen toestanden tijdens de generatie. Dit test of het sturen van de interne representatie langs partijdige richtingen resulteert in overeenkomstige veranderingen in de gegenereerde tekst voor beide modellen.

Belangrijkste Resultaten

• Compressie, Geen Erosie: RLHF comprimeert de variantie van het partijdige signaal drastisch. Terwijl de partijdige scores van het Base-model een breed bereik beslaan (van -0,5 tot 1,253), zijn de scores van het Instruct-model gecomprimeerd in een smalle band gecentreerd rond 0,169. Ondanks deze verschuiving naar een positieve (Republikeinse neigende) offset, blijft de gegenereerde tekst van het Instruct-model consistent neutraal en meerperspectivisch.
• Verdwijnen van Beleids-kenmerken: SAE-decompositie onthult dat vijf specifieke kenmerken die herkenbare politieke inhoud coderen (bijv. anti-Biden retoriek, progressieve belangenbehartiging) sporadisch actief zijn in het Base-model, maar volledig inactief (nul) zijn in het Instruct-model over alle 84 prompts.
• De Aard van de Offset: De resterende positieve partijdige score (0,169) in het Instruct-model wordt niet gedreven door beleids-kenmerken. De decompositie laat zien dat 68% van deze score komt van de SAE-decoderbias (geërfd van het congres-tweet corpus) en 24% van een enkel kenmerk (32143) dat formele discursieve stijl (genummerde lijsten, citaten, institutionele stem) codeert in plaats van beleid. De positieve uitlijning van dit stijlkenmerk is een artefact van het trainingscorpus, niet een politieke standpunt.
• Causale Disconnect: Steering-experimenten demonstreren een fundamentele divergentie in gedrag. Wanneer het Base-model wordt gestuurd langs beleids-kenmerken, verschuift de output om de partijdige richting te matchen. In tegen plaats bewegen de interne representaties van het Instruct-model wel in reactie op steering (de partijdige score verschuift identiek), maar de generatiepijplijn faalt om deze representatieve verschuiving om te zetten in tekstuele output. Het Instruct-model blijft gebalanceerde, neutrale tekst genereren, ongeacht de magnitude van de steering.

Belangrijkste Bijdragen

1. Mechanistisch Bewijs van "Disconnect-Rather-Delete": Het artikel levert empirisch bewijs dat RLHF de partijdige geometrie uit de representatieruimte van het model niet wist. In plaats daarvan verbreekt het de causale weg tussen die geometrie en het output-generatiemechanisme.
2. Onderscheid tussen Functionele en Structurele Neutraliteit: De studie maakt onderscheid tussen functionele neutraliteit (de output lijkt gebalanceerd) en structurele neutraliteit (de onderliggende bias is verwijderd). De auteurs demonstreren dat het Llama 3.1 8B Instruct-model het eerste bereikt terwijl het laatste behoudt.
3. Rol van Discursieve Stijl: De analyse identificeert dat de geobserveerde "neutraliteit" deels een bijproduct is van RLHF-training die het model traint om een specifiek formeel, gestructureerd register aan te nemen, wat toevallig samenvalt met een specifieke richting in de partijdige ruimte vanwege de trainingsdata, in plaats van een bewuste erosie van politieke kennis.

Significantie en Claims
Het artikel betoogt dat de neutraliteit die wordt waargenomen in afgestemde LLM's een "masker" is. De onderliggende partijdige geometrie blijft intact en kan worden gereactiveerd als de causale link met de generatiepijplijn wordt omzeild. De auteurs beweren dat dit "disconnect-not-delete"-patroon waarschijnlijk een algemene eigenschap is van huidige alignment-methoden, zoals eerder waargenomen in toxiciteit en veiligheidsdomeinen.

De significantie van deze bevinding ligt in de fragiliteit van afgestemd gedrag. Omdat de structurele bias intact blijft, kunnen mechanismen die de partijdige identiteit van een gebruiker afleiden en versterken (bijv. door conversatiecontext) de partijdige generatie heractiveren. Het artikel concludeert dat huidige alignment-methoden wellicht slechts oppervlakkige naleving bereiken, wat suggereert dat echte veiligheid en alignment methoden vereisen die de representaties zelf afstemmen, in plaats van enkel de generatie rond bestaande waarde-geladen structuren te herrouteren. De auteurs merken op dat hun bevindingen specifiek zijn voor de Llama 3.1 8B architectuur en dat de computationele eisen van dergelijke mechanistische analyse de huidige toepassing op open-weight modellen beperken.