Technische Samenvatting: Mechanistische Analyse van Alignment-algoritmen in Taalmodellen

Probleemstelling

Post-training alignment-algoritmen, ontworig om Large Language Models (LLM's) te sturen naar behulpzaamheid, ongevaarlijkheid en eerlijkheid, worden voornamelijk geëvalueerd als "black boxes". Succes wordt gemeten via geaggregeerde gedragsmetrieken (bijv. benchmarkscores, menselijke voorkeursscores) in plaats van een begrip van hoe deze algoritmen de interne berekeningen van het model hervormen. Deze diagnostische kloof verhindert de rigoureuze voorspelling van onbedoelde neveneffecten, zoals de degradatie van specifieke capaciteiten of het ontstaan van misleidend gedrag. Hoewel het veld is gediversifieerd van het initiële Proximal Policy Optimization (PPO) paradigma naar directe voorkeursdoelstellingen zoals Direct Preference Optimization (DPO), Simple Preference Optimization (SimPO), Odds Ratio Preference Optimization (ORPO), Kahneman-Tversky Optimization (KTO) en Group Relative Policy Optimization (GRPO), is er een gebrek aan vergelijkbaar mechanistisch inzicht in de vraag of deze diverse doelstellingen convergeren naar vergelijkbare interne representaties of onderscheidende kenmerk-niveau veranderingen induceren.

Methodologie

De auteurs presenteren een systematische mechanistische analyse over zes voorkeursoptimalisatiemethoden (PPO, DPO, SimPO, ORPO, GRPO, KTO) toegepast op drie open-weight modelfamilies: Llama-3.2-3B, SmolLM3-3B en Qwen3-4B. De modellen werden uitgelijnd met behulp van Low-Rank Adaptation (LoRA) op de UltraFeedback dataset. De analyse maakt gebruik van een drieledig interpreteerbaarheidsframework:

1. Lineaire Probing: Om voorkeursrepresentaties te lokaliseren, trainen de auteurs logistische regressieclassificaties op de residual stream activaties van gekozen versus afgewezen completions. Dit meet de lineaire scheidbaarheid van voorkeurssignalen over verschillende lagen, waarbij de "beste" lagen worden geïdentificeerd waar voorkeursinformatie het meest decodeerbaar is.
2. Sparse Autoencoders (SAEs): Om de superponeerde, polymonosematische activaties te decomponeren, werden Batch Top-K SAE's getraind op de basismodellen. Deze SAE's werden vervolgens gebruikt om de activatie van specifieke "anker"-features in de uitgelijnde modellen te meten, wat de kwantificering van feature-onderdrukking, amplificatie of variantieverandering mogelijk maakt.
3. Crosscoders: Om de geometrie van latente ruimtes tussen basis- en uitgelijnde modellen te vergelijken, werden crosscoders getraind op gepaarde verborgen toestanden. Dit maakt het mogelijk om features te classificeren als gedeeld, basis-specifiek, uitgelijnd-specifiek, gedempt of omgeleid. Geometrische statistieken (normratio's en hoeken) werden gebruikt om te bepalen of alignment een constructieve sharing of niet-constructieve rotatie/attenuatie induceerde.

Belangrijkste Bijdragen

Het artikel stelt vast dat alignment een heterogene interventie is in plaats van een uniforme gedragsfix. De primaire bijdragen zijn:

• Uitgebreide Alignment-diagnostiek: De studie biedt de eerste white-box vergelijking van zes leidende alignment-methoden over drie verschillende architecturen, waarbij verder wordt gegaan dan output-niveau benchmarking naar interne representatieanalyse.
• Onderscheidende Alignment-signaturen: De auteurs identificeren kwalitatief verschillende geometrische transformaties geïnduceerd door verschillende doelstellingen:
  • KTO en GRPO: Deze methoden verbeteren de lineaire scheidbaarheid van voorkeursrepresentaties. KTO bereikt dit door constructieve feature sharing en de rekrutering van ijle, hoog-saliente features. GRPO versterkt gradiënten op basis van intra-groep variantie, wat leidt tot sterke discriminatieve kracht.
  • DPO en ORPO: Deze methoden degraderen de lineaire scheidbaarheid ten opzichte van het basismodel. DPO is geassocieerd met niet-constructieve geometrische rotatie van gedeelde features, waarbij representaties verschuiven naar subruimtes die orthogonaal staan op de oorspronkelijke voorkeurs-coderende richtingen. ORPO dempt de voorkeurs-relevante activaties, wat de signalen van specifieke features aanzienlijk verzwakt (bijv. een 400% reductie in mediane activatie voor bepaalde features in Qwen3).
  • PPO en SimPO: Deze methoden behouden grotendeels de baseline geometrie, waarbij de lineaire decodeerbaarheid van voorkeuren wordt gehandhaafd zonder de constructieve verbetering die bij KTO/GRPO wordt gezien of de degradatie die bij DPO/ORPO wordt gezien.
• Architectuur-afhankelijke Variabiliteit: De interne effecten van een specifieke alignment-doelstelling zijn niet uniform over modelfamilies. Bijvoorbeeld, terwijl ORPO een catastrofale prestatie-instorting en feature-onderdrukking veroorzaakt in Llama-3.2 en Qwen3, behoudt het activatieniveaus die vergelijkbaar zijn met het basismodel in SmolLM3. Dit demonstreert dat claims over alignment-mechanismen moeten worden afgestemd op de specifieke basisarchitectuur en de geanalyseerde laag.

Resultaten

• Lineaire Probing: Het "kamelenbult"-patroon van voorkeurs-discriminabiliteit (geconcentreerd in vroege-mid of mid-late lagen) blijft persistent over de methoden heen. Echter, KTO en GRPO vertonen de hoogste discriminatieve kracht, terwijl DPO en ORPO een verminderde scheidbaarheid laten zien vergeleken met het basismodel.
• SAE Analyse: ORPO induceert een duidelijke onderdrukking van anker-features in Llama en Qwen modellen, terwijl KTO een hogere variantie in feature-activaties introduceert, wat wijst op een grotere contextafhankelijkheid. SmolLM3 vertoont andere heterogeniteit, waarbij GRPO een verminderde activatie laat zien alleen bij de probe-best laag, maar een verhoogde activatie bij de trainingslaag.
• Crosscoder Geometrie: De feature sharing van KTO is "constructief"; het leent bestaande discriminabiliteit en verbetert deze. In tegen plaats vertonen DPO en ORPO "niet-constructieve" distortie; DPO roteert features weg van de voorkeurs-subruimte, en ORPO dempt gedeelde features. PPO en SimPO tonen feature-distributies die de preservatie van de baseline geometrie bevestigen.
• Gedragscorrelatie: De MT-Bench scores onthullen dat oppervlakte-prestaties niet altijd correleren met interne gezondheid. Bijvoorbeeld, ORPO veroorzaakte een drastische daling in Llama-3.2 scores (van 6.33 naar 2.12), wat werd gediagnosticeerd als interne representatie-drift en feature-attenuatie in plaats van eenvoudige output-ruis.

Betekenis

Het artikel betoogt dat gedragsmatige alignment niet impliceert dat er sprake is van een uniforme interne herstructurering. Door alignment te karakteriseren als een reeks onderscheidende representatieve transformaties, motiveren de auteurs de noodzaak voor gestandaardiseerde feature-niveau auditing voor veiligheid en interpreteerbaarheid. De bevindingen suggeren dat mechanisme-bewuste optimalisatie-doelstellingen noodzakelijk zijn om te waarborgen dat alignment-protocollen niet alleen de output-gedragingen verbeteren, maar ook de geometrische getrouwheid van interne representaties behouden of versterken. Dit werk beweegt het veld naar een "white-box" begrip van alignment, waarbij een diagnostisch framework wordt geboden om te detecteren of degradatie voortkomt uit representatie-drift, over-optimalisatie of het verlies van instructie-volgende circuits.

Beperkingen

De auteurs erkennen dat hun experimenten beperkt zijn tot 3B–4B parameter modellen, en dat representatieve veranderingen niet-lineair kunnen schalen in grotere productiemodellen. Bovendien is de analyse diagnostisch in plaats van causaal; hoewel het decodeerbare informatie en veranderingen in feature-geometrie identificeert, voert het geen component-niveau causale ablaties uit (bijv. activation patching) om noodzakelijke of voldoende circuits voor de geobserveerde gedragingen vast te stellen.