Technische Samenvatting: Het begrijpen van de spanning tussen behulpzaamheid en ongevaarlijkheid in beloningsmodellen

Probleemstelling

Beloningsmodellen (Reward Models, RMs) zijn centraal in Reinforcement Learning from Human Feedback (RLHF) en hebben als taak om Large Language Models (LLMs) af te stemmen op menselijke waarden, specifiek behulpzaamheid (helpfulness) en ongevaarlijkheid (harmlessness). Hoewel deze doelstellingen vaak gelijktijdig worden nagestreefd in trainingen met gemengde doelstellingen, conflicteren ze regelmatig. Een RM kan bijvoorbeeld prioriteit geven aan het weigeren van een query om de ongevaarlijkheid te waarborgen (bijv. het weigeren van het verstrekken van het privé-e-mailadres van een fictief personage), terwijl een mens de voorkeur geeft aan een behulpzaam, informatief antwoord. Dit fenomeen, de alignment tension (afstemmingsspanning) genoemd, leidt tot suboptimaal modelgedrag waarbij een afgestemde LLM ofwel onveilige reacties produceert om behulpzaamheid te bevredigen, ofwel onschuldige queries weigert om ongevaarlijkheid te garanderen.

Ondanks de prevalentie van dit probleem blijven de interne mechanismen van RMs — met betrekking tot hoe ze deze concurrerende doelstellingen coderen, representeren en verzoenen — slecht begrepen. Bestaand interpretatieonderzoek richt zich grotendeels op het verklaren van specifieke scorebeslissingen in plaats van op het analyseren van hoe concurrerende doelstellingen interageren binnen de interne circuitry van het model.

Methodologie

De auteurs onderzoeken alignment tension door een combinatie van gedragsanalyse en mechanistische interpreteerbaarheid.

Experimentele Opzet

1. Modeltraining: De studie traint drie varianten van beloningsmodellen vanuit dezelfde vooraf getrainde LLM-backbones (families van SmoLLM2 en GPT-2):
   • Helpful RM ($r^H_\theta$): Uitsluitend getraind op de behulpzaamheids-subset van de HH-RLHF dataset.
   • Harmless RM ($r^S_\theta$): Uitsluitend getraind op de ongevaarlijkheids-subset.
   • Mixed RM ($r^{HS}_\theta$): Getraind op de gecombineerde dataset die beide doelstellingen bevat.
2. Evaluatie: De modellen worden geëvalueerd op diverse benchmarks (RewardBench, RewardBench2, RM-Bench) gecategoriseerd in behulpzaamheid-georiënteerde taken (bijv. chat, redeneren, instructie-opvolging) en ongevaarlijkheid-georiënteerde taken (bijv. veiligheid, weigering, adversariële robuustheid).
3. Neuron Analyse:
   • Identificatie: De auteurs identificeren "georiënteerde neuronen" door het berekenen van magnitude-gebaseerde belangrijkheidsscores. Neuronen met activaties in de bovenste $\tau$-de percentiel (gesteld op 10) op specifieke doelstelling-datasets worden geclassificeerd als behulpzaamheid-georiënteerd of ongevaarlijkheid-georiënteerd.
   • Causale Interventie: Gerichte ablatie wordt uitgevoerd door de activaties van deze geïdentificeerde neuronen op nul te zetten tijdens de forward pass om hun causale impact op de modelprestaties te meten.
   • Overlap Analyse: De studie kwantificeert de overlap tussen de neuronensets geïdentificeerd in single-objective modellen versus het mixed-objective model.

Belangrijkste Resultaten

1. Gedragsprestaties en Spanning

• Onderprestatie van Gemengde Modellen: Mixed-objective RMs presteren consistent slechter dan single-objective RMs over diverse evaluatietaken. Ze slagen er niet in de gespecialiseerde prestaties van modellen getraind op een enkele doelstelling te evenaren, wat wijst op interferentie tussen doelstellingen tijdens gezamenlijke optimalisatie.
• Asymmetrie in Doelstellingen: Single-objective modellen vertonen duidelijke gedragstendenities. Behulpzame RMs blinken uit in coöperatieve beantwoording, maar kunnen een gebrek aan robuustheid vertonen tegen misleidende prompts. Ongevaarlijke RMs vertonen superieure robuustheid in adversariële settings, maar kunnen onschuldige queries overmatig weigeren.
• Beperkte Retentie: Wanneer gedrag geleerd door single-objective modellen wordt getest tegen het mixed-objective model, is de "gedragsretentie" relatief laag (gemiddeld ~56% voor behulpzaamheid en ~62% voor ongevaarlijkheid). Terwijl grove gedragingen (bijv. generieke weigering) behouden blijven, verslechteren genuanceerde en adversariële robuuste gedragingen aanzienlijk.
• Beloningskalibratie: Zelfs wanneer het mixed-objective model de juiste beslissing neemt (overeenkomend met het single-objective model), zijn de beloningsscores consequent zwakker en meer geconcentreerd nabij nul, wat wijst op een verlies van vertrouwen en signaal-scheidbaarheid.

2. Mechanistische Inzichten: Rol van Neuronen en Overlap

• Causale Belangrijkheid: Ablatiestudies bevestigen dat neuronen die als specifiek voor een doelstelling zijn geïdentificeerd, causaal cruciaal zijn voor die doelstelling. Het verwijderen van ongevaarlijkheid-georiënteerde neuronen uit een Harmless RM veroorzaakt een significante daling in de prestaties op ongevaarlijkheidstaken (ongeveer 12 punten), maar verbetert vaak de prestaties op behulpzaamheidstaken, en vice versa.
• Gedeelde Representaties: Een aanzienlijk deel van de neuronen (ongeveer 50%) geassocieerd met behulpzaamheid en ongevaarlijkheid is gedeeld (d.w.z. hoog geactiveerd in beide single-objective modellen).
• Disproportionele Invloed: Deze gedeelde neuronen oefenen een disproportionele invloed uit op het modelgedrag. Het ableren van gedeelde neuronen in het mixed-objective RM veroorzaakt een ernstige daling in nauwkeurigheid (10 punten op ongevaarlijkheidstaken, 4,4 punten op behulpzaamheidstaken), wat veel groter is dan de impact van het ableren van doelstelling-specifieke (niet-gedeelde) neuronen.
• Laagdistributie: Georiënteerde neuronen zijn geconcentreerd in de latere lagen van het model, die bekend staan om het vastleggen van hoog-niveau semantische kenmerken, wat suggereelt dat het conflict voortkomt uit de verwerking van complexe semantische representaties in plaats van oppervlakkige syntaxis.

Belangrijkste Bijdragen

1. Karakterisering van Alignment Tension: Het artikel toont aan dat gezamenlijke training op behulpzaamheid en ongevaarlijkheid leidt tot prestatievermindering en verminderde overdraagbaarheid vergeleken met single-objective training, waarmee wordt bevestigd dat alignment tension een representatie-interferentieprobleem is.
2. Identificatie van Doelstelling-Georiënteerde Neuronen: De auteurs identificeren specifieke neuronen die causaal verbonden zijn met alignment-doelstellingen, en tonen aan dat deze essentieel zijn voor hun doelstelling maar vaak nadelig zijn voor de tegenovergestelde doelstelling.
3. Bewijs van Gedeelde Representaties: De studie onthult dat bijna de helft van de neuronen die deze doelstellingen aansturen, gedeeld is. Deze overlap creëert een bottleneck waar het optimaliseren van de ene doelstelling inherent conflicteert met de andere, wat de spanning drijft die wordt waargenomen in mixed-objective modellen.

Betekenis en Claims

Het artikel claimt dat multi-objective alignment niet louter een gedragstraf is, maar een representatie-interferentieprobleem dat voortkomt uit overlappende interne circuitry. De bevindingen suggereren dat huidige mixed-objective trainingmethoden moeite hebben omdat ze conflicterende doelstellingen dwingen om dezelfde gedeelde representaties te wijzigen.

De auteurs stellen dat dit mechanistische begrip cruciaal is voor het ontwikkelen van toekomstige ontvlechtheid- en controleerbare alignment-methoden. Door te erkennen dat gedeelde neuronen de bron van het conflict zijn, kan toekomstig werk zich richten op architecturale of trainingsstrategieën om deze representaties te scheiden om alignment tension te mitigeren. De studie vormt een fundamentele stap naar het bewegen van black-box RLHF-training naar meer principiële, interpreteerbare beloningsmodellering.

Beperkingen

De auteurs merken op dat hun analyse beperkt is tot de beloningsmodellering-fase van RLHF en zich niet uitstrekt tot policy-optimalisatiefases zoals Direct Preference Optimization (DPO). Daarnaast verhinderden computationele beperkingen het gebruik van parameter-efficiënte fine-tuning, en richt de studie zich op brede definities van behulpzaamheid en ongevaarlijkheid in plaats van de fijnmazige onderscheidingen die in nieuwere datasets worden gevonden.