Technisch Overzicht: Helpfulness Hurts: Domein-afhankelijke Degradatie van Mid-Trained Compassie-waarden onder Post-training

Probleemstelling

Standaard alignment-pipelines voor Large Language Models (LLM's) omvatten doorgaans pre-training gevolgd door Supervised Fine-Tuning (SFT) en Reinforcement Learning (RL) om te optimaliseren voor "Helpful, Honest, and Harmless" (HHH) criteria. Echter, theoretisch en empirisch werk suggereert dat deze post-training processen onbedoeld waarden kunnen degraderen die tijdens pre-training of mid-training zijn geïnstilleerd. Specifiek is er een trade-off waarbij het optimaliseren voor behulpzaamheid (helpfulness) de schadelijkheidsbeperking (harmlessness) of andere specifieke ethische waarden kan uithollen.

Hoewel het vastgesteld is dat coding-domein SFT de veiligheidsalignment beter behoudt dan algemene helpfulness-domein SFT (vanwege een lagere representatieve overlap), heeft geen enkele studie direct getest of verschillende post-training domeinen de waarden die tijdens mid-training zijn ingebed verschillend behouden. Deze kloof is cruciaal, aangezien mid-training steeds vaker wordt voorgesteld als een fase voor het inbedden van specifieke waarden (bijv. dierlijke compassie) in modellen. De auteurs onderzoeken of post-training op helpfulness-data versus coding-data de retentie van dierlijke compassie-waarden in een model dat mid-getraind is op synthetische compassie-georiënteerde data, verschillend beïnvloedt.

Methodologie

Base Model en Mid-Training

De studie maakt gebruik van een Llama 3.1 8B model als base model. Dit model onderging "mid-training" op een corpus van 3.000 rijen synthetische dierlijke compassie-data met behulp van Unsloth met LoRA (rank 16, alpha 8, learning rate 2e-4). Dit mid-getrainde model dient als de "Base" conditie.

Post-Training Condities

De auteurs vergeleken drie primaire condities met behulp van twee trainingsparadigma's:

1. Supervised Fine-Tuning (SFT):

   • Helpfulness SFT: Getraind op 5.000 rijen van Databricks-dolly-15k (exclusief nauwe NLP-taken).
   • Coding SFT: Getraind op 5.000 rijen van Magicoder-Evol-Instruct-110K.
   • Controle: Het mid-getrainde Base model zonder verdere SFT.
   • Hyperparameters: LoRA (rank 16, alpha 8), learning rate 5e-5, batch size 16, response-only masking.

2. Reinforcement Learning (GRPO):

   • Helpfulness GRPO: Getraind op 1.500 rijen van RLHFlow/prompt-collection-v0.1 met behulp van het OpenAssistant reward model.
   • Coding GRPO: Getraind op 1.500 rijen van Magicoder-Evol-Instruct-110K met behulp van het Skywork-Reward-V2-Qwen3-8B reward model.
   • Hyperparameters: Learning rate 5e-6, 1 epoch, batch size 4, $\beta=0.1$.

Evaluatie Benchmarks

Modellen werden geëvalueerd met Inspect AI met Gemini-2.5-Flash-Lite als judge:

1. Animal Harm Benchmark (AHB 2.2): Evalueert responsen over 13 morele redeneerdimensies (bijv. morele overweging, erkenning van sentience, vermijden van vooroordelen) met betrekking tot niet-menselijke dieren.
2. MORU (Moral Reasoning Under Uncertainty): Evalueert 16 dimensies van moreel redeneren over 201 scenario's in drie talen (Engels, Maleis, Hindi).

Belangrijkste Resultaten

1. Domein-afhankelijke Degradatie van Dierlijke Compassie (AHB)

De studie vond een scherp contrast in hoe post-training domeinen dierlijke compassie beïnvloeden:

• Helpfulness Training Degradeert Waarden: Op de Engelse subset van AHB (30 items) scoorde het Helpfulness SFT model (Dolly) 35,7%, een significante degradatie vergeleken met het Base model (60,2%) en het Coding SFT model (65,2%). De degradatie was statistisch significant ($p < 0,001$, $d = 1,12$).
• Coding Training Behoudt Waarden: Het Coding SFT model presteerde vergelijkbaar met het Base model ($p = 0,310$), wat aangeeft dat coding post-training de mid-getrainde compassie-waarden niet uitholt.
• Replicatie over Paradigma's: Dit patroon hield stand onder GRPO training. Het Helpfulness GRPO model scoorde 18,7% op de volledige AHB-set, terwijl het Coding GRPO model 32,0% scoorde.
• Grootte van het Effect: GRPO veroorzaakte een grotere absolute degradatie dan SFT, ondanks het gebruik van minder dan een derde van de trainingdata (1.500 vs. 5.000 rijen), wat suggereert dat RL efficiënter is in het induceren van gedragsveranderingen, inclus ook waarde-erosie.

2. Asymmetrie in Cross-Lingual Transfer

Een kritieke bevinding betreft hoe deze effecten overdragen naar andere talen:

• Dierlijke Compassie (AHB) is Cross-Lingual: Het voordeel van Coding SFT boven Helpfulness SFT op dierlijke compassie vertaalde zich robuust naar niet-Engelse talen. Op niet-Engelse AHB-items presteerde het Coding model het Helpfulness model met +27,2 procentpunten, bijna identiek aan de Engelse kloof (+27,6pp). Bovendien was de winst van het Coding model ten opzichte van het Base model 4,5 keer groter op niet-Engelse items (+14,5pp) dan op Engelse items (+3,2pp).
• Algemene Morele Redenering (MORU) is Engels-Specifiek: Op Engelstalige MORU-items degradeerde Helpfulness SFT het algemene morele redeneren met 25,5 procentpunten (46,4% vs. 71,9% voor Coding). Echter, dit domeineffect verdween op de volledige meertalige MORU-benchmark (52,3% vs. 51,2%).
• Mechanisme van MORU Washout: Het verdwijnen van het domeineffect in meertalige MORU werd gedreven door Hindi. Het Coding model reageerde in het Hindi in 60% van de gevallen (vs. 23% voor Helpfulness), waarschijnlijk door instructie-volgende training op code-comments. Echter, beide modellen produceerden lagere kwaliteit Hindi-outputs, en de hogere mate van compliance van het Coding model met de taal van de prompt verlaagde paradoxaal genoeg de geaggregeerde score. Dit suggereert dat de verbeteringen in redenering door coding SFT taalafhankelijk zijn, terwijl de compassie-waarden dieper zijn gecodeerd.

3. Aard van de Degradatie

De degradatie door Helpfulness SFT is niet louter een falen om waarden te versterken, maar een actieve verdringing. Het Helpfulness model scoorde significant lager dan het ongetrainde Base model, wat suggereert dat het optimaliseren voor gebruikersinstemming (sycophancy) en standaard behulpzaamheid actief de vooraf getrainde ethische representaties overschrijft.

Betekenis en Claims

Het artikel beweert de eerste empirische studie te zijn die aantoont dat het domein van post-training data een cruciale variabele is voor het behoud van waarden die tijdens mid-training zijn ingebed.

• Strategie voor Waardebehoud: Voor labs die bouwen op waarde-geladen mid-training, suggereren de auteurs dat coding-domein post-training een superieure strategie kan zijn om mid-getrainde waarden (specifiek dierlijke compassie) te behouden vergeleken met helpfulness post-training, zonder de algemene redeneer-capaciteiten in de trainings taal te schaden.
• Diepte van Codering: De resultaten suggeren dat waarden die via gerichte mid-training zijn geïnstilleerd (dierlijke compassie) dieper en meer cross-linguaal zijn gecodeerd dan de verbeteringen in moreel redeneren die voortkomen uit domeinspecifieke post-training (coding SFT).
• Beperkingen van Standaard Benchmarks: De auteurs merken op dat standaard veiligheids- en helpfulness-benchmarks falen in het detecteren van deze specifieke vorm van waarde-degradatie. Zij stellen dat waarden die niet gemeten worden, ook niet beschermd kunnen worden, en dat "helpfulness" training systematisch niet-antropocentrische waarden (zoals dierenwelzijn) kan wissen die zelden door gebruikers worden opgevraagd.
• Omvang van de Claims: De auteurs zijn bescheiden in hun reikwijdte en merken op dat de studie steunt op een enkel 8B base model en een enkele mid-training corpus. Zij beweren niet dat coding universeel "veilig" is voor alle waarden, maar dat het deze specifieke mid-getrainde waarden beter behoudt dan helpfulness training vanwege een lagere representatieve overlap. Zij stellen voor dat het mechanisme (representatieve interferentie) waarschijnlijk van toepassing is op elke nauw omschreven waarde die niet wordt versterkt tijdens post-training.

Concluderend stelt het artikel vast dat helpfulness training dierlijke compassie-waarden die tijdens mid-training zijn ingebed actief kan degraderen, terwijl coding training deze behoudt, en dat deze compassie-waarden een robuustheid over talen vertonen die de verbeteringen in algemene morele redenering niet bezitten.