Pref-CTRL: Preference Driven LLM Alignment using Representation Editing

Technische Samenvatting: Pref-CTRL

1. Het Probleem (The Problem)

Het uitlijnen (alignment) van Large Language Models (LLM's) met menselijke waarden en voorkeuren is cruciaal om schadelijke, bevooroordeelde of ongewenste outputs te voorkomen. Traditionele methoden zoals Reinforcement Learning from Human Feedback (RLHF) en Direct Preference Optimization (DPO) vereisen het finetunen van de modelgewichten, wat computationeel zeer duur en schaalbaar beperkt is.

Recentelijk is er interesse ontstaan voor test-time alignment: methoden die het gedrag van een model sturen tijdens de inferentie (het generatieproces) zonder de gewichten aan te passen. Een prominente methode is RE-Control, die gebruikmaakt van representation editing. RE-Control gebruikt een externe value function om de verborgen toestanden (hidden states) van het model via gradiënt-ascent aan te passen. Echter, RE-Control traint deze value function enkel op individuele beloningsscores en negeert de fundamentele structuur van alignment-data: pairwise preferences (het feit dat de ene respons expliciet beter is dan de andere).

2. Methodologie (Methodology)

De auteurs introduceren Pref-CTRL, een raamwerk dat de value function traint met een multi-objective verliesfunctie die de voorkeursstructuur van menselijke data beter weerspiegelt. In plaats van alleen te kijken naar de absolute score van een staat, gebruikt Pref-CTRL drie specifieke verliesfuncties:

1. $L_{\text{Regression}}$ (Regressie): De standaard verliesfunctie die de value function probeert te laten convergeren naar de verwachte beloning van de huidige staat.
2. $L_{\text{Margin}}$ (Margin Loss): Deze functie dwingt een expliciet verschil (een 'marge') af tussen de scores van de geprefereerde respons ($s_{\text{pref}}$) en de afgewezen respons ($s_{\text{rej}}$). Dit zorgt ervoor dat de value function beter leert onderscheiden wat een "goede" versus een "slechte" output is.
3. $L_{\text{Regularizer}}$ (Regularisatie): Om te voorkomen dat het model over-optimaliseert (wat kan leiden tot onnatuurlijke of incoherente tekst, ook wel reward hacking genoemd), zorgt deze term ervoor dat de score van de gegenereerde staat dicht bij de score van de geprefereerde referentietoestand blijft.

Tijdens de inferentie wordt de control signal ($u_t$) berekend door de gradiënt van de getrainde value function te gebruiken om de verborgen toestanden en de logits van het model direct te sturen.

3. Belangrijkste Bijdragen (Key Contributions)

• Preference-Aware Training: De eerste methode in de categorie representation editing die expliciet gebruikmaakt van de relatieve aard van voorkeursdata (pairwise comparisons) in plaats van enkel absolute scores.
• Multi-Objective Framework: De introductie van een gecombineerde verliesfunctie (Regression + Margin + Regularization) die zowel de effectiviteit van de sturing als de kwaliteit van de gegenereerde tekst waarborgt.
• Efficiëntie: Een lichtgewicht alternatief voor finetuning dat tijdens de inferentie werkt en de interne representaties van een bevroren (frozen) model aanpast.

4. Resultaten (Results)

De prestaties van Pref-CTRL werden getest op de Stanford SHP en Anthropic HH-RLHF datasets met modellen zoals Vicuna-7B en Hermes3-8B.

• Superieure Alignment: Pref-CTRL presteert consistent beter dan de baseline (RE-Control) op zowel de Win Rate (hoe vaak een menselijke beoordelaar de output verkiest) als de Average Reward.
• Vergelijking met DPO: Hoewel DPO een training-time methode is (wat een voordeel is), benadert Pref-CTRL als test-time methode de prestaties van DPO opvallend dicht.
• Generalisatie: Het model vertoonde sterke out-of-domain generalisatie op datasets zoals PKU-SafeRLHF en Nectar, zonder dat de value function opnieuw getraind hoefde te worden.
• Stabiliteit: De toevoeging van de regularisator voorkwam dat de winrate daalde door over-optimalisatie, wat een bekend probleem is bij het enkel gebruiken van margin-verliezen.

5. Betekenis (Significance)

Dit onderzoek is significant omdat het aantoont dat we LLM's effectief en veilig kunnen uitlijnen zonder de enorme rekenkracht die nodig is voor volledige model-updates. Door de interne representaties te manipuleren op basis van menselijke voorkeuren, biedt Pref-CTRL een flexibele en schaalbare oplossing voor het aanpakken van schadelijke of ongewenste AI-outputs in real-time scenario's. Het slaat een brug tussen de efficiëntie van representation editing en de robuustheid van preference learning.