We Think, Therefore We Align LLMs to Helpful, Harmless and Honest Before They Go Wrong

Technische Samenvatting: Adaptieve Multi-Branch Steering (AMBS) voor Multi-Objective LLM-Alignering

Probleemstelling
Grote Taalmodellen (LLMs) vereisen alignering met menselijke intentie, wat doorgaans wordt geoperationaliseerd via drie concurrerende doelen: Nuttigheid, Onschadelijkheid en Eerlijkheid (HHH). Hoewel eerdere werken alignering hebben bereikt via Supervised Fine-Tuning (SFT) of Reinforcement Learning from Human Feedback (RLHF), hebben deze methoden vaak moeite om gezamenlijk aan de HHH-doelen te voldoen tijdens inferentie, met name in complexe omgevingen.

Bestaande inferentie-tijd aligneringsbenaderingen, zoals steering vectors, behandelen doelen doorgaans geïsoleerd. Wanneer een enkele gedeelde representatie wordt gestuurd naar één doel, kan dit andere doelen overschrijven of verstoren. Recente uitbreidingen naar een "1-naar-N" Transformer-setting (het repliceren van een gedeelde representatie in meerdere paden) proberen dit te mitigeren door onafhankelijke transformaties toe te passen. Echter, deze onafhankelijke updates missen beperkingen op de relaties tussen de paden, wat leidt tot inconsistente antwoorden en divergentie tussen de doelen. Bovendien beperken op training gebaseerde trade-off methoden (zoals safe RLHF, Mixture-of-Experts) doel-specifieke transformaties niet binnen een gedeelde representatie tijdens inferentie, wat resulteert in "as-collaps" of disjuncte representaties waar conflicterende doelen niet gelijktijdig kunnen worden bevredigd.

Methodologie: Adaptieve Multi-Branch Steering (AMBS)
De auteurs stellen AMBS voor, een twee-trapskader ontworpen voor een 1-naar-N Transformer-setting dat doel-specifieke transformaties parameteriseert ten opzichte van een gedeelde representatie. De kerninnovatie is het definiëren van updates als afwijkingen van een gemeenschappelijke referentie in plaats van onafhankelijke modificaties.

1. Trap I: Berekening van Gedeelde Representatie
   De Transformer berekent een gedeelde verborgen representatie $h^{(0)}_\ell$ op laag $\ell$ (doorgaans de laatste laag $L$) voor een gegeven invoer. Deze representatie dient als gemeenschappelijke basis en wordt hergebruikt voor alle doelen.

2. Trap II: Referentie-Gestuurde Transformaties
   De gedeelde representatie wordt gerepliceerd in $N$ paden ($h^{(i)}_\ell = h^{(0)}_\ell$). Voor elk doel $i$ wordt een transformatie $\Delta h^{(i)}_\ell$ toegepast ten opzichte van de gedeelde referentie $h^{ref}_\ell = h^{(0)}_\ell$.

   • Afwijkingsgebaseerde Update: In plaats van onafhankelijke updates, wordt de transformatie gedefinieerd als een functie van de afwijking van de referentie: $\Delta h^{(i)}_\ell = f_i(\tilde{h}^{(i)}_\ell - h^{ref}_\ell; \phi_i)$.
   • Low-Rank Parameterisatie: Het beleid $f_i$ wordt geïmplementeerd als een low-rank projectie met een additieve bias: $\Delta h^{(i)}_\ell = ((\tilde{h}^{(i,0)}_\ell - h^{ref}_\ell)A_i)B_i + b_i$. Hierbij zijn $A_i$ en $B_i$ leerbare low-rank matrices en $b_i$ een leerbare bias. Cruciaal zorgt de bias $b_i$ voor een niet-nul initiële afwijking, waardoor de low-rank update direct binnen één doorloop wordt geactiveerd zonder iteratieve vastpuntberekening.
   • Outputgeneratie: Elk pad produceert een doel-specifieke outputverdeling $p^{(i)}_\theta$. Deze worden tijdens decoding gecombineerd tot één gezamenlijke verdeling $p^{joint}_\theta$ met behulp van een gewogen geometrisch gemiddelde.

3. Optimalisatiedoel
   Het kader minimaliseert een samengestelde verliesfunctie:
   $$\min \sum_{i=1}^N L^{(i)}_{obj} + \lambda L_{cons}$$

   • $L^{(i)}_{obj}$: Het doel-specifieke verlies (bijv. cross-entropy) voor pad $i$.
   • $L_{cons}$: Een consistentieterm die de kwadratische Euclidische afstand meet tussen getransformeerde representaties tussen de paden. Deze term straft excessieve divergentie af terwijl het noodzakelijke doel-specifieke variaties toelaat, waardoor de "collapse" die bij andere gezamenlijke methoden wordt gezien, wordt voorkomen.

Belangrijkste Bijdragen

• Kaderontwerp: Introductie van AMBS, wat de 1-naar-N Transformer-setting uitbreidt door transformaties te parameteriseren als afwijkingen van een gedeelde referentie, waardoor interferentie wordt gecontroleerd terwijl de distinctie van de paden behouden blijft.
• Theoretische Formulering: Een wiskundige formulering waarbij padverschillen uitsluitend afhankelijk zijn van afwijkingstermen ($\Delta h^{(i)}_\ell - \Delta h^{(j)}_\ell$) in plaats van onafhankelijke transformaties van de basisstaat, ondersteund door lemma's die niet-degenererende initialisatie en directe activering van low-rank parameters bewijzen.
• Empirische Prestaties: Demonstratie dat AMBS de gezamenlijke HHH-prestaties verbetert over vier verschillende backbone-modellen (LLaMA-2-7B, Mistral-7B, Gemma-7B, DeepSeek-7B) terwijl het de computationele efficiëntie behoudt.

Resultaten
Experimenten werden uitgevoerd op standaard benchmarks: Alpaca (Nuttigheid), BeaverTails (Onschadelijkheid) en TruthfulQA (Eerlijkheid).

• Prestatiewinsten: AMBS behaalde de hoogste gemiddelde scores (Avg) over de backbones. Voor LLaMA-2-7B bereikte AMBS een Avg van 56,5%, wat beter is dan de vorige State-of-the-Art (TrinityX) met 55,1% en AlignX met 51,3%.
• Doel-specifieke Verbeteringen:
  • Nuttigheid: Verhoogde Win Rate (WR) naar 53,0% (vs. 48,7% voor RAHF).
  • Onschadelijkheid: Verminderde Safety Score (SS, waarbij lager beter is) naar 5,3% (vs. 7,2% voor Aligner).
  • Eerlijkheid: Verbeterde Truthfulness-Informativeness (TI) naar 37,9% (vs. 31,7% voor DExperts).
• Interferentieanalyse: In tegenstelling tot single-objective methoden die grote prestatiedalingen tonen wanneer doelen veranderen, of gezamenlijke methoden die "collapse" vertonen (identieke scores over doelen), behield AMBS hoge maar niet-uniforme prestaties over de doelen (bijv. 37,0% / 25,8% / 14,3%), wat wijst op verminderde interferentie zonder collapse.
• Efficiëntie: De methode behoudt een hoge doorvoer (bijv. 189 tokens/sec) en lage trainingskosten (9 GPU-uren) door het basismodel te bevriezen en alleen de low-rank parameters te optimaliseren.

Betekenis en Claims
Het artikel claimt dat AMBS een kritieke kloof in multi-objective alignering tijdens inferentie aanpakt. Door doel-specifieke transformaties te beperken binnen een gedeelde representatie, balanceert het kader succesvol de trade-off tussen het bevredigen van onderscheiden doelen (Nuttigheid, Onschadelijkheid, Eerlijkheid) en het behouden van consistentie tussen hen. De auteurs stellen dat deze benadering de "as-collaps" en instabiliteit voorkomt die bij eerdere gezamenlijke aligneringsmethodes worden waargenomen, en een robuuste oplossing biedt voor het inzetten van betrouwbare LLM's zonder de noodzaak van kostbare hertraining of complexe modulaire architecturen. De resultaten suggereren dat alignering effectief wordt vastgelegd op het niveau van de representatie, waarbij decoding dient als een consolidatiestap in plaats van de primaire bron van winst.

Beperkingen
De auteurs erkennen beperkingen, waaronder de schaal van de evaluatie, de afhankelijkheid van proxy-richters (LLMs) voor metrieken in plaats van uitgebreide menselijke evaluatie, en de huidige focus op decoder-only modellen. Toekomstig werk wordt voorgesteld om grotere menselijke studies, bredere veiligheidsinstellingen en uitbreiding naar multimodale modellen op te nemen.