Robust Preference Alignment via Directional Neighborhood Consensus

Titel: Robust Preference Alignment via Directional Neighborhood Consensus

Publicatie: ICLR 2026
Auteurs: Ruochen Mao, Yuling Shi, Xiaodong Gu, Jiaheng Wei

1. Het Probleem: De "Preference Coverage Gap"

Het paper adresseert een fundamenteel probleem bij het afstemmen van Large Language Models (LLMs) op menselijke voorkeuren: de voorkeursdekkingskloof (preference coverage gap).

• Context: Menselijke voorkeuren kunnen worden gemodelleerd als vectoren in een hoogdimensionale ruimte (bijv. een afweging tussen "hulpvaardigheid" en "woordkeuze/uitvoerigheid").
• De Uitdaging: Bestaande trainingsmethoden (zoals RLHF, DPO, SFT) optimaliseren vaak voor een dominante, gemiddelde voorkeur. Hierdoor is de trainingsdata geconcentreerd in een smal gebied van de voorkeursruimte.
• Gevolg: Wanneer een gebruiker een specifieke, individuele voorkeur heeft die afwijkt van dit gemiddelde (een Out-of-Distribution of OOD scenario), presteren de modellen onbetrouwbaar. De modellen zijn "bros" (brittle) omdat ze niet zijn getraind op deze nuance-rijke, zeldzame richtingen. Bestaande oplossingen vereisen vaak kostbare hertraining, wat niet altijd schaalbaar of generaliseerbaar is.

2. Methodologie: Robust Preference Selection (RPS)

De auteurs introduceren Robust Preference Selection (RPS), een post-hoc, trainingsvrije methode die de robuustheid verbetert tijdens de inferentie (inference-time) zonder de modelgewichten aan te passen.

Kernconcept: Directional Neighborhood Consensus
In plaats van het model te dwingen om direct een antwoord te genereren op basis van één specifieke, mogelijk onbekende voorkeursvector ($v_{target}$), gebruikt RPS een drie-fasen proces:

1. Neighborhood Constructie:

   • In plaats van alleen $v_{target}$ te gebruiken, samplet RPS $k$ naburige voorkeursvectoren binnen een lokale hoek ($\theta_{max}$) rondom de doelvector.
   • Dit creëert een set van betrouwbare, goed getrainde richtingen in de voorkeursruimte die dicht bij de doelstelling liggen.

2. Multi-Directional Generatie:

   • Het LLM genereert een apart antwoord ($y_i$) voor elk van deze $k$ naburige vectoren.
   • Doel: Het benutten van de sterke, goed getrainde capaciteiten van het model in deze lokale regio om een diverse pool van kandidaat-antwoorden te creëren.

3. Consensus Selectie:

   • Alle gegenereerde antwoorden worden geëvalueerd tegen de oorspronkelijke doelvoorkeur ($v_{target}$) met behulp van een reward model.
   • Het antwoord dat de hoogste score behaalt voor de specifieke doelvoorkeur wordt geselecteerd als het uiteindelijke antwoord ($y^*$).

Theoretisch Kader:
Het paper biedt een theoretische onderbouwing (Theorema 1) die aantoont dat, onder milde aannames (dat naburige richtingen corresponderen met beter getrainde gebieden en dat de reward-scores glad verlopen), de verwachte beste score van de RPS-strategie strikt hoger is dan die van een sterke baseline die $k$ keer samplet vanuit dezelfde doelrichting. Dit komt omdat de kandidaat-pool van RPS stochastisch dominant is ten opzichte van de baseline-pool.

3. Belangrijkste Bijdragen

1. Definitie van het Probleem: Het formaliseren van de "preference coverage gap" als een kritieke OOD-uitdaging die de betrouwbaarheid van LLMs ondermijnt.
2. Nieuwe Methode (RPS): De introductie van een trainingsvrije, post-hoc methode die robuustheid bereikt via directionele buurtconsensus.
3. Theoretische Bewijslast: Een wiskundig kader dat bewijst dat buurtgeneratie superieur is aan herhaaldelijk samplen vanuit een enkele doelrichting.
4. Uitgebreide Validatie: Experimenten over drie verschillende trainingsparadigma's (DPA, DPO, SFT) en drie datasets (UltraFeedback, HelpSteer, HelpSteer2).

4. Resultaten

De experimenten tonen aan dat RPS consistent de robuustheid verbetert, vooral bij moeilijke OOD-voorkeuren:

• Algemene Prestaties: RPS behaalt overal een winpercentage boven de 50% tegenover de sterke baseline (single-direction sampling).
• Oordelen bij OOD: Het voordeel van RPS neemt toe naarmate de doelvoorkeur verder afwijkt van de trainingsverdeling.
  • Bijvoorbeeld: Voor het DPA-model op de UltraFeedback-dataset stijgt het winpercentage van 53,4% bij een afwijking van 20° naar 69,1% bij een afwijking van 45°.
• Invloed van Trainingsparadigma:
  • SFT-modellen (Supervised Fine-Tuning) profiteren het meest, met winpercentages tot 67,3% (HelpSteer2) en zelfs 94,3% bij extreme afwijkingen. Dit suggereert dat RPS een effectieve "inference-time guidance" is voor modellen die niet expliciet zijn getraind op nuance-rijke voorkeuren.
  • DPO-modellen tonen bescheidener, maar consistente verbeteringen.
• Efficiëntie: RPS introduceert geen extra rekenkosten in termen van VRAM-gebruik of latentie, omdat het binnen hetzelfde budget van gegenereerde kandidaten ($k=5$) werkt als de baseline.

5. Betekenis en Impact

Dit werk biedt een praktische, theoretisch onderbouwde oplossing voor een van de grootste beperkingen van huidige AI-systemen: hun broosheid bij ongebruikelijke gebruikerswensen.

• Geen Hertraining: Het elimineert de noodzaak voor kostbare en tijdrovende hertraining om modellen robuuster te maken.
• Black-box Vriendelijk: De methode werkt puur in de voorkeursruimte en manipuleert niet de interne toestanden van het model, wat het toepasbaar maakt op gesloten modellen.
• Toekomstvisie: Het paper suggereert dat "inference-time steering via neighborhood consensus" een veelbelovende richting is voor het creëren van meer aanpasbare en betrouwbare AI-systemen die beter inspelen op de diversiteit van menselijke behoeften.

Samenvattend bewijst RPS dat men de robuustheid van LLMs aanzienlijk kan verhogen door slim te "zoeken" in de buurt van de gebruikersvraag in plaats van direct te "schieten" op een mogelijk onbekend doel.