Meet Dynamic Individual Preferences: Resolving Conflicting Human Value with Paired Fine-Tuning

Probleemstelling

Grote Taalmodellen (LLMs) hebben aanzienlijke vooruitgang geboekt in het aligneren met algemene menselijke voorkeuren (bijvoorbeeld "helpzaam, onschadelijk en eerlijk"). Echter, er blijft een groot gat bestaan in het aanpassen aan individuele voorkeuren, die twee cruciale kenmerken vertonen die huidige methoden moeilijk hanteren:

1. Diversiteit en Heterogeniteit: Mensen hebben unieke, soms idiosyncratische voorkeuren.
2. Dynamiek en Contextafhankelijkheid: Voorkeuren van één persoon kunnen veranderen afhankelijk van de situatie, stemming of taak (bijv. iemand kan in één situatie risicovol zijn en in een andere risicomijdend).

Bestaande methoden hebben beperkingen:

• Ze zijn vaak niet adaptief of vereisen aparte modellen voor elke voorkeur (hoge kosten).
• Ze vertrouwen vaak op expliciete voorkeursstatements, terwijl echte voorkeuren vaak impliciet zijn in gedragsdata.
• Ze worstelen met tegenstrijdige voorkeuren (bijv. een model dat zowel competitief als collaboratief moet kunnen zijn, afhankelijk van de context).

Methodologie: Preference-Paired Fine-Tuning (PFT)

De auteurs introduceren een nieuw trainingsparadigma genaamd Preference-Paired Fine-Tuning (PFT). In plaats van het model te trainen op één voorkeur per keer, traint PFT het model simultaan op paren van tegenstrijdige voorkeuren binnen hetzelfde scenario.

Kernconcepten:

1. Geometrie van Voorkeuren: Voorkeuren worden gemodelleerd als een laag-dimensionale "manifold" binnen een hogere dimensie ruimte. Het auteurs argumenteren dat conflicterende paren (bijv. $p^+$ en $p^-$) informatieve richtingen bieden om deze manifold te karakteriseren.
2. Synchronisatie van Verlies: Het model wordt getraind met een gepaarde verliesfunctie die beide kanten van een contradictie optimaliseert:
   $$L_{PFT}(\theta) = \mathbb{E}[\lambda^+ \ell(\theta; x, p^+, y^+) + \lambda^- \ell(\theta; x, p^-, y^-)]$$
   Hierbij zijn $(x, p^+, y^+)$ en $(x, p^-, y^-)$ paren van hetzelfde scenario $x$ met tegenstrijdige voorkeurslabels en antwoorden.
3. Generalisatie: Door tegenstrijdige paren te trainen, wordt het model gedwongen consistentie te behouden over de "richting van het verschil" tussen voorkeuren. Dit verkleint het effectieve "dekkingstraal" (covering radius) en vermindert de gevoeligheid voor voorkeursvariaties, wat leidt tot betere generalisatie naar ongezane of gemengde voorkeuren.

Belangrijkste Bijdragen

1. Het VCD Dataset (Value Conflict Dilemma):
   De auteurs hebben een nieuwe dataset ontwikkeld die specifiek is ontworpen voor scenario's met tegenstrijdige menselijke voorkeuren.

   • Dimensies: Risico (risicovol vs. risicomijdend), Sociaal (competitief vs. collaboratief), Tijd (onmiddellijke vs. uitgestelde bevrediging) en Besluitvorming (intuïtief vs. analytisch).
   • Kenmerken: Bevat gepaarde data, contextuele scenario's en ondersteunt zowel meerkeuze- als open-ended vragen.

2. Het PFT Framework:
   Een trainingsparadigma dat één enkel model in staat stelt om zich aan te passen aan meerdere, zelfs tegenstrijdige, voorkeuren zonder het opnieuw trainen van het model voor elke gebruiker. Het model leert de "ruimte" tussen voorkeuren te navigeren.

3. Snelle Aanpassing (Rapid Customization):
   Met slechts een beperkte hoeveelheid gebruikershistorie (bijv. 3 voorbeelden) kan het model een voorkeursvector afleiden via In-Context Learning (ICL) en zich direct aanpassen aan de specifieke gebruiker, zonder volledige fine-tuning.

Resultaten

Experimenten zijn uitgevoerd op verschillende basismodellen (Qwen2.5, Llama-3.1) en datasets (VCD en BQD), vergeleken met baselines zoals SFT, DPO, CPO en CAA.

• Prestaties: PFT overtreft consistent single-preference training methoden.
  • Meerkeuze-taken: Bereikte tot 96,67% nauwkeurigheid (op Llama-3.1-8B).
  • Open-ended generatie: Behaalde de hoogste score van 8,69 (op een schaal van 1-10).
• Vergelijking met DPO: Hoewel DPO soms beter presteert bij het aligneren met één enkele voorkeur, excelleert PFT duidelijk bij het hanteren van tegenstrijdige voorkeuren.
• Data-efficiëntie: PFT presteert zelfs beter dan single-preference methoden met beperkte data. Het prestatieverschil verdwijnt pas bij zeer kleine datasets (rond de 650 voorbeelden), wat aangeeft dat PFT robuuster is.
• Ablatie: De resultaten tonen aan dat een gebalanceerde weging ($\lambda^+ = \lambda^- = 1$) het meest effectief is voor het hanteren van conflicten.

Betekenis en Conclusie

Dit paper biedt een praktische en schaalbare oplossing voor het personaliseren van LLM's in complexe, real-world situaties waar menselijke waarden conflicteren.

• Theoretische Impact: Het introduceert een wiskundig onderbouwd perspectief op voorkeursmanifolds en laat zien dat het trainen op conflicterende paren de generalisatiegrenzen verbetert.
• Praktische Toepassing: Het maakt het mogelijk om één model te hebben dat zich kan aanpassen aan verschillende gebruikers of zelfs aan de veranderende stemming van één gebruiker, zonder de hoge kosten van het onderhouden van duizenden specifieke modellen.
• Toekomst: Het werk legt de basis voor "conflict-aware personalization", waarbij AI-systemen niet alleen gehoorzaam zijn aan algemene normen, maar ook flexibel kunnen omgaan met de dynamische en soms tegenstrijdige aard van menselijke waarden.

Samenvattend stelt PFT een nieuwe standaard neer voor het trainen van modellen die niet alleen "goed" zijn volgens een gemiddelde, maar die kunnen navigeren in de nuance en dynamiek van individuele menselijke voorkeuren.