Relative Density Ratio Optimization for Stable and Statistically Consistent Model Alignment

Probleemstelling

Het uitlijnen van taalmodellen (LLMs) met menselijke voorkeuren is cruciaal voor veiligheid en betrouwbaarheid. Bestaande methoden, zoals Reinforcement Learning from Human Feedback (RLHF) en Direct Preference Optimization (DPO), maken vaak de aanname dat menselijke voorkeuren voldoen aan het Bradley-Terry-model. Dit model kan echter de werkelijke complexiteit van menselijke voorkeuren (zoals cyclische voorkeuren) niet altijd accuraat vastleggen, wat leidt tot een gebrek aan statistische consistentie. Dit betekent dat er geen garantie is dat het model convergeert naar de ware menselijke voorkeur naarmate het aantal steekproeven toeneemt.

Een recentere aanpak, Direct Density Ratio Optimization (DDRO), lost dit statistische consistentie-probleem op door geen specifiek voorkeursmodel aan te nemen, maar direct de dichtheidsverhouding (density ratio) tussen gewenste en ongewenste data te schatten. Echter, DDRO heeft een groot nadeel: het is instabiel tijdens het trainen. De dichtheidsverhouding kan divergeren (naar oneindig gaan) wanneer de ondersteuning (de gebieden waar de kansdichtheid niet nul is) van de gewenste en ongewenste verdelingen verschillend is. Dit leidt tot explosieve gradiënten en training die niet convergeert.

Methodologie: Relative Density Ratio Optimization (RDRO)

De auteurs stellen een nieuwe methode voor, genaamd Relative Density Ratio Optimization (RDRO), die zowel stabiel als statistisch consistent is. De kern van de methode is het gebruik van relatieve dichtheidsverhoudingsschatting in plaats van de standaard dichtheidsverhouding.

1. Definitie van de Relatieve Dichtheidsverhouding:
   In plaats van de verhouding $p_-(y|x) / p_+(y|x)$ (onvoorkeur / voorkeur) te modelleren, definieert RDRO de verhouding tussen de voorkeurverdeling $p_+(y|x)$ en een mengsel van voorkeur- en onvoorkeurverdelingen:
   $$r^*(y|x) = \frac{p_+(y|x)}{\alpha p_+(y|x) + (1-\alpha)p_-(y|x)}$$
   Hierbij is $\alpha$ een hyperparameter (de fractie van voorkeurdata).

2. Stabiliteit:
   Een cruciaal theoretisch inzicht is dat deze relatieve verhouding bovengrens heeft ($r^* \in [0, 1/\alpha]$). In tegenstelling tot de standaard dichtheidsverhouding, die kan divergeren als $p_+(y|x)$ naar nul gaat, blijft de relatieve verhouding begrensd. Dit voorkomt dat de gradiënten exploderen, wat de training aanzienlijk stabieler maakt.

3. Optimalisatie:
   De methode minimaliseert de Bregman-divergentie tussen de geschatte relatieve verhouding en de ware verhouding. Dit leidt tot een verliesfunctie die lijkt op logistische regressie, maar met een specifieke structuur die automatisch regularisatie biedt.

   • Het verlies voor voorkeurdata wordt geminimaliseerd wanneer de log-verhouding $T_\theta = \log p_\theta - \log p_{ref}$ een waarde van $\log(1/\alpha)$ bereikt.
   • Het is bewezen dat de regularisatie term (zoals KL-divergentie in DPO/DDRO) overbodig is, omdat de parameter $\alpha$ van nature fungeert als een regularisatieparameter die voorkomt dat het model te ver afwijkt van de referentiepolicy.

Belangrijkste Bijdragen

• Nieuwe Algoritme: Introductie van RDRO, gebaseerd op relatieve dichtheidsverhoudingsschatting, voor het uitlijnen van taalmodellen.
• Theoretische Garanties:
  • Stabiliteit: Bewezen dat de verliesfunctie begrensd is en geen divergentie vertoont, in tegenstelling tot DDRO.
  • Statistische Consistentie: RDRO garandeert convergentie naar de ware menselijke voorkeur naarmate de steekproefgrootte toeneemt.
  • Strakkere Convergentie: De theoretische bovengrens voor de schattingsfout is significant strakker dan die van DDRO. Dit komt doordat DDRO afhankelijk is van $1/m_+$ (waar $m_+$ de minimale kansdichtheid is, vaak zeer klein) en de onbegrensde verhouding, terwijl RDRO afhankelijk is van $1/\alpha$.
• Empirische Validatie: Succesvolle toepassing op moderne modellen (Qwen 2.5 en Llama 3) met superieure of vergelijkbare prestaties ten opzichte van state-of-the-art methoden.

Resultaten

De auteurs hebben RDRO getest op twee grote datasets (UF-G en MIX-14K) met vier verschillende base-modellen (Qwen 1.5B/3B en Llama 3B/8B). De prestaties werden gemeten met de AlpacaEval LC win-rate (length-controlled).

• Prestaties: RDRO presteerde over het algemeen beter dan zowel KTO als DDRO.
  • Op de uitdagende UF-G dataset (waarvoor niet altijd een paar voorkeur/onvoorkeur per prompt beschikbaar is), behaalde RDRO statistisch significante verbeteringen, vooral bij de Llama-3B en Llama-8B modellen.
  • Op de MIX-14K dataset (waarvoor per prompt altijd een paar beschikbaar is) presteerde RDRO vergelijkbaar met of iets beter dan de concurrenten.
• Robuustheid: Een gevoeligheidsanalyse van de hyperparameter $\alpha$ toonde aan dat RDRO stabiel presteert over een breed scala aan waarden voor $\alpha$. De beste prestaties werden behaald wanneer $\alpha$ werd ingesteld op de fractie van voorkeursteekproeven in de dataset.

Betekenis en Conclusie

Dit paper biedt een belangrijke doorbraak in het veld van LLM-uitlijning. Het lost het fundamentele dilemma op tussen statistische consistentie (waar DDRO goed in is maar instabiel) en trainingsstabiliteit (waar DPO/RLHF goed in zijn maar statistisch minder robuust).

Door de instabiliteit van de dichtheidsverhouding te omzeilen via relatieve schatting, biedt RDRO een methode die:

1. Geen aannames doet over het onderliggende menselijke voorkeursmodel (zoals Bradley-Terry).
2. Theoretisch gegarandeerd convergeert naar de ware voorkeur.
3. Praktisch stabiel te trainen is zonder explosieve gradiënten.

Dit maakt RDRO een veelbelovende en robuuste vervanging voor bestaande uitlijningstechnieken, vooral in scenario's waar menselijke voorkeuren complex of inconsistent zijn.