DRIFT: Learning from Abundant User Dissatisfaction in Real-World Preference Learning

Technische Samenvatting: DRIFT – Leren van overvloedige gebruikersontevredenheid in real-world preference learning

Probleemstelling
De huidige alignment van Large Language Models (LLM's) leunt zwaar op Reinforcement Learning from Human Feedback (RLHF) en Direct Preference Optimization (DPO). Deze methoden kampen echter met aanzienlijke schaalbaarheidsuitdagingen bij implementatie in de echte wereld. Ze zijn doorgaans afhankelijk van kostbare, gecureerde menselijke annotaties of gaan uit van de beschikbaarheid van overvloedige positieve (tevreden) feedback. In contrast hiermee wordt real-world interactiedata gekenmerkt door een schaarste aan expliciete tevredenheidssignalen (SAT) (slechts 1–3% van de gebruikers geeft feedback) en een overvloed aan impliciete ontevredenheidssignalen (DSAT). Gebruikers uiten hun ontevredenheid van nature via correcties, verfijningen en vervolgvragen, maar bestaande benaderingen voor preference learning zijn slecht afgestemd op dit dataprofiel, omdat ze er vaak niet in slagen om de rijke, impliciete negatieve signalen te benutten die in de praktijk beschikbaar zijn.

Methodologie: DRIFT
De auteurs stellen DRIFT voor (Dissatisfaction-Refined Iterative preFerance Training), een framework dat is ontworpen om de training te verankeren op real-world DSAT-signalen, terwijl er dynamisch positieve responsen worden gesampled.

• Kernmechanisme: In tegenstelling tot methoden die vaste grondwaarheid-responsen als positief behandelen (bijv. SPIN) of vertrouwen op zelf gegenereerde paren die in kwaliteit kunnen degraderen, construeert DRIFT preference-paren waarbij:
  • Verworpen Respons ($y^-$): Een authentiek, real-world gebruikersontevredenheidssignaal geëxtraheerd uit echte gespreksprotocollen (bijv. een gebruiker die een fout van het model corrigeert).
  • Gekozen Respons ($y^+$): Een nieuwe respons gesampled uit de huidige evoluerende policy ($\pi_\theta$) voor dezelfde prompt.
• Iteratief Proces: De training verloopt in cycli. Het model filtert een 'wild' dataset (bijv. WildFeedback) om DSAT-gevallen te identificeren. Voor elke prompt die geassocieerd is met een DSAT-signaal, genereert het huidige model een nieuwe kandidaat-respons. Het model wordt vervolgens bijgewerkt via de DPO-loss om de waarschijnlijkheid van de gegenereerde positieve respons te maximaliseren ten opzichte van de real-world negatieve respons.
• Cruciaal Ontwerpinzicht: Door te verankeren op authentieke DSAT-negatieven en positieven te samplen uit de evoluerende policy, behoudt DRIFT een niet-verdwijnende preference margin. Dit voorkomt de "gradient collapse" die wordt waargenomen bij andere self-improvement methoden, waarbij de gekozen en verworpen responsen in de loop van de tijd te veel op elkaar gaan lijken.

Belangrijkste Bijdragen

1. Empirische Validatie: DRIFT presteert consistent beter dan sterke iteratieve baselines (SPIN en Iterative DPO) op real-world benchmarks.
2. Verbeterde Exploratie: De methode behoudt het exploratieve vermogen door diverse hoog-belonende oplossingen te genereren, in plaats van te imploderen in smalle subsets van de responsruimte.
3. Theoretische Analyse: De auteurs leveren een theoretisch bewijs dat DRIFT een niet-verdwijnende verwachte preference margin behoudt en gradiënt-degeneratie voorkomt, een kritieke beperking in bestaande self-improving modellen die vertrouwen op vaste positieve sets.

Experimentele Resultaten
De auteurs hebben DRIFT geëvalueerd op Qwen2.5-7B en Qwen2.5-14B modellen met behulp van twee datasets: WildFeedback (real-world, door gebruikers gelabeld) en UltraFeedback (synthetisch, door LLM gelabeld).

• WildFeedback (Real-World):
  • DRIFT behaalde tot +6,23% (7B) en +7,61% (14B) verbetering op de WildBench Task Score ten opzichte van de basismodellen.
  • Het behaalde tot +8,95% (7B) en +12,29% (14B) verbetering in de AlpacaEval2 win rate.
  • Op de 14B schaal overtrof de met DRIFT getrainde modellen GPT-4o-mini op WildBench.
  • DRIFT demonstreerde superieure stabiliteit over meerdere iteraties (tot 5), terwijl SPIN en IterDPO prestatie-degradatie of vroege stagnatie vertoonden.
• UltraFeedback (Synthetisch):
  • DRIFT behield zijn superioriteit, waarbij het SPIN en IterDPO overtrof, zelfs op synthetische data, met winsten van +7,61% (14B) op de WildBench Task Score en +12,29% op de AlpacaEval2 win rate.
• Exploratie-analyse: Met behulp van semantische reward topografie (UMAP + KDE) lieten de auteurs zien dat DRIF een aanzienlijk groter deel van de globale hoog-belonende regio beslaat vergeleken met de baselines, wat wijst op een betere diversiteit en het vermijden van mode collapse.

Betekenis en Claims
Het artikel claimt dat DRIFT een schaalbaar en effectief recept biedt voor real-world post-training door gebruik te maken van het meest overvloedige en informatieve signaal dat beschikbaar is: gebruikersontevredenheid.

• Schaalbaarheid: Het transformeert het "probleem" van overvloedige negatieve feedback naar een trainingsactiva, waardoor de bottleneck van de noodzaak voor schaarse positieve annotaties wordt weggenomen.
• Stabiliteit: Door het vertrouwen op een vaste set "gouden" positieven te vermijden, mitigeert DRIFT het risico op reward hacking en model collapse die geassocieerd worden met methoden zoals SPIN.
• Generalisatie: De aanpak generaliseert over verschillende modelarchitecturen (getest op Qwen en Gemma) en behoudt veiligheidskenmerken, waarbij geen toename in jailbreak-succesratio's of toxiciteit wordt waargenomen vergeleken met de baselines.

De auteurs concluderen dat het verankeren van preference optimization in real-world ontevredenheid een betrouwbaar pad biedt om LLM's af te stemmen op evoluerende gebruikersbehoeften zonder de prohibitieve kosten van gecureerde menselijke annotatie.