Technische Samenvatting: Naar Algemene Voorkeursuitlijning: Diffusiemodellen in Nash-evenwicht

Probleemstelling

Reinforcement Learning from Human Feedback (RLHF) en de rekenkundig efficiëntere variant, Direct Preference Optimization (DPO), zijn standaard geworden voor het uitlijnen van tekst-naar-beeld (T2I) diffusiemodellen met menselijke voorkeuren. Echter, bestaande voorkeurgebaseerde methoden voor diffusie-uitlijning erven grotendeels het RLHF-paradigma, waarbij ze vertrouwen op impliciete beloningssignalen die worden gegenereerd door het Bradley–Terry (BT) model. De auteurs betogen dat de aanname van transitiviteit in het BT-model (als A > B en B > C, dan A > C) niet in staat is de volledige complexiteit van menselijke voorkeuren te vatten, die niet-transitief kunnen zijn (bijvoorbeeld rock-paper-scissors-cycli). Bovendien zetten huidige methoden menselijke voorkeuren vaak om in een door beloning geïnduceerde functie vóór optimalisatie, in plaats van de voorkeursrelatie direct te modelleren. Dit artikel stelt dat een speltheoretisch perspectief, specifiek Nash Learning from Human Feedback (NLHF), een robuuster kader biedt voor diffusie-uitlijning dat de restrictieve transitiviteitsaannames van het BT-model vermijdt.

Methodologie: Diffusion Nash Preference Optimization (Diff.-NPO)

De auteurs stellen Diff.-NPO voor, een algemeen voorkeuroptimalisatiekader afgeleid van een Nash-evenwichtsperspectief. In plaats van een door BT geïnduceerde waarschijnlijkheid te maximaliseren, formuleert Diff.-NPO uitlijning als een tweespeler nul-somspel tussen het huidige beleid ($\pi$) en een vorig beleid ($\pi_{prev}$), geregulariseerd door een referentiebeleid ($\pi_{ref}$).

Kernkader

1. Speltheoretische Formulering: Het doel is gedefinieerd als een minimax-spel waarbij de "max-speler" (huidig beleid) probeert samples te genereren die de voorkeur hebben boven die van de "min-speler" (vorig beleid), terwijl beide worden geregulariseerd om dicht bij een referentiebeleid ($\pi_{ref}$) te blijven om distributieverschuiving te voorkomen.
2. Online Mirror Descent (OMD): Om stabiele leer-dynamiek te waarborgen en de instabiliteit van greedy best-response updates te vermijden, maakt de methode gebruik van Optimistic Mirror Descent met entropie-regularisatie (Hedge). Dit leidt tot een self-play-doelstelling waarbij de beleidsupdate een best response is op het vorige beleid, beperkt door het referentiebeleid.
3. Afleiding van de Verliesfunctie:
   • De methode tilt voorkeuren op beeldniveau naar de ruimte van omgekeerde trajecten.
   • Het leidt een paarsgewijze logistische verliesfunctie af op basis van de log-ratio's van trajectwahrscheinlijkheden.
   • Het uiteindelijke doel, $L_{Diff.-NPO}$, contrasteert het huidige beleid ($p_\theta$) met zowel het referentiebeleid ($p_{ref}$) als het vorige beleid ($p_{prev}$).
   • De verliesfunctie wordt geformuleerd als:
     $$L_{Diff.-NPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \left[ \delta_\theta - \frac{\tau}{\eta}\delta_{ref} - \frac{\eta-\tau}{\eta}\delta_{prev} \right] \right) \right]$$
     Waar $\delta$-termen het verschil in impliciete beloningen (ruisvoorspellingsfouten) vertegenwoordigen tussen geprefereerde ($x^+$) en verworpen ($x^-$) samples.
   • De hyperparameter $\gamma = \tau/\eta$ regelt de interpolatie tussen het referentiebeleid (DPO-stijl, $\gamma=1$) en het vorige beleid (pure self-play, $\gamma=0$).

Belangrijkste Onderscheidende Kenmerken ten Opzichte van Bestaande Methoden

• vs. Diffusion-DPO: Waar Diffusion-DPO offline is en het huidige beleid uitsluitend contrasteert met een vaste referentie, is Diff.-NPO inherent online en gericht op self-play, waarbij updates worden geëvalueerd tegen samples gegenereerd door het huidige/vorige beleid.
• vs. INPO (Iterative Nash Policy Optimization): In tegenstelling tot INPO, dat een kwadratische verliesfunctie gebruikt die wordt gerechtvaardigd door specifieke populatieaannames die mogelijk niet opgaan in praktische orakelgebaseerde rangschikking, maakt Diff.-NPO gebruik van een paarsgewijze logistische verliesfunctie. Dit wordt betoogd als stabieler wanneer voorkeurparen deterministisch worden gerangschikt door een orakel (rangschikking van gegenereerde samples) in plaats van te worden bemonsterd uit een probabilistische voorkeursverdeling.

Belangrijkste Bijdragen

1. Theoretische Fundament: Het artikel overbrugt de kloof tussen Nash Learning from Human Feedback (NLHF) en diffusiemodel-uitlijning, door diffusie-uitlijning te formuleren als een algemeen voorkeursspel dat de Bradley–Terry-aanname vermijdt.
2. Algoritmevoorstel: De introductie van Diff.-NPO, een nieuw on-policy algemeen voorkeuroptimalisatie-algoritme. Het verenigt standaard DPO en self-play-paradigma's binnen één formulering, waarbij de regularisatiecoëfficiënt interpoleert tussen deze regimes.
3. Expliciete Modelleringaannames: Het kader maakt de aannames achter voorkeuroptimalisatie expliciet, door het doel te interpreteren als het aanpassen aan een doeldistributie die is opgebouwd uit het referentiebeleid, het vorige beleid en het voorkeurssignaal.
4. Empirische Validatie: Uitgebreide experimenten op Stable Diffusion 1.5 (SD1.5) en SDXL met behulp van de Pick-a-Pic, Parti-Prompts en HPSV2 datasets tonen de effectiviteit van de methode aan.

Experimentele Resultaten

De auteurs evalueerden Diff.-NPO tegenover baselines waaronder Online-SFT, Online-DPO, SPIN en Seppo.

• Winstpercentages: Diff.-NPO behaalde consistent de hoogste gemiddelde winpercentages over alle evaluatiedatasets (Pick-a-Pic, Parti-Prompts, HPSV2) voor zowel SD1.5 als SDXL.
  • Op SDXL met Parti-Prompts verbeterde Diff.-NPO de ImageReward-winstkans met 8,6% en de Aesthetic Score-winstkans met 10,8% ten opzichte van Online-Diff-DPO.
  • Het presteerde ook beter dan Online-DPO op Pick-a-Pic en HPSV2.
• Automatische Metrieken: De methode toonde superieure prestaties in automatische metrieken (PickScore, HPSV2, CLIP, ImageReward, Aesthetic Score) in vergelijking met baselines.
• Ablatiestudies:
  • $\tau/\eta$ Ratio: De studie bevestigde dat een intermediaire waarde (specifiek $\tau/\eta = 1/2$) de beste prestaties oplevert, wat de hypothese valideert dat uitsluitend vertrouwen op het referentiebeleid (DPO) of uitsluitend op het vorige beleid (pure self-play) suboptimaal is.
  • Verliesfunctie: Het vervangen van de paarsgewijze logistische doelstelling door een kwadratische afstanddoelstelling (zoals gebruikt in INPO) resulteerde in een aanzienlijke prestatiedaling, wat de ontwerpkeuze van de logistische verliesfunctie voor deterministische orakelrangschikkingen ondersteunt.
• Kwalitatieve Analyse: Visuele vergelijkingen gaven aan dat Diff.-NPO beelden produceert met betere semantische uitlijning, anatomische correctheid (bijvoorbeeld portretten van het volledige lichaam) en visuele coherentie in vergelijking met baselines.

Betekenis en Claims

Het artikel beweert dat Diff.-NPO een eenvoudige en stabiele aanpak biedt voor online diffusie-uitlijning door relatieve voorkeurswahrscheinlijkheden direct te optimaliseren via een self-play-achtige doelstelling met regularisatie van het referentiebeleid.

De auteurs stellen dat Nash-stijl online leren een velebelovend alternatief is voor beloningsgerichte formuleringen voor diffusiemodel-uitlijning. Door weg te bewegen van de transitieve aannames van het Bradley–Terry-model, biedt de methode een meer algemeen perspectief op voorkeursuitlijning. Het werk legt de basis voor toekomstig onderzoek naar Nash-stijl leren voor diffusiemodellen, en toont aan dat het verenigen van DPO en self-play door een speltheoretische lens superieure uitlijningskwaliteit kan opleveren.

Het artikel merkt bescheiden een beperking op: de huidige voorkeursconstructie vertrouwt op een gemiddelde rangschikking van vijf scoremodellen, en het opnemen van een bredere set scoremodellen zou een meer omvattend signaal kunnen bieden. Toekomstig werk is gepland om het kader uit te breiden naar sterkere online dataverzamelstrategieën en bredere diffusiegeneratie- en bewerkings taken.