Technische Samenvatting: Arena als Offline Beloning (ArenaPO)

Probleemstelling

Hoewel Reinforcement Learning from Human Feedback (RLHF) Text-to-Image (T2I) diffusiemodellen effectief heeft afgestemd op menselijke voorkeuren, lijdt het aan rekenkundige inefficiëntie vanwege de vereiste om een expliciete beloningsmodel te trainen en in te zetten met online inferentie. Direct Preference Optimization (DPO) is naar voren gekomen als een efficiënter alternatief door gebruik te maken van statische offline datasets zonder expliciete beloningsmodellering. Standaard DPO is echter beperkt tot binair feedback (gekozen versus afgewezen paren), wat resulteert in grofkorrelige optimalisatie. In de praktijk variëren de kwaliteitsverschillen tussen afbeeldingsparen aanzienlijk; het behandelen van alle "gekozen" afbeeldingen als even superieur aan "afgewezen" afbeeldingen negeert de omvang van de voorkeur, wat potentieel kan leiden tot suboptimale afstemming. De kernuitdaging is hoe fijnkorrelige voorkeurssignalen kunnen worden opgenomen in het efficiënte DPO-kader zonder te vertrouwen op een expliciet, rekenkundig duur beloningsmodel.

Methodologie: ArenaPO

De auteurs stellen ArenaPO voor, een kader dat fijnkorrelige offline beloningen extrahert uit een "Model Arena" om DPO-training te versterken. De methode werkt in drie distincte fasen:

1. Constructie van de Model Arena

In plaats van afbeeldingen geïsoleerd te behandelen, construeren de auteurs een "Model Arena" waar de bronmodel van elke afbeelding een concurrent is.

• Probabilistische Modellering: Volgend op Thurstone's Case V-theorie, wordt de capaciteit van elk model niet gemodelleerd als een vast punt, maar als een Gaussische verdeling $\theta \sim \mathcal{N}(\mu, \sigma^2)$, waarbij $\mu$ de gemiddelde capaciteit voorstelt en $\sigma$ de onzekerheid.
• Bayesiaanse Updating: Het dataset wordt beschouwd als een reeks paarwijze vergelijkingen. Door de geannoteerde paarwijze voorkeuren te traverseren, wordt de capaciteitsverdeling van elk model iteratief bijgewerkt met behulp van Bayesiaanse inferentie. Het binaire label (winst/verlies) dient als de waarschijnlijkheidsfunctie om de priorverdeling bij te werken, convergerend naar een posteriorverdeling die de ware capaciteit van het model karakteriseert.

2. Latente-Variabele Inferentie voor Schatting van Kwaliteitskloof

Voor elk gegeven afbeeldingspaar $(y_w, y_l)$ in het dataset schat de methode de absolute kwaliteitskloof zonder beloningsmodel.

• Formulering: De kwaliteit van een afbeelding wordt behandeld als een enkele steekproef getrokken uit de capaciteitsverdeling van het bronmodel. Het probleem wordt geformuleerd als het schatten van de posteriorverwachting van het kwaliteitsverschil $Q_D = Q_w - Q_l$ gegeven het waargenomen gebeurtenis $Q_w > Q_l$.
• Afgeknotte Normale Verdeling: Aangezien het verschil tussen twee onafhankelijke Gaussische variabelen ook Gaussisch is, en de observatie een eenzijdige beperking oplegt ($Q_D > 0$), maken de auteurs gebruik van de eigenschappen van de afgeknotte normale verdeling.
• Gesloten-Vorm Oplossing: De geschatte kwaliteitskloof $Q_D^*$ wordt berekend als de conditionele verwachting $E[Q_D | Q_D > 0]$. Deze waarde omvat zowel het gemiddelde priorverschil ($\mu_w - \mu_l$) als een correctieterm afgeleid van de onzekerheid ($\sigma_w, \sigma_l$) en de waargenomen binaire voorkeur. Deze $Q_D^*$ dient als een fijnkorrelig, instantiespecifiek beloningssignaal.

3. Fijnkorrelige DPO-Training

De geschatte kwaliteitskloof wordt geïntegreerd in de Diffusion-DPO-doelstelling.

• Margin-gebaseerd Bradley-Terry Model: In plaats van een eenvoudige binaire ordening af te dwingen, wordt de voorkeurskans gemodelleerd met een marge: $p(y_w \succ y_l) = \sigma(r(y_w) - r(y_l) - Q_D^*)$.
• Verliesfunctie: De standaard DPO-verliesfunctie wordt aangepast om $Q_D^*$ op te nemen als een schalingsfactor (gewogen door een coëfficiënt $\gamma$). Dit moedigt het beleid aan om niet alleen te leren welke afbeelding beter is, maar ook hoeveel beter het is, passend bij de omvang van de voorkeurskloof.
• Efficiëntie: De hele pijplijn is offline. De Arena-constructie en kwaliteitskloofschatting worden berekend voorafgaand aan de training, vereisen geen aanvullende online inferentie of training van een beloningsmodel, en behouden zo de rekenkundige efficiëntie van DPO.

Belangrijkste Bijdragen

1. ArenaPO Kader: Het voorstellen van een methode die Arena-scores benut als offline beloningen om verfijnde feedback te bieden voor DPO, waarbij zowel de rijke beloningssignalen van RLHF als de efficiëntie van DPO worden bereikt zonder een expliciet beloningsmodel.
2. Latente-Variabele Inferentie: De introductie van een nieuwe inferentiemethode gebaseerd op de afgeknotte normale verdeling om absolute kwaliteitskloven tussen afbeeldingsparen te schatten met uitsluitend modelcapaciteitsverdelingen en binaire voorkeuren.
3. Empirische Superieure: Uitgebreide experimenten op Pick-a-Pic v2 en HPD v3 datasets tonen aan dat ArenaPO consequent presteert boven bestaande baselines (inclusief Diffusion-DPO, MaPO, DSPO en SDPO) over meerdere evaluatiemetingen (PickScore, HPS, Aesthetic, CLIP, ImageReward).

Experimentele Resultaten

De auteurs evalueerden ArenaPO op Stable Diffusion 1.5 en Stable Diffusion XL met behulp van de Pick-a-Pic v2 en HPD v3 datasets.

• Prestatiewinst: ArenaPO behaalde state-of-the-art resultaten over alle geteste benchmarks. Bijvoorbeeld, op de Pick-a-Pic v2 dataset met Stable Diffusion 1.5 verbeterde ArenaPO de PickScore van 0,2143 (SDPO) naar 0,2151 en de ImageReward van 0,5546 naar 0,6063.
• Winstpercentage: In head-to-head vergelijkingen tegen de originele Stable Diffusion 1.5 behaalde ArenaPO een winstpercentage van 79,0%, aanzienlijk beter dan andere DPO-varianten.
• Ablatiestudies:
  • Fijnkorrelig versus Uniforme Marge: Het vervangen van de adaptieve $Q_D^*$ door een vaste uniforme marge resulteerde in aanzienlijk lagere prestaties, wat de noodzaak van fijnkorrelige, adaptieve beloningen valideert.
  • Schaalbaarheid: Het combineren van ArenaPO met andere geavanceerde methoden (bijvoorbeeld DSPO) leverde verdere prestatiewinst op, wat aangeeft dat de aanpak ontkoppeld is en compatibel met andere optimalisatiestrategieën.
  • Hyperparametergevoeligheid: De schalingscoëfficiënt $\gamma$ bleek relatief ongevoelig, met optimale prestaties bij $1 \times 10^{-3}$.

Betekenis en Claims

Het artikel beweert dat ArenaPO effectief de kloof overbrugt tussen de efficiëntie van DPO en de rijkdom van RLHF. Door modelcapaciteiten te modelleren als verdelingen en latente-variabele inferentie te gebruiken, extrahert de methode fijnkorrelige voorkeursinformatie uit bestaande binaire datasets zonder de overhead van het trainen van een beloningsmodel. De auteurs stellen dat deze aanpak leidt tot effectievere afstemming, waardoor modellen niet alleen de richting van de voorkeur leren, maar ook de intensiteit van die voorkeur. De methode wordt gepresenteerd als een praktische, schaalbare oplossing voor het verbeteren van T2I-diffusiemodellen in real-world toepassingen waar rekenkundige middelen voor online beloningsmodellering beperkt zijn.