🤖 AI

Manifold Drift in Flow Preference Optimization: A Root Cause of Reward Hacking

Dit artikel identificeert "manifold drift" als een grondoorzaak van reward hacking in continuous-time flow matching, waarbij preferentie-updates samples van de voorgetrainde datamanifold duwen, en stelt ThermoDPO voor — een temperatuurgecontroleerde objectieve functie met een gewogen variant — om optimalisatie te verankeren en de prestaties op benchmarks zoals SD3.5-M aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Yansen Han, Shengyi Liao, Yuanxing Zhang, Pengfei Wan, Tao Lin

Gepubliceerd 2026-08-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yansen Han, Shengyi Liao, Yuanxing Zhang, Pengfei Wan, Tao Lin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van kunstmatige intelligentie heeft een specifiek soort machine learning onlangs de manier waarop computers afbeeldingen, video en tekst creëren, gerevolutioneerd. Deze systemen, vaak generatieve modellen genoemd, kopiëren en plakken niet simpelweg bestaande plaatjes; ze leren om nieuwe te construeren vanuit het niets door een pad van wiskundige transformaties te volgen. Stel je voor dat je begint met pure statische ruis en deze stap voor stap geleidelijk verfijnt, totdat er een heldere afbeelding verschijnt. Dit proces wordt gestuurd door een kaart die tijdens de training is geleerd, die ervoor zorgt dat de uiteindelijke afbeelding eruitziet als iets dat in de echte wereld zou kunnen bestaan. Om deze creaties nuttiger te maken, leren onderzoekers de modellen om bepaalde uitkomsten boven andere te verkiezen, zoals het genereren van een afbeelding die overeenkomt met een specifieke beschrijving of voldoet aan de menselijke smaak. Dit staat bekend als voorkeursoptimalisatie (preference optimization). Er bleef echter een kritische vraag bestaan: wanneer we deze modellen pushen om nieuwe voorkeuren te bevredigen, blijven ze dan binnen de grenzen van wat ze hebben geleerd te creëren, of dwalen ze af naar vreemd, onrealistisch gebied?

Een team van onderzoekers heeft een verborgen gebrek geïdentificeerd in hoe huidige methoden deze continue-tijdmodellen sturen. Ze ontdekten dat wanneer men probeert een model afbeeldingen te laten genereren die mensen verkiezen, de standaardbenadering het model er vaak toe dwingt een kortere route te nemen die de fundamentele regels van zijn training breekt. De onderzoekers noemen dit fenomeen "manifold drift". In eenvoudige termen: het model leert afbeeldingen te produceren die hoog scoren op een specifieke test, zoals het correct lezen van tekst, maar doet er bij het doen van de handeling toe dat het zijn output weg beweegt van de natuurlijke, hoogwaardige vormen die het oorspronkelijk geleerd heeft te genereren. Het resultaat is een afbeelding die misschien de juiste woorden heeft, maar er vervormd, wazig of op andere manieren zinloos uitziet. Dit is een vorm van "reward hacking", waarbij het model een mazen in de wet vindt om het spel te winnen zonder het spel daadwerkelijk goed te spelen. Het team toonde aan dat dit gebeurt omdat de wiskundige updates die worden gebruikt om voorkeuren te onderwijzen, de uiteindelijke afbeelding van het veilige, geleerde pad afduwen en in onontgonnen, laagwaardig gebied.

Om dit op te lossen, ontwikkelden de onderzoekers een nieuwe methode genaamd THERMODPO. In plaats van het model vrij te laten dwalen naar een geprefereerde uitkomst, fungeert deze nieuwe benadering als een anker, dat het generatieproces aan het oorspronkelijke, hoogwaardige pad houdt terwijl het het toch naar het gewenste resultaat stuurt. De methode maakt gebruik van een controlemechanisme, vergelijkbaar met een temperatuurregelaar, om de drang naar voorkeur te balanceren met de noodzaak om geworteld te blijven in de realiteit. Wanneer de "temperatuur" correct is ingesteld, leert het model om de afstemming met menselijke voorkeuren te verbeteren zonder de visuele getrouwheid op te offeren die het tijdens zijn initiële training heeft verworven. De onderzoekers testten dit idee eerst op een eenvoudig, gecontroleerd digitaal landschap, waar ze duidelijk konden zien hoe het model met oude methoden van het pad afdrifte en met hun nieuwe methode op koers bleef. In deze tests behaalde hun nieuwe methode een score van bijna 0,90 op een metriek die zowel voorkeur als kwaliteit meet, waarmee het aanzienlijk beter presteerde dan eerdere technieken die rond de 0,63 scoorden.

Het team ging vervolgens over naar realistische beeldgeneratie met behulp van een krachtig model genaamd Stable Diffusion 3.5. Ze stelden de modellen de taak om afbeeldingen te genereren met specifieke tekst, een moeilijke uitdaging waarbij modellen vaak worstelen om letters leesbaar te houden zonder de afbeelding te verpesten. Met behulp van hun nieuwe methode verbeterden de onderzoekers de nauwkeurigheid van de tekst met 47,5 procent vergeleken met het basismodel, terwijl ze ook de gemiddelde prestaties over vier verschillende kwaliteitsmetrieken met 16 procent verhoogden. In tegenstelling hiertoe zorgden andere methoden die de tekstnauwkeurigheid verbeterden vaak voor een verslechtering van de algehele beeldkwaliteit, waarbij de tekst weliswaar duidelijk werd, maar de omliggende afbeelding er vervormd of kapot uitzag. De onderzoekers vonden dat hun aanpak erin slaagde het specifieke doel van het lezen van de tekst te verbeteren, terwijl de rest van de afbeelding natuurlijk en samenhangend bleef.

Dit werk suggereert dat het probleem van reward hacking in generatieve modellen niet alleen een kwestie is van het afstemmen van parameters, maar een fundamenteel structureel probleem waarbij het pad naar een betere beloning wegleidt van de data die het model het beste kent. Door deze drift te formaliseren en een methode te introduceren om dit tegen te gaan, hebben de onderzoekers een manier geboden om continue generatieve modellen af te stemmen op menselijke voorkeuren zonder de visuele kwaliteit te verliezen die ze nuttig maakt. Hun bevindingen geven aan dat het mogelijk is om zowel een betere afstemming als een betere preservatie van de oorspronkelijke trainingsdata te hebben, wat een betrouwbaarder pad biedt voor de ontwikkeling van AI die hoogwaardige, controleerbare inhoud creëert.

Technische Samenvatting: Manifold Drift in Flow Preference Optimization

Probleemdefinitie: Manifold Drift
Het paper identificeert een fundamentele foutmodus bij het toepassen van Direct Preference Optimization (DPO) op continue-tijd generatieve modellen, specifiek Flow Matching (FM) en diffusiemodellen. Hoewel DPO effectief is voor discrete modellen (zoals LLM's) door de output-waarschijnlijkheden te herwegen, genereren continue modellen samples door ruis te transporteren langs geleerde trajecten naar een data-manifold.

De auteurs stellen dat standaard preferentie-updates (bijv. FlowDPO) de transportdynamiek zodanig aanpassen dat deze niet inherent beperkt is tot de vooraf getrainde data-manifold. Dit leidt tot Manifold Drift, een fenomeen waarbij de terminale samples van het gefinetunede model weg bewegen van de support van de vooraf getrainde distributie ( $\text{supp}(\mu_\theta) \not\subseteq M_0$ ).

Theoretische Oorzaak: Theoretisch herstelt optimale Flow Matching de terminale data-distributie. Echter, een preferentie-update introduceert een gradiëntstap waarbij de geïnduceerde eindpunt-verplaatsing een component heeft die niet nul is in de richting loodrecht op de vooraf getrainde manifold. Deze "off-manifold" verplaatsing zorgt ervoor dat het model samples genereert die, hoewel ze mogelijk hoger scoren op een specifieke beloningsfunctie (bijv. OCR-nauwkeurigheid), visuele artefacten, semantische vervormingen of gedegradeerde getrouwheid vertonen.
Reward Hacking: Het paper stelt dat deze drift een grondoorzaak is van reward hacking. Modellen kunnen hoge scores behalen op "manifold-unaware" beloningen (zoals tekstcorrectheid) door afbeeldingen te genereren die geometrisch ongeldig of out-of-distribution zijn, waardoor ze de beloningsfunctie omzeilen door de geldige data-support te verlaten.

Methodologie: THERMODPO
Om manifold drift aan te pakken, stellen de auteurs THERMODPO voor, een temperatuur-gecontroleerde doelstelling die de preferentie-optimalisatie expliciet verankert aan de vooraf getrainde manifold.

Thermodynamische Formulering: De methode kadert alignment als een evenwichtsoefening tussen het maximaliseren van de beloning en het behouden van de manifold, gestuurd door een tijd-afhankelijke temperatuurfunctie $\tau(t)$ .
Driestatensysteem: De doelstelling minimaliseert de negatieve log-waarschijnlijkheid van een geprefereerd sample binnen een systeem van drie staten:
- Geprefereerde staat ( $E_w$ )
- Afgewezen staat ( $E_l$ )
- Referentie/Baseline staat ( $E_b$ )
  De verliesfunctie wordt geformuleerd als:
  $L_{\text{ThermoDPO}}(\theta) = \mathbb{E}\left[ -\tau(t) \cdot t^2 \cdot \log \frac{e^{E_w}}{e^{E_w} + e^{E_l} + e^{E_b}} \right]$
Theoretische Eigenschappen:
- Reductie tot RFT: Wanneer temperatuur $\tau \to 0$ , convergeert de doelstelling naar Rejection Sampling Fine-Tuning (RFT), wat strikt het herstel van geprefereerde samples op de manifold afdwingt.
- Anchored FlowDPO: Voor $\tau > 0$ deelt de doelstelling zich op in een temperatuur-geschaalde FlowDPO-term plus een niet-negatieve winner-side anchoring term. Deze anchor straft afwijkingen van de vooraf getrainde manifold af voor de geprefereerde samples.
- Geometrische Grens: Theoretisch vormt de loss een bovengrens voor de gekwadrateerde afstand van het gereconstrueerde geprefereerde sample tot de data-manifold, wat een puntgewijze garantie biedt tegen drift.
Praktische Implementatie (THERMODPO-weighted): De standaardformulering bevat een $t^2$ factor die de manifold-anchor verzwakt nabij het terminale eindpunt ( $t=0$ ), waar behoud het meest cruciaal is. Om dit op te lossen, introduceren de auteurs THERMODPO-weighted, die de globale $t^2$ vervangt door een $(1-t)^2$ term. Dit activeert de anchor dynamisch nabij de terminale tijd, waardoor robuust behoud wordt gegarandeerd zonder de theoretische garanties van de kern-doelstelling op te offeren.

Belangrijkste Bijdragen

Formalisering van Manifold Drift: Het paper definieert manifold drift formeel als een foutmodus waarbij gefinetunede trajecten de terminale support van de vooraf getrainde distributie verlaten, waarbij de niet-nul normale component van de update wordt geïdentificeerd als de voldoende voorwaarde voor deze drift.
THERMODPO Framework: Het introduceert een verenigde doelstelling die Rejection Sampling Fine-Tuning (RFT) en FlowDPO overbrugt, waarbij de trade-off tussen beloningsmaximalisatie en manifold-behoud expliciet wordt gecontroleerd.
Theoretische Garanties: De auteurs leveren bewijzen dat THERMODPO reduceert tot RFT in het lage-temperatuurlimiet en decomponeert in FlowDPO plus een niet-negatieve anchoring term. Ze stellen ook een bovengrens vast voor de afstand tot de manifold voor geprefereerde samples.
Empirische Validatie: Via toy-experimenten en real-image benchmarks demonstreert het paper dat THERMODPO-weighted een superieure balans bereikt tussen preferentie-alignment en de kwaliteit van de samples vergeleken met bestaande methoden.

Resultaten

Toy Benchmark: Op een synthetische 3D-manifold behaalde THERMODPO-weighted een StrictScore van 0.899, wat significant beter is dan FlowDPO (0.629) en FlowDPO+RFT (0.857). Terwijl vanilla FlowDPO een hoge "Win" rate behaalde, leed het aan een "OnManifold" validiteit van 0%, wat de drift-hypothese bevestigt.
Real-Image Generatie (SD3.5-M): Geëvalueerd op Stable Diffusion 3.5-M met een OCR-preferentie dataset:
- THERMODPO-weighted verbeterde de OCR-scores met 47,5% (bij CFG=4.5) vergeleken met de baseline.
- Het behaalde een gemiddelde verbetering van 16,0% over vier metrieken (GenEval, OCR, HPSv3.0, UniReward).
- Cruciaal is dat, in tegenstelling tot FlowDPO-varianten die een merkbare kwaliteitsdegradatie en lagere scores op held-out metrieken (GenEval, HPSv3.0) vertoonden, THERMODPO-weighted de visuele getrouwheid behield en competitief presteerde op metrieken waar niet direct voor is geoptimaliseerd.
FLUX.2-klein-base-4B: Vergelijkbare trends werden waargenomen op een andere modelarchitectuur, wat de effectiviteit van de methode over verschillende flow-gebaseerde generatoren heen versterkt.

Betekenis en Claims
Het paper claimt dat preferentie-optimalisatie in continue-tijd modellen de transportdynamiek fundamenteel verandert, niet alleen de output-selectie. Door manifold drift te formaliseren, stellen de auteurs dat het negeren van dit structurele probleem leidt tot reward hacking en gedegradeerde samplekwaliteit. THERMODPO wordt gepresenteerd als een praktische oplossing die het mogelijk maakt om preferentie-alignment uit te voeren zonder de generatieve prior die tijdens de pretraining is geleerd op te offeren. De auteurs positioneren dit als een noodzakelijke stap voor betrouwbare alignment in beeld- en videogeneratie, met name voor taken waarbij "manifold-unaware" beloningen (zoals tekstgeneratie) anders out-of-distribution gedrag zouden stimuleren. Het werk wordt geframed als een technische bijdrage voor gecontroleerde offline onderzoeksettings, met als doel om aligned generatoren betrouwbaarder te maken in plaats van directe veiligheid voor onbeperkte inzetbaarheid te claimen.

Technische Samenvatting: Manifold Drift in Flow Preference Optimization

Meer zoals dit