Technische Samenvatting: ConsistentRFT

1. Probleemstelling

Reinforcement Fine-Tuning (RFT) op flow-gebaseerde generatieve modellen is essentieel voor het afstemmen van beeldgeneratie op menselijke voorkeuren. Bestaande flow-gebaseerde RFT-methoden (bijv. DDPO, DPO, GRPO-varianten) introduceren echter vaak visuele hallucinaties. Deze manifesteren zich op drie primaire manieren:

1. Detail Over-optimalisatie: Het genereren van irrelevante details, overmatige verscherping en rasterartefacten.
2. Semantische Misalignement: Een disconnect tussen de gegenereerde afbeelding en de tekstprompt.
3. Cross-Step Inconsistentie: Semantische degradatie en divergentie bij het gebruik van sampling met weinig stappen (few-step sampling).

De auteurs identificeren dat huidige methoden falen omdat ze opereren onder een verenigd perspectief van Exploratie (SDE rollouts) en Exploitatie (policy gradient updates) dat fundamenteel gebrekkig is voor flow-modellen:

• Beperkte Exploratie: Stochastic Differential Equation (SDE) rollouts leveren vaak een smal exploratiedomein op. Wanneer hetzelfde initiële ruis wordt gebruikt met variërende procesruis, genereren modellen zeer vergelijkbare afbeeldingen die alleen verschillen in lokale details. Dit leidt tot fijnmazige optimalisatie die de nadruk te sterk legt op lokale texturen terwijl globale semantiek wordt verwaarloosd.
• Traject Imitatie Distorsie: Policy gradient-methoden (zoals GRPO) worden geherinterpreteerd als beloningsgewogen trajectimitaties. Ze dwingen het model om stochastische, niet-lineaire SDE-trajecten te imiteren om beloningen te maximaliseren. Dit conflicteert met het pre-training doel van het leren van een consistente, deterministische snelheidveld (velocity field), wat het fundamentele vectorfeld van het model verstoort en instabiliteit veroorzaakt.

2. Methodologie: ConsistentRFT

Om deze hallucinaties te mitigeren, stellen de auteurs ConsistentRFT voor, een algemeen framework dat compatibel is met online RFT-methoden (DDPO, DPO, GRPO). Het bestaat uit twee kerncomponenten:

A. Dynamic Granularity Rollout (DGR)

Dit mechanisme adresseert de beperking in Exploratie door een balans te vinden tussen globale semantiek en lokale details via dynamische ruis-scheduling.

• Inter-Group Schedule: Het trainingsproces wordt verdeeld in perioden die zowel fijnmazige als grofmazige rollouts bevatten.
  • Fijnmazig: Gebruikt progressieve ruisinjectie (variërende procesruis) om lokale details te verfijnen.
  • Grofmazig: Gebruikt verschillende initiële ruisbronnen om globale semantische variaties te verkennen.
  • Dit voorkomt dat het model vastloopt in lokale optima die uitsluitend gericht zijn op details.
• Intra-Group Schedule: Om de diversiteit binnen fijnmazige groepen te vergroken zonder excessieve berekeningen, gebruikt de methode progressie-bewuste rollout met clustering.
  • Het voert een tussenliggende single-step voorspelling uit om de staat te beoordelen.
  • Samples worden in de latente ruimte geclusterd om representatieve groepen te selecteren (één voor detailverfijning, één voor grove perceptie), wat zorgt voor diversiteit terwijl de computationele overhead wordt verminderd.

B. Consistent Policy Gradient Optimization (CPGO)

Dit mechanisme adresseert de Exploitatie distorsie door de intrinsieke consistentie van het model te behouden.

• Kerninzicht: In plaats van louter stochastische SDE-trajecten te imiteren, dwingt CPGO single-step voorspellingsgetrouwheid af via ODE-constraints.
• Implementatie: Het stemt de huidige voorspelling van het model bij stap $t$ af met de voorspelling van het oude model bij stap $t-1$ met behulp van een ODE-gebaseerde solver.
  • De objectieffunctie voegt een consistentieterm toe: $J_{CPGO} = -\mathbb{E}[\|\pi^{ODE}_{\theta}(x_t, t) - \pi^{ODE}_{\theta_{old}}(x_{t-1}, t-1)\|^2]$.
• Effect: Dit dwingt de optimalisatie om soepelere, meer consistente trajecten te volgen, waardoor het model voorkomt dat het gehallucineerde samples imiteert die geïnterpoleerd zijn uit de pre-trained distributie.

C. Visual Hallucination Evaluator (VH-Evaluator)

De auteurs introduceren een nieuwe evaluatiemetriek die low-level objectieve metrieken (bijv. Laplacian variance, rasterpatroondetectie) combineert met high-level beoordelingen via pre-trained Multimodale Large Language Models (MLLM's) om specifiek detail over-optimalisatie en perceptuele hallucinaties te kwantificeren.

3. Belangrijkste Bijdragen

1. Analyse van Hallucinatie-oorzaken: Het paper biedt een voorlopige analyse die visuele hallucinaties in flow-gebaseerde RFT toeschrijft aan twee specifieke ontwerpkeuzes: een beperkt exploratiedomein in SDE rollouts (leidend tot detail over-optimalisatie) en de verstoring van het vectorfeld veroorzaakt door trajectimitaties in policy gradients.
2. Dynamic Granularity Rollout (DGR): Een nieuw scheduling mechanisme dat dynamisch de balans bewaart tussen globale semantische exploratie en lokale detailverfijning, waardoor het model niet uitsluitend op fijnmazige artefacten focust.
3. Consistent Policy Gradient Optimization (CPGO): Een policy gradient formulering die temporele zelfconsistentie en afstemming met een stabiele prior afdwingt, wat de inconsistenties die door het imiteren van stochastische trajecten worden geïntroduceerd, mitigeert.
4. Uitgebreide Evaluatie: De introductie van de VH-Evaluator en uitgebreide experimenten die significante reducties in hallucinaties laten zien over meerdere metrieken.

4. Experimentele Resultaten

Uitgebreide experimenten zijn uitgevoerd op het FLUX.1-dev model met behulp van de HPDv2 dataset en de HPS-v2 benchmark.

• Reductie van Hallucinaties: ConsistentRFT bereikte een gemiddelde reductie van 49% in low-level perceptuele hallucinaties (bijv. rasterpatronen, ruis) en 38% in high-level perceptuele hallucinaties vergeleken met baseline methoden.
• Out-of-Domain Generalisatie: In tegen tegenstelling tot baselines die vaak out-of-domain prestaties opofferen voor in-domain winsten (bijv. MixGRPO verbeterde HPS maar liet de CLIP-scores met 10,8% dalen), verbeterde ConsistentRFT de out-of-domain metrieken. Specifiek toonde het een verbetering van 5,1% in de integrale scores op FLUX1.dev, terwijl de baseline met 0,4% daalde.
• Prestaties vs. SOTA: De methode presteerde beter dan state-of-the-art RFT-baselines (DDPO, DPO, GRPO-varianten) op het gebied van menselijke voorkeursscores (ImageReward, PickScore) en esthetische kwaliteit, terwijl de semantische afstemming behouden bleef.
• Efficiëntie: De methode is compatibel met standaard policy gradients en biedt versnellingen. Zo verminderde de Intra-Group DGS de trainingstijd met ongeveer 18,6% vergeleken met de standaard DanceGRPO, terwijl de prestaties gelijk bleven of verbeterden.
• Few-Step Sampling: De methode demonstreerde superieure stabiliteit in scenario's met weinig stappen (few-step sampling), waar andere methoden doorgaans degraderen.

5. Betekenis en Claims

Het paper claimt dat ConsistentRFT een algemene oplossing biedt voor het hardnekkige probleem van visuele hallucinaties in flow-gebaseerde reinforcement fine-tuning. Door de optimalisatie van globale semantiek en lokale details te ontkoppelen (via DGR) en de consistentie van het vectorfeld af te dwingen (via CPGO), stelt het framework modellen in staat om af te stemmen op menselijke voorkeuren zonder de structurele integriteit en het realisme van de gegenereerde afbeeldingen op te offeren.

De auteurs positioneren dit werk als een voorlopig onderzoek naar de specifieke oorzaken van hallucinaties in de post-training fase van flow-modellen. Ze benadrukken dat hoewel hun methode een robuuste mitigatiestrategie biedt, de uitdaging van visuele hallucinaties ook krachtigere en schaalbare reward-modellen vereist, waarvan zij verwachten dat de community deze in de toekomst zal ontwikkelen. Het werk claimt niet alle hallucinatieproblemen op te lossen, maar toont een significante stap voorwaarts in het balanceren van preferentie-afstemming met visuele getrouwheid.