Sintesi Tecnica: ConsistentRFT

1. Definizione del Problema

Il Reinforcement Fine-Tuning (RFT) sui modelli generativi basati su flow è essenziale per allineare la generazione di immagini alle preferenze umane. Tuttavia, gli attuali metodi RFT basati su flow (ad esempio, DDPO, DPO, varianti di GRPO) introducono frequentemente allucinazioni visive. Queste si manifestano in tre modi primari:

1. Sovra-ottimizzazione dei dettagli: Generazione di dettagli irrilevanti, eccessiva nitidezza (over-sharpening) e artefatti a griglia.
2. Disallineamento Semantico: Una mancanza di connessione tra l'immagine generata e il prompt testuale.
3. Incoerenza tra i Passaggi (Cross-Step Inconsistency): Degradazione semantica e divergenza durante l'uso di campionamento con pochi step.

Gli autori identificano che gli attuali metodi falliscono perché operano sotto una prospettiva unificata di Esplorazione (rollout SDE) ed Exploitation (aggiornamenti del gradiente della policy) che è fondamentalmente errata per i modelli flow:

• Esplorazione Limitata: I rollout SDE (Stochastic Differential Equation) producono spesso un dominio di esplorazione ristretto. Utilizzando lo stesso rumore iniziale con variazioni del rumore di processo, i modelli generano immagini altamente simili che differiscono solo nei dettagli locali. Ciò porta a una ottimizzazione fine-grained che enfatizza eccessivamente le texture locali trascurando la semantica globale.
• Distorsione dell'Imitazione della Traiettoria: I metodi di gradiente della policy (come GRPO) sono reinterpretati come imitazione di traiettorie pesate dal reward. Essi costringono il modello a imitare traiettorie SDE stocastiche e non lineari per massimizzare i reward. Questo entra in conflitto con l'obiettivo di pre-training di apprendere un campo di velocità deterministico e coerente, distorcendo così il campo vettoriale fondamentale del modello e causando instabilità.

2. Metodologia: ConsistentRFT

Per mitigare queste allucinazioni, gli autori propongono ConsistentRFT, un framework generale compatibile con i metodi RFT online (DDPO, DPO, GRPO). Esso si compone di due componenti core:

A. Dynamic Granularity Rollout (DGR)

Questo meccanismo affronta il limite di Esplorazione bilanciando la semantica globale e i dettagli locali attraverso uno scheduling dinamico del rumore.

• Inter-Group Schedule: Il processo di training è suddiviso in periodi contenenti rollout sia fine-grained che coarse-grained.
  • Fine-Grained: Utilizza l'iniezione progressiva di rumore (variazione del rumore di processo) per raffinare i dettagli locali.
  • Coarse-Grained: Utilizza diverse sorgenti di rumore iniziale per esplorare le variazioni semantiche globali.
  • Ciò impedisce al modello di incastrarsi in ottimi locali focalizzati esclusivamente sui dettagli.
• Intra-Group Schedule: Per aumentare la diversità all'interno dei gruppi fine-grained senza un eccessivo carico computazionale, il metodo impiega un rollout consapevole del progresso con clustering.
  • Esegue una predizione intermedia a singolo step per valutare lo stato.
    la campioni vengono raggruppati nello spazio latente per selezionare gruppi rappresentativi (uno per il raffinamento dei dettagli, uno per la percezione coarse), garantendo diversità pur riducendo l'overhead computazionale.

B. Consistent Policy Gradient Optimization (CPGO)

Questo meccanismo affronta la distorsione dell'Exploitation preservando la coerenza intrinseca del modello.

• Insight Centrale: Invece di imitare puramente traiettorie SDE stocastiche, CPGO impone la fedeltà della predizione a singolo step tramite vincoli ODE.
• Implementazione: Allinea la predizione dell'attuale modello al tempo $t$ con la predizione del vecchio modello al tempo $t-1$ utilizzando un solver basato su ODE.
  • La funzione obiettivo aggiunge un termine di coerenza: $J_{CPGO} = -\mathbb{E}[\|\pi^{ODE}_{\theta}(x_t, t) - \pi^{ODE}_{\theta_{old}}(x_{t-1}, t-1)\|^2]$.
• Effetto: Questo vincola l'ottimizzazione a seguire traiettorie più fluide e coerenti, impedendo al modello di imitare campioni allucinati interpolati dalla distribuzione pre-trained.

C. Visual Hallucination Evaluator (VH-Evaluator)

Gli autori introducono una nuova metrica di valutazione che combina metriche oggettive di basso livello (es. varianza di Laplacian, rilevamento di pattern a griglia) e valutazioni di alto livello tramite modelli linguistici multimodali (MLLM) pre-trained per quantificare specificamente la sovra-ottimizzazione dei dettagli e le allucinazioni percettive.

3. Contributi Chiave

1. Analisi delle Cause delle Allucinazioni: Il paper fornisce un'analisi preliminare che attribuisce le allucinazioni visive nel RFT basato su flow a due specifiche scelte di design: il dominio di esplorazione limitato nei rollout SDE (che porta alla sovra-ottimizzazione dei dettagli) e la distorsione del campo vettoriale causata dall'imitazione della traiettoria nei gradienti della policy.
2. Dynamic Granularity Rollout (DGR): Un nuovo meccanismo di scheduling che bilancia dinamicamente l'esplorazione semantica globale e il raffinamento dei dettagli locali, evitando che il modello si concentri esclusivamente su artefatti fine-grained.
3. Consistent Policy Gradient Optimization (CPGO): Una formulazione del gradiente della policy che impone la coerenza temporale e l'allineamento con un prior stabile, mitigando le incoerenze introdotte dall'imitazione di traiettorie stocastiche.
4. Valutazione Comprensiva: L'introduzione del VH-Evaluator e di estesi esperimenti che dimostrano una riduzione significativa delle allucinazioni attraverso molteplici metriche.

4. Risultati Sperimentali

Estesi esperimenti sono stati condotti sul modello FLUX.1-dev utilizzando il dataset HPDv2 e il benchmark HPS-v2.

• Riduzione delle Allucinazioni: ConsistentRFT ha ottenuto una riduzione media del 49% nelle allucinazioni percettive di basso livello (es. pattern a griglia, rumore) e del 38% nelle allucinazioni percettive di alto livello rispetto ai metodi baseline.
• Generalizzazione Out-of-Domain: A differenza dei baseline che spesso sacrificano le prestazioni out-of-domain per guadagni in-domain (es. MixGRPO migliora l'HPS ma riduce il punteggio CLIP del 10.8%), ConsistentRFT ha migliorato le metriche out-of-domain. Nello specifico, ha mostrato un miglioramento del 5.1% nei punteggi complessivi su FLUX1.dev, mentre il baseline è diminuito dello 0.4%.
• Performance vs. SOTA: Il metodo ha superato i baseline RFT allo stato dell'arte (varianti di DDPO, DPO, GRPO) nei punteggi di preferenza umana (ImageReward, PickScore) e nella qualità estetica, mantenendo l'allineamento semantico.
• Efficienza: Il metodo è compatibile con i gradienti della policy standard e offre accelerazioni. Ad esempio, l'Intra-Group DGS ha ridotto il tempo di training di circa il 18.6% rispetto al DanceGRPO standard, mantenendo o migliorando le performance.
• Campionamento a Pochi Step (Few-Step Sampling): Il metodo ha dimostrato una stabilità superiore negli scenari di campionamento a pochi step, dove altri metodi tipicamente degradano.

5. Significato e Rivendicazioni

Il paper sostiene che ConsistentRFT offra una soluzione generale al persistente problema delle allucinazioni visive nel reinforcement fine-tuning basato su flow. Decoupling (disaccoppiando) l'ottimizzazione della semantica globale e dei dettagli locali (tramite DGR) e imponendo la coerenza del campo vettoriale (tramite CPGO), il framework permette ai modelli di allinearsi alle preferenze umane senza sacrificare l'integrità strutturale e il realismo delle immagini generate.

Gli autori presentano questo lavoro come un'indagine preliminare sulle cause specifiche delle allucinazioni nella fase di post-training dei modelli flow. Essi sottolineano che, sebbene il loro metodo fornisca una robusta strategia di mitigazione, la sfida delle allucinazioni visive richiede anche modelli di reward più potenti e scalabili, che prevedono che la comunità svilupperà in futuro. Il lavoro non pretende di risolvere tutti i problemi di allucinazione, ma dimostra un passo significativo avanti nel bilanciare l'allineamento delle preferenze con la fedeltà visiva.