PaCo-RL: Advancing Reinforcement Learning for Consistent Image Generation with Pairwise Reward Modeling

1. Il Problema: Generazione di Immagini Coerenti

La generazione di immagini coerenti (Consistent Image Generation) è fondamentale per applicazioni come la narrazione di storie, il design di personaggi e la pubblicità. L'obiettivo è preservare fedelmente identità, stili e coerenza logica attraverso più immagini generate da un singolo prompt o durante l'editing.

Le sfide principali affrontate dagli approcci tradizionali (addestramento supervisionato) sono:

• Mancanza di dataset: Non esistono dataset su larga scala che catturino specificamente la "coerenza visiva" tra più immagini.
• Complessità della percezione umana: Modellare le preferenze umane soggettive sulla coerenza è estremamente difficile.
• Limiti dei modelli attuali: Gli approcci esistenti faticano a bilanciare la fedeltà al prompt con la preservazione dell'identità e dello stile in set di immagini multipli.

2. Metodologia: PaCo-RL

Gli autori propongono PaCo-RL, un framework completo basato sull'Apprendimento per Rinforzo (RL) che risolve i problemi sopra citati attraverso due componenti principali: un modello di ricompensa specializzato e un algoritmo di ottimizzazione efficiente.

A. PaCo-Reward: Modello di Ricompensa a Coppie (Pairwise Reward Modeling)

Per guidare l'RL, è necessario un modello di ricompensa in grado di valutare la coerenza visiva.

• PaCo-Dataset: Gli autori hanno creato un dataset su larga scala (54.624 coppie di immagini annotate) sintetizzando automaticamente griglie di immagini e applicando una strategia di accoppiamento di sottosezioni. Il dataset copre 6 categorie principali (es. generazione di personaggi, stili di design, progressioni) e include annotazioni umane e ragionamenti (Chain-of-Thought) generati da LLM.
• Architettura Generativa: A differenza dei modelli che usano testine di regressione per output scalari, PaCo-Reward riformula la valutazione della coerenza come un compito generativo.
  • Il modello (basato su Qwen2.5-VL) riceve due immagini e un prompt.
  • Deve generare una risposta binaria ("Sì" o "No") seguita da un ragionamento (CoT).
  • La probabilità di generare il token "Sì" funge da punteggio di coerenza.
  • Questo approccio si allinea nativamente con la previsione del prossimo token dei modelli VLM (Vision-Language Models), migliorando l'efficienza e l'interpretabilità.

B. PaCo-GRPO: Algoritmo di Ottimizzazione Efficiente

Per addestrare i modelli di generazione (come FLUX.1) in modo efficiente, viene introdotto PaCo-GRPO, una variante di Group Relative Policy Optimization (GRPO) con due strategie chiave:

1. Training a Risoluzione Disaccoppiata (Resolution-Decoupled Training):
   • Durante l'addestramento RL, il modello genera immagini a bassa risoluzione (es. 512x512) per calcolare le ricompense, mentre mantiene la generazione ad alta risoluzione (es. 1024x1024) durante l'inferenza.
   • Questo riduce drasticamente il costo computazionale (che scala quadraticamente con la risoluzione) senza compromettere la qualità finale, sfruttando il fatto che anche immagini di bassa qualità forniscono segnali di ricompensa affidabili.
2. Aggregazione Multi-Ricompensa "Log-Tamed":
   • L'ottimizzazione RL deve bilanciare più obiettivi (es. coerenza visiva vs. allineamento al prompt). Spesso, una ricompensa domina le altre, destabilizzando l'addestramento.
   • PaCo-GRPO utilizza una trasformazione logaritmica sulle ricompense con alta varianza (coefficiente di variazione elevato). Questo comprime i valori estremi, prevenendo la "dominanza della ricompensa" e garantendo un'ottimizzazione stabile e bilanciata.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su due task principali: Text-to-ImageSet (generazione di set di immagini coerenti) e Image Editing (modifica di immagini mantenendo l'identità).

• Valutazione del Modello di Ricompensa (PaCo-Reward):

  • Su benchmark come ConsistencyRank e EditReward-Bench, PaCo-Reward supera significativamente i modelli esistenti (inclusi CLIP, DreamSim e altri VLM di grandi dimensioni).
  • Mostra una correlazione con le preferenze umane superiore del 8.2% - 15.0% rispetto ai baselines.
  • Dimostra che i modelli VLM generici non sono allineati con la percezione umana della coerenza senza un addestramento specifico.

• Valutazione delle Prestazioni RL (PaCo-GRPO):

  • Text-to-ImageSet: Il modello FLUX.1-dev addestrato con PaCo-RL ottiene prestazioni state-of-the-art, superando i baselines open-source del 10.3% - 11.7% nelle metriche di coerenza, avvicinandosi alle prestazioni di modelli proprietari chiusi (come GPT-4).
  • Image Editing: Migliora significativamente la coerenza semantica (SC) e la qualità del prompt (PQ) su GEdit-Bench, mantenendo la qualità percettiva dell'immagine.
  • Efficienza: L'uso del training a bassa risoluzione riduce i tempi di addestramento quasi della metà (da 12h a 6h in alcuni esperimenti) mantenendo o migliorando le prestazioni finali.
  • Stabilità: La strategia "Log-tamed" previene il collasso del modello (dove si generano immagini identiche e di bassa qualità) mantenendo il rapporto tra le ricompense sotto controllo (< 1.8).

4. Contributi Chiave

1. PaCo-Reward: Un nuovo paradigma di modellazione della ricompensa basato su confronti a coppie e generazione di token, che supera i limiti dei modelli di regressione scalare per la valutazione della coerenza.
2. PaCo-GRPO: Un algoritmo RL che combina training a risoluzione ridotta e aggregazione logaritmica delle ricompense, risolvendo i colli di bottiglia computazionali e di stabilità tipici dell'RL per la generazione di immagini.
3. PaCo-Dataset: Un dataset su larga scala e diversificato, costruito automaticamente e annotato da umani, specifico per la valutazione della coerenza visiva.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo verso la generazione di immagini coerenti su larga scala.

• Praticità: Dimostra che l'RL può essere applicato in modo efficiente a task complessi di generazione multi-immagine, rendendo fattibili applicazioni come la creazione di fumetti, storyboard e design di prodotti.
• Scalabilità: Le tecniche di disaccoppiamento della risoluzione e di stabilizzazione delle ricompense offrono soluzioni scalabili che possono essere integrate in futuri framework di generazione.
• Allineamento Umano: Sottolinea l'importanza di modelli di ricompensa specializzati per catturare le sfumature della percezione umana, andando oltre la semplice allineamento testo-immagine o la valutazione estetica generica.

In sintesi, PaCo-RL fornisce una soluzione pratica e scalabile per generare set di immagini che mantengono identità, stili e contesti coerenti, superando le limitazioni degli approcci supervisionati tradizionali.