Riepilogo Tecnico: Scalare la Generazione di Immagini Multi-Riferimento con l'Ottimizzazione del Reward Dinamico

Definizione del Problema

Sebbene la generazione di immagini personalizzate si sia evoluta significativamente, la Generazione di Immagini Multi-Riferimento (MRIG) rimane un compito complesso. La MRIG richiede l'integrazione efficace di più immagini di riferimento di tipi diversi (ad esempio, soggetto, posa, stile, illuminazione, sfondo) in un unico output coerente. La ricerca attuale è ostacolata da due limitazioni primarie:

1. Valutazione Insufficiente: I benchmark attuali si concentrano tipicamente su compiti semplici con un numero limitato di immagini di riferimento o singoli tipi di riferimento. Mancano della complessità necessaria per valutare scenari che richiedono l'integrazione di numerosi e diversi riferimenti, e spesso si affidano a metriche a grana grossa che non riescono a valutare le prestazioni attraverso specifici tipi di riferimento.
2. Degradazione delle Prestazioni nei Modelli Open-Source: I modelli open-source mainstream faticano negli scenari MRIG complessi. Sebbene operino adeguatamente con pochi riferimenti, le loro prestazioni degradano rapidamente all'aumentare del numero di immagini di riferimento di tipo misto, creando un divario significativo rispetto ai modelli closed-source allo stato dell'arte (SOTA).

Metodologia: Framework DyRef

Per affrontare queste sfide, gli autori propongono DyRef, un framework di addestramento a due stadi progettato per scalare le capacità MRIG attraverso l'ottimizzazione dinamica del reward.

Stadio I: Supervised Fine-Tuning (SFT)

Il primo stadio dotata il modello delle capacità di base per gestire compiti MRIG complessi.

• Baseline: Gli autori utilizzano Qwen-Image-Edit-2511 (un backbone dual-stream MMDiT) come baseline di addestramento.
• Dati: Circa 14.000 campioni di addestramento sono costruiti utilizzando una pipeline che genera immagini target tramite modelli Text-to-Image (T2I) e deriva le corrispondenti immagini di riferimento (soggetto, sfondo, stile, illuminazione, posa) tramite modelli di segmentazione e di editing.
• Addestramento: Il modello viene sottoposto a fine-tuning utilizzando LoRA con Flow Matching loss per apprendere la mappatura fondamentale tra input multi-riferimento complessi e output target.

Stadio II: Ottimizzazione del Reward Dinamico

Il secondo stadio impiega l'Apprendimento per Rinforzo (specificamente Flow-GRPO) per allineare il modello alle preferenze umane e migliorare le prestazioni sui campioni difficili. Questo stadio introduce due componenti innovative:

1. Difficulty-aware Advantage Reweighting (DAR):

   • Motivazione: L'addestramento RL standard tende a essere dominato da campioni più semplici (meno riferimenti), mentre i campioni complessi (molti riferimenti di tipo misto) ricevono segnali di apprendimento insufficienti a causa di punteggi di reward iniziali più bassi.
   • Meccanismo: DAR regola dinamicamente l'obiettivo di ottimizzazione assegnando pesi ai gruppi in base al punteggio di reward medio dei campioni all'interno di un gruppo. Aumenta il peso dei gruppi con prestazioni inferiori (quelli con numerosi riferimenti di tipo misto) per incoraggiare il modello a concentrarsi su questi casi difficili, evitando al contempo l'overfitting su campioni semplici e performanti.

2. Discriminative Reward Scaling (DRS):

   • Motivazione: I segnali di reward provenienti dagli encoder visivi standard (ad esempio, CLIP, SigLIPv2) mostrano spesso una distribuzione ristretta, dove campioni di alta qualità e di bassa qualità ricevono punteggi simili, indebolendo i segnali di gradiente per gli aggiornamenti della policy.
   • Meccanismo: DRS applica una funzione di trasformazione ai punteggi di reward grezzi per ampliare le differenze di reward intra-gruppo. Questa amplificazione assicura che i campioni superiori ricevano reward significativamente più alti rispetto a quelli inferiori, facilitando un'ottimizzazione della policy più efficace.

Segnali di Reward

Il framework utilizza un sistema di reward ibrido:

• Allineamento dello Stile: Utilizza CSD (una metrica di similarità dello stile) per guidare i compiti relativi allo stile.
• Consistenza Semantica: Utilizza SigLIPv2 (o CLIP) per misurare la consistenza semantica tra le immagini generate e le immagini target.

Contributi Chiave

1. OmniRef-Bench: Gli autori introducono un nuovo benchmark composto da 395 istanze annotate da esperti che coprono cinque tipi di riferimento (soggetto, sfondo, stile, illuminazione, posa) e fino a quattro tipi di riferimento simultanei. Presenta una strategia di valutazione ibrida che combina metriche quantitative oggettive e valutazioni basate su Modelli Linguistici Multimodali (MLLM) con criteri granulari per ogni tipo di riferimento.
2. Framework DyRef: Un approccio di addestramento a due stadi che riesce a colmare il divario di prestazioni tra i modelli open-source e quelli closed-source nei compiti MRIG complessi, integrando l'SFT con DAR e DRS.
3. Validazione Empirica: Esperimenti estesi dimostrano che DyRef migliora significativamente i modelli open-source su OmniRef-Bench e generalizza bene sui benchmark di editing di singola immagine.

Risultati Sperimentali

• Performance su OmniRef-Bench: DyRef supera significativamente i modelli open-source esistenti (ad esempio, OmniGen2, DreamOmni2, BAGEL) di almeno il 12% nelle metriche oggettive e del 29% nelle valutazioni MLLM. In particolare, raggiunge risultati comparabili ai modelli closed-source SOTA come Nano Banana Pro e Seedream 4.5, eccellendo specialmente nelle metriche relative a stile e posa.
• Generalizzazione: Il metodo migliora le prestazioni sui benchmark di editing di singola immagine (ImgEdit e DreamBench++), indicando che i miglioramenti nelle capacità multi-riferimento non compromettono le abilità di base di editing delle immagini.
• Robustezza: L'approccio mostra efficacia attraverso diverse scale di modelli (testato su modelli da 9B e 20B di parametri) e mantiene le prestazioni su tipi di riferimento non visti.
• Studio Utente: Uno studio con esperti umani conferma che la valutazione basata su MLLM si allinea bene con le preferenze umane (correlazione di Pearson di 0.9) e che le immagini generate da DyRef si classificano elevatamente rispetto ai baseline closed-source.

Significato e Rivendicazioni

Il documento sostiene che il contributo principale di questo lavoro sia affrontare la critica degradazione delle prestazioni osservata nei modelli open-source all'aumentare della complessità e del numero di riferimenti. Introducendo OmniRef-Bench, gli autori forniscono uno strumento necessario per valutare rigorosamente gli scenari MRIG complessi, rivelando i limiti degli attuali metodi. Attraverso DyRef, dimostrano che l'ottimizzazione dinamica del reward (specificamente DAR e DRS) può mitigare efficacementamente la varianza delle prestazioni attraverso diverse scale di riferimento.

Gli autori posizionano il loro lavoro come un passo verso la rendere l'accessibile tramite modelli open-source la generazione di immagini multi-riferimento ad alta fedeltà e complessa, il che è cruciale per applicazioni nel design visivo professionale e nella pubblicità, dove l'integrazione coerente di vari elementi visivi è essenziale. Riconoscono che, sebbene DyRef riduca significativamente il divario, la MRIG complessa rimane un problema aperto, in particolare per quanto riguarda il seguire le istruzioni e il disaccoppiamento delle caratteristiche (feature disentanglement) in scenari estremi.