Riepilogo Tecnico: DivRL – Disentangled Self-Similarity Rewards per la Generazione Diversificata Guidata da Soggetti

1. Problema: Il Paradosso Identità-Diversità

La generazione di immagini guidata da un soggetto mira a sintetizzare immagini inedite di un soggetto specifico preservando al contempo la sua identità visiva in contesti, pose e stili diversi. Nonostante l'elevata fedeltà degli attuali modelli basati sulla diffusione, esiste una tensione fondamentale nota come "Paradosso Identità-Diversità".

• Il Conflitto: I modelli che impongono fortemente la preservazione dell'identità spesso collassano nella generazione di immagini quasi identiche al riferimento, esibendo pose, punti di vista ed espressioni rigidi. Al contrario, i metodi che incoraggiano la diversità strutturale soffrono frequentemente di "deriva dell'identità" (identity drift), in cui il soggetto generato perde le sue caratteristiche distintive.
• Causa Radice: Questo paradosso sorge perché gli attributi visivi che definiscono l'identità sono intrecciati con la struttura spaziale dell'immagine di riferimento. Quando i modelli tentano di preservare l'identità, preservano involontariamente l'informazione strutturale intrecciata, riducendo la diversità. Quando tentano di alterare la struttura, rischiano di modificare gli attributi che definiscono l'identità.
• Limitazioni delle Ricompense Attuali: Le attuali ricompense basate sull'identità spesso incoraggiano il mimetismo strutturale, poiché i modelli possono massimizzare i punteggi di identità riproducendo l'esatta configurazione spaziale del riferimento invece di esplorare variazioni inedite e coerenti con l'identità.

2. Metodologia: Framework DivRL

Gli autori propongono DivRL, un framework di post-training basato sul Reinforcement Learning (specificamente Flow-GRPO) che ottimizza congiuntamente la coerenza dell'identità e la diversità strutturale. L'innovazione principale risiede nel disaccoppiamento di questi obiettivi attraverso design di ricompense specifici e una strategia di ottimizzazione "Explore-and-Suppress" (Esplora-e-Sopprimi).

2.1 Design della Ricompensa

Il framework utilizza due segnali di ricompensa distinti derivati da caratteristiche visive disaccobiate (specificamente utilizzando le caratteristiche visive MTG di un modello di similarità robusto):

1. Visual Semantic Matching (VSM) per la Coerenza dell'Identità:

   • Il VSM valuta la preservazione dell'identità calcolando matrici di similarità semantica e visiva tra l'immagine di riferimento e quella generata.
   • Identifica le regioni semanticamente coerenti (dove la similarità semantica supera una soglia $\tau_s$) e valuta la coerenza visiva all'interno di tali regioni.
   • Un punteggio VSM più elevato indica una migliore preservazione dell'identità del soggetto sotto condizioni variabili.

2. Negative Self-Similarity Measure (nSSM) per la Diversità Strutturale:

   • A differenza delle metriche di differenza delle caratteristiche globali, l'nSSM quantifica la diversità analizzando le relazioni interne delle caratteristiche visive.
   • Calcola le Matrici di Auto-Similarità (SSM) per le griglie di caratteristiche visive sia dell'immagine di riferimento che di quella generata. Queste matrici catturano l'organizzazione spaziale intrinseca delle parti dell'oggetto.
   • L'nSSM è definito come $1 - \rho$, dove $\rho$ è il coefficiente di correlazione di Pearson tra le SSM del riferimento e dell'immagine generata.
   • Logica: Una correlazione elevata implica layout strutturali simili (bassa diversità), mentre una correlazione inferiore corrisponde a contesti strutturalmente diversi (ad esempio, pose o punti di vista differenti). Massimizzare l'nSSM incoraggia il modello a esplorare configurazioni strutturalmente diverse.
   • Stabilizzazione: Per evitare artefatti testurizzati ad alta frequenza (una forma di reward hacking in cui il modello imita le correlazioni locali senza cambiare la struttura globale), le caratteristiche visive vengono ridimensionate tramite average pooling $2\times2$ prima di calcolare l'SSM.

2.2 Strategia di Ottimizzazione: "Explore-and-Suppress"

L'ottimizzazione diretta di entrambi gli obiettivi tramite pesatura lineare porta a un addestramento instabile e al reward hacking. Invece, DivRL impiega una strategia di ottimizzazione a gate in due fasi:

• Fase 1 (Explore): Il modello viene addestrato utilizzando l'nSSM come unica ricompensa. Ciò incoraggia il modello a esplorare liberamente lo spazio latente e a generare configurazioni strutturalmente diverse, rompendo la rigidità del modello pre-addestrato.
• Fase 2 (Suppress): Il modello viene addestrato utilizzando una formulazione di ricompensa a gate.
  • Il VSM agisce come un vincolo (gate).
  • Se il punteggio VSM di un campione è superiore a una soglia $s$, riceve la ricompensa nSSM.
  • Se il punteggio VSM è inferiore a $s$, viene applicata una penalità di perdita a cerniera quadratica: $R = \text{nSSM} - \lambda(s - \text{VSM})^2$.
  • Effetto: Questo trasforma la preservazione dell'identità da un obiettivo concorrente in un vincolo di fattibilità. Il modello è libero di esplorare strutture diverse finché queste rimangono all'interno della regione coerente con l'identità. Ciò disaccoppia l'ottimizzazione, permettendo a nSSM e VSM di migliorare congiuntamente senza che i gradienti di uno distruggano l'altro.

3. Contributi Chiave

Il documento delinea tre contributi primari:

1. Metrica nSSM: L'introduzione della misura di Negative Self-Similarity, una metrica nello spazio delle caratteristiche che quantifica la diversità strutturale analizzando le correlazioni di auto-similarità delle caratteristiche visive disaccobiate, piuttosto che le differenze di caratteristiche globali.
2. Strategia Explore-and-Suppress: Un approccio di ottimizzazione innovativo che disaccoppia l'esplorazione della diversità dalla preservazione dell'identità utilizzando una formulazione di ricompensa a gate, trasformando efficacementamente la preservazione dell'identità in un vincolo anziché in un obiettivo conflittuale.
3. Validazione Empirica: Dimostrazione sul benchmark DreamBench++ utilizzando il backbone Flux-Kontext, mostrando che il metodo migliora la diversità strutturale mantenendo una coerenza dell'identità competitiva. Gli autori notano che la formulazione nSSM e l'ottimizzazione in due fasi sono indipendenti dal backbone (backbone-agnostic).

4. Risultati Sperimentali

Il metodo è stato valutato sul benchmark DreamBench++ contro solidi baseline tra cui Flux-IP-Adapter, OmniGen, OmniGen2, UNO e PaCo-RL.

• Prestazioni Quantitative:

  • Equilibrio: DivRL raggiunge un equilibrio superiore tra coerenza dell'identità e diversità strutturale rispetto ai baseline. Mentre l'ottimizzazione del solo VSM migliora la coerenza ma danneggia la diversità, e l'nSSM da solo migliora la diversità ma danneggia la coerenza, l'approccio combinato mantiene un'alta coerenza (comparabile a Flux-Kontext) pur potenziando significativamente le metriche di diversità (MTG-nSSM, DINO-nSSM).
  • Seguimento del Prompt: Sorprendentemente, il metodo migliora l'allineamento con il prompt. Gli autori attribuiscono ciò alla rilassazione della "rigidità geometrica" indotta dal pre-addestramento; incoraggiando la diversità strutturale, il modello adatta il soggetto più efficacemente alle istruzioni contestuali del prompt.
  • Trade-off Coerenza vs. Diversità: I grafici del Rapporto di Coerenza rispetto alla Diversità-su-Coerenza mostrano che DivRL occupa la regione ad alta utilità dove entrambi gli obiettivi coesistono, superando le combinazioni lineari di ricompense che non riescono a migliorare entrambi simultaneamente.

• Osservazioni Qualitative:

  • I baseline come Flux-Kontext e PaCo-RL producono spesso output rigidi o non riescono a seguire le interazioni con il prompt (ad esempio, fallendo nel posizionare un soggetto in una scena specifica).
  • Altri modelli (ad esempio, OmniGen) producono output diversificati ma soffrono di deriva dell'identità.
  • DivRL genera con successo immagini con pose, punti di vista ed espressioni variegate, preservando al contempo i dettagli visivi fini del soggetto di riferimento.

5. Significato e Limitazioni

Significato:
Il documento identifica il mimetismo strutturale come un modo critico di fallimento nei metodi esistenti di generazione guidata da soggetti. Separando esplicitamente la diversità strutturale dalla preservazione dell'identità, DivRL risolve il Paradosso Identità-Diversità. La strategia "Explore-and-Suppress" dimostra che trattare l'identità come un vincolo di fattibilità anziché come un obiettivo concorrente permette ai modelli di esplorare spazi latenti di alta qualità dove identità e novità coesistono.

Limitazioni:
Gli autori riconoscono modestamente alcuni vincoli:

• Ambito della Metrica: La metrica della diversità (nSSM) si concentra sulle variazioni strutturali (posa, punto di vista) e potrebbe non catturare completamente la diversità semantica di alto livello o i cambiamenti compositivi complessi.
• Costo Computazionale: L'uso del Reinforcement Learning per il post-training introduce un carico computazionale aggiuntivo rispetto ai metodi puramente feed-forward.
• Vincoli di Input: Il modello base (Flux-Kontext) accetta un'unica immagine di riferimento, il che può limitare l'efficacia quando il riferimento contiene segnali di identità ambigui o occlusioni complesse.

Il documento conclude che i lavori futuri potrebbero affrontare queste limitazioni attraverso metriche di diversità più ricche, strategie di ottimizzazione più efficienti e condizionamento multi-riferimento.