Towards Robust Sequential Decomposition for Complex Image Editing

Riassunto Tecnico: Verso una Decomposizione Sequenziale Robusta per la Modifica di Immagini Complesse

Enunciato del Problema
I recenti modelli generativi visivi hanno fatto progredire la modifica di immagini ad alta fedeltà guidata da istruzioni umane. Tuttavia, questi modelli faticano con istruzioni complesse che coinvolgono operazioni di modifica combinatorie o dipendenze inter-step. Il documento identifica due paradigmi canonici che falliscono sotto tale complessità:

1. Modifica in Unico Turno: Tentativi di applicare tutte le modifiche istruite in un'unica passata. Questo spesso non riesce a interpretare correttamente istruzioni complesse, portando a modifiche incomplete o errate.
2. Modifica Sequenziale: Scompone i compiti in passaggi più semplici ma soffre di errori cumulativi. Le imprecisioni introdotte nei passaggi iniziali si propagano attraverso quelli successivi, degradando la fedeltà del risultato finale.

La sfida fondamentale consiste nel bilanciare i vantaggi della decomposizione delle istruzioni in più passaggi con gli svantaggi dell'accumulo di errori.

Metodologia
Gli autori propongono una soluzione robusta all'interno di un framework di modifica in contesto unificato, dove un modello multimodale genera sequenze intercalate di istruzioni decomposte e delle relative immagini modificate, condizionandosi sull'intera storia degli input contestuali.

• Pipeline di Dati Sintetici: Per colmare la mancanza di dati decomposti di alta qualità per compiti complessi, gli autori hanno sviluppato una pipeline in Blender.

  • Inizializzazione della Scena: Genera proceduralmente scene 3D con oggetti e materiali casuali.
  • Composizione della Catena di Modifica: Applica una sequenza di 10 operazioni di modifica atomiche (ad esempio, aggiunta di oggetti, rimozione, traslazione, rotazione, cambio di colore/materiale, cambio di punto di vista, cambio di sfondo).
  • Iniezione di Dipendenze Inter-Step: Introduce complessità richiedendo che le operazioni successive facciano riferimento ai risultati delle modifiche precedenti (ad esempio, "sposta l'oggetto che è stato ricolorato" o "aggiungi un libro dove c'era originariamente la sedia").
  • Verità Terrena: Poiché le operazioni sono deterministiche, la pipeline produce sequenze decomposte e immagini target perfettamente accurate, consentendo la curatela di 94.000 sequenze di modifica di alta qualità (60K indipendenti, 34K dipendenti).

• Addestramento del Modello: Il framework utilizza BAGEL, un modello multimodale unificato. Il modello viene fine-tuned con tre obiettivi:

  1. Decomposizione delle Istruzioni: Previsione di istruzioni decomposte tra immagini intermedie data l'istruzione complessa e l'immagine sorgente.
  2. Modifica in Contesto: Generazione di immagini intermedie e target basate su coppie testo-immagine decomposte, utilizzando un obiettivo di flusso rettificato.
  3. Modifica in Unico Turno: Mantenimento della capacità di modificare dalla sorgente al target in un singolo passaggio utilizzando l'istruzione complessa.

• Paradigmi di Inferenza: Gli autori implementano e confrontano tre paradigmi durante l'inferenza:

  1. Modifica in Unico Turno: Modifica diretta dalla sorgente al target.
  2. Modifica Sequenziale a Contesto Completo (FCSE): Scompone il compito in $K$ passaggi, dove ogni passaggio presta attenzione a tutti i contesti di testo e immagine precedenti.
  3. Modifica Sequenziale Guidata dal Contesto (CGSE): Un paradigma innovativo che mitiga l'accumulo di errori. Calcola una velocità di base ($v_d$) dall'immagine sorgente e dall'intera sequenza di istruzioni decomposte, quindi applica un termine separato di "guida contestuale" derivato dai risultati delle modifiche precedenti. Ciò permette al modello di modulare l'influenza delle modifiche storiche tramite un coefficiente ($\gamma_{ctx}$), impedendo che errori iniziali corrompano i passaggi successivi.

• Trasferimento Sim-to-Real: Per generalizzare alle immagini del mondo reale, il modello viene co-addestrato su una miscela di sequenze decomposte sintetiche e coppie di modifica in unico turno del mondo reale (da Pico-Banana).

Risultati Chiave

• Dominio Sintetico:

  • La modifica sequenziale zero-shot causa un grave degrado delle prestazioni nei modelli all'avanguardia (ad esempio, GPT-4o, Gemini 2.5 Flash Image).
  • Il fine-tuning su dati sintetici abilita una decomposizione sequenziale robusta. La Modifica Sequenziale Guidata dal Contesto (CGSE) supera costantemente le baseline a unico turno e la Modifica Sequenziale a Contesto Completo, in particolare su compiti con dipendenze inter-step.
  • La CGSE ottiene i migliori punteggi valutati da GPT e mantiene la robustezza nelle metriche di similarità (DINO-I/DINO-D) anche all'aumentare della complessità del compito (lunghezza della catena e rapporto di dipendenza).
  • L'aumento dei passaggi di decomposizione (fino a $K=5$) generalmente produce ulteriori miglioramenti.

• Generalizzazione Sim-to-Real:

  • Il co-addestramento con dati del mondo reale permette alle competenze di decomposizione apprese da compiti sintetici di trasferirsi efficacemente.
  • Sul benchmark Complex-Edit, il modello co-addestrato con Modifica Guidata dal Contesto a 2 passaggi ottiene un Seguimento delle Istruzioni (IF) e una Preservazione dell'Identità (IP) superiori rispetto alle baseline a unico turno e ai modelli addestrati solo su dati sintetici.
  • Gli studi di preferenza umana confermano che l'approccio CGSE a 2 passaggi è preferito per il seguimento delle istruzioni e la preservazione dell'identità, sebbene mostri un leggero compromesso nella qualità percettiva rispetto alla modifica in unico turno su immagini reali.

Significato e Affermazioni
Il documento afferma che una decomposizione sequenziale robusta è raggiungibile addestrando su sequenze di modifica decomposte di alta qualità e integrandole con un paradigma di inferenza ben progettato che gestisce l'accumulo di errori. Nello specifico:

• La Decomposizione Sequenziale è Fattibile: Contrariamente alla convinzione che l'esecuzione sequenziale porti inevitabilmente a risultati a bassa fedeltà a causa dell'accumulo di errori, gli autori dimostrano che, con un addestramento appropriato e il paradigma Guidato dal Contesto, la decomposizione produce miglioramenti robusti anche all'aumentare della complessità del compito.
• Trasferimento Sim-to-Real: Le competenze apprese da compiti sintetici (in particolare la capacità di ragionare sulle dipendenze e decomporre le istruzioni) possono essere trasferite con successo ai domini del mondo reale attraverso il co-addestramento, migliorando la modifica di immagini complesse su domini più ampi.
• Utilità del Framework: Il framework di modifica in contesto offre una prospettiva unificata per studiare e confrontare diversi paradigmi di modifica, rivelando che le strategie guidate dal contesto sono essenziali per bilanciare i vantaggi della decomposizione con i rischi della propagazione degli errori.

Gli autori concludono che, sebbene il loro lavoro si concentri principalmente sulla coerenza semantica e sul seguimento delle istruzioni, il miglioramento della qualità percettiva delle immagini modificate sequenzialmente nel mondo reale rimane un ambito per lavori futuri.