Riepilogo Tecnico: InsertFuse

Definizione del Problema

L'inserimento di immagini guidato da un riferimento mira a posizionare un soggetto target proveniente da un'immagine di riferimento in una regione designata di una scena sorgente, preservando al contempo l'aspetto e l'identità del soggetto e adattandone la scala e il posizionamento spaziale al nuovo contesto. Sebbene i recenti progressi nei modelli di diffusione e nel flow matching abbiano migliorato la generazione e l'editing di immagini in generale, la costruzione di un modello unificato capace di gestire diverse categorie di inserimento (ad es., accessori, indumenti, esseri umani, animali, oggetti generici) rimane una sfida significativa.

Diverse categorie di inserimento richiedono strategie di generazione e obiettivi di modellazione sostanzialmente differenti. Ad esempio, l'inserimento di accessori richiede la preservazione di texture fini, il virtual try-on richiede una complessa deformazione non rigida e l'inserimento di esseri umani dà priorità alla coerenza dell'identità. L'addestramento diretto di un singolo modello su dati di categorie miste introduce segnali di ottimizzazione contrastanti, che possono indebolire le capacità specializzate richieste per ogni compito. Sebbene approcci recenti come il Mixture-of-Transformers (MoE) tentino di instradare gli input verso rami specializzati, essi si affidano ancora all'ottimizzazione congiunta all'interno di un processo di addestramento unificato, lasciando i conflitti specifici per categoria solo parzialmente risolti. Inoltre, i metodi esistenti spesso mancano di un controllo spaziale preciso e faticano a bilanciare la supervisione tra la piccola regione di inserimento e il grande sfondo, portando a un'ottimizzazione dominata dallo sfondo o a problemi di prestazioni dipendenti dalla scala.

Metodologia: InsertFuse

InsertFuse propone un framework unificato che scinde l'apprendimento dell'expertise specifica per categoria dalla consolidazione delle capacità cross-categoria. Il framework opera in due fasi distinte e introduce tre componenti tecniche chiave per migliorare il controllo spaziale e la fedeltà del riferimento.

1. Framework di Addestramento a Due Stadi

• Stadio I: Apprendimento dell'Esperto Specifico per Categoria. Il framework inizializza molteplici esperti da un modello di editing di immagini pre-addestrato con flow-matching (specificamente Qwen-Image-Edit-2511). Ogni esperto è addestrato indipendentemente su una specifica categoria di inserimento (accessorio, animale, indumento, oggetto generico, essere umano). Ciò consente a ciascun esperto di acquisire conoscenze specializzate dalla propria distribuzione di dati senza interferenze da altre categorie.
• Stadio II: Consolidamento Cross-Categoria tramite IOPD. Un modello "studente" unificato viene inizializzato dallo stesso backbone pre-addestrato. Tutti gli esperti specifici per categoria sono congelati. Lo studente viene addestrato utilizzando l'Insertion On-Policy Distillation (IOPD). In questo processo, lo studente genera le proprie traiettorie (rollout). Per ogni stato visitato dallo studente, l'esperto corrispondente congelato (selezionato in base all'etichetta della categoria) fornisce un target di velocità. Questa distillazione trasferisce i comportamenti di inserimento specializzati e la fedeltà del riferimento degli esperti nel singolo modello studente, mitigando l'interferenza causata dall'addestramento congiunto diretto.

2. Componenti Tecniche Chiave

Per dotare gli esperti e lo studente di un controllo preciso, InsertFuse introduce tre moduli innovativi:

• Token-Aligned Geometry Conditioning (TAGC):
  Inveve di concatenare semplicemente una maschera binaria con gli input visivi (il che richiede al modello di apprendere implicitamente la corrispondenza maschera-token), il TAGC mappa esplicitamente la maschera di inserimento sulla griglia dei token visivi. Costruisce una rappresentazione geometrica compatta $G(M)$ contenente la maschera, una trasformata della distanza con segno e una mappa di prossimità del bordo. Un encoder geometrico leggero estrae le feature che vengono poi proiettate e iniettate in modo residuo in entrambi i rami latenti del target e del contesto sorgente. Ciò stabilisce una corrispondenza spaziale esplicita senza aggiungere ulteriori input di maschera simili a immagini.

• Region-Balanced Flow Matching (RBFM):
  Gli obiettivi standard di flow-matching mediano uniformemente gli errori di predizione, che possono essere dominati dalla grande regione dello sfondo, lasciando i piccoli soggetti di inserimento sotto-supervisionati. RBFM affronta questo problema normalizzando separatamente gli errori di predizione all'interno e all'esterno della regione di inserimento. Definisce termini di perdita separati per la regione di inserimento ($\ell_{ins}$) e per lo sfondo ($\ell_{bg}$), ciascuno normalizzato dalle rispettive aree effettive. Ciò impedisce alla forza della supervisione di scalare con la dimensione dell'inserimento e garantisce un'ottimizzazione bilanciata sia per il soggetto che per lo sfondo.

• Reference Classifier-Free Guidance (Reference CFG):
  Per rafforzare la preservazione dell'aspetto e dell'identità del soggetto di riferimento, il framework introduce la Reference CFG. Durante l'addestramento dell'esperto, la condizione di riferimento viene rimossa casualmente con una probabilità $p_{drop}$. In fase di inferenza, il modello calcola la differenza tra la predizione con il riferimento e la predizione senza di esso (mantenendo fissi le condizioni di scena e geometria). Questa differenza isola la direzione della velocità indotta dal riferimento, che viene poi amplificata per guidare la generazione. Questa supervisione potenziata viene trasferita allo studente tramite IOPD, permettendo al modello unificato di mantenere una forte coerenza del riferimento senza la necessità di un ulteriore ramo di CFG durante l'inferenza.

Contributi Chiave

1. Framework Unificato con Apprendimento Decoupled: La proposta di InsertFuse, un framework che separa l'apprendimento dell'expertise specifica per categoria dal consolidamento delle capacità cross-categoria. Utilizza l'Insertion On-Policy Distillation (IOPD) per trasferire le policy specializzate in un singolo studente, mitigando efficacementamente l'interferenza inerente all'addestramento congiunto diretto.
2. Controllo Spaziale e Regionale Potenziato: L'introduzione di Token-Aligned Geometry Conditioning (TAGC) per l'allineamento esplicito maschera-token e di Region-Balanced Flow Matching (RBFM) per normalizzare gli errori di supervisione, garantendo prestazioni stabili attraverso oggetti di diverse scale e prevenendo la dominanza dello sfondo.
3. Rafforzamento della Fedeltà del Riferimento: La proposta di Reference CFG, che isola e amplifica la guida visiva del riferimento sotto condizioni di scena fisse, migliorando la preservazione di aspetto e identità.
4. Prestazioni State-of-the-Art: Esperimenti estesi che dimostrano come InsertFuse superi i metodi esistenti di inserimento guidato dal riferimento e i modelli di editing di immagini unificati su molteplici metriche.

Risultati Sperimentali

Gli autori hanno valutato InsertFuse sul benchmark pubblico AnyInsertion e su un set di test multi-categoria personalizzato che copre accessori, animali, indumenti, oggetti generici e umani.

• Prestazioni Quantitative: InsertFuse ha raggiunto risultati state-of-the-art nella maggior parte delle metriche. Sul benchmark AnyInsertion, ha ottenuto 0.7838 (DINO-I) e 0.9156 (CLIP-I), indicando una forte fedeltà del riferimento. Sul set di test multi-categoria, ha ottenuto 0.7148 (DINO-I) e 0.9020 (CLIP-I). Ha inoltre dimostrato una qualità di ricostruzione superiore con alti valori di PSNR (24.26/24.40) e SSIM, e bassi punteggi LPIPS e FID rispetto ai baseline come AnyDoor, Insert Anything, A2-Edit e modelli general-purpose come FLUX.1 Kontext e Qwen-Image-Edit.
• Prestazioni Qualitative: I confronti visivi mostrano che InsertFuse preserva meglio i dettagli specifici del riferimento (ad es., texture, loghi, pattern) e si adatta più naturalmente alla geometria target, alla posa e alle relazioni di occlusione rispetto ai metodi concorrenti, che spesso soffrono di artefatti strutturali o deriva dell'identità.
• User Study: In uno studio utente multi-way, InsertFuse ha ricevuto le percentuali di preferenza più elevate (51.8% per la Fedeltà del Riferimento, 58.2% per la Qualità dell'Inserimento e 55.4% per la Qualità Complessiva) in tutti i criteri.
• Studi di Ablazione:
  • TAGC ha migliorato significativamente l'allineamento geometrico e le transizioni di bordo rispetto alla concatenazione della maschera di base o all'iniezione grezza.
  • RBFM ha fornito guadagni costanti rispetto al flow matching globale standard, particolarmente per piccole regioni di inserimento, prevenendo la dominanza dello sfondo.
  • Reference CFG ha migliorato le metriche orientate al riferimento e ha preservato le texture fini.
  • IOPD ha dimostrato di consolidare efficacemente le capacità degli esperti, superando significativamente l'addestramento congiunto diretto (che soffriva di interferenza del gradiente cross-categoria, come evidenziato dalle similitudini del coseno dei gradienti negativi tra alcune coppie di categorie come human-garment).

Significato

Il paper sostiene che InsertFuse fornisca una soluzione unificata e pratica per diversi compiti di inserimento di immagini guidati da un riferimento. Decoupling l'acquisizione dell'expertise specializzata dal consolidamento delle capacità cross-categoria, il framework affronta il conflitto fondamentale nell'addestramento di modelli unificati per compiti eterogenei. I componenti proposti (TAGC, RBFM, Reference CFG) offrono una guida geometrica esplicita e un'ottimizzazione regionale bilanciata, portando a prestazioni elevate nella preservazione del riferimento, nell'adattamento spaziale e nella qualità della generazione. I risultati suggeriscono che separare la specializzazione dal consolidamento sia una strategia più efficace rispetto al tentativo di risolvere i conflitti di categoria esclusivamente tramite l'ottimizzazione congiunta o meccanismi di routing.