From Inpainting to Layer Decomposition: Repurposing Generative Inpainting Models for Image Layer Decomposition

1. Il Problema

La decomposizione di un'immagine in livelli (separazione tra primo piano/oggetto e sfondo) è un compito fondamentale per l'editing creativo, il recupero di componenti e la generazione di opere d'arte stratificate. Tuttavia, decomporre un'immagine singola in livelli con potenziali occlusioni rimaste è estremamente difficile a causa della scarsità di metodi dedicati e di dataset annotati di alta qualità.
I modelli generativi esistenti tendono a essere specializzati in compiti singoli (come l'inpainting o la super-risoluzione) o richiedono un addestramento su larga scala con risorse computazionali e dati massicci (come nel caso di recenti approcci che fanno il full fine-tuning di modelli text-to-image). L'obiettivo è trovare un modo efficiente per adattare modelli pre-addestrati esistenti a questo nuovo compito senza doverli riaddestrare da zero.

2. Metodologia Proposta: "Outpaint-and-Remove"

Gli autori propongono un approccio innovativo che riformula la decomposizione di livelli come una combinazione di compiti di inpainting (riempimento) e outpainting (estensione), adattando un modello di inpainting basato su diffusione pre-addestrato.

Concetto Fondamentale

La decomposizione di livelli viene vista come un'estensione dell'inpainting:

• Sfondo: Richiede il riempimento delle regioni mascherate (come nell'inpainting classico) rimuovendo l'oggetto.
• Primo Piano: Richiede l'estrazione dell'oggetto e la ricostruzione delle parti occluse, estendendo il contenuto visibile oltre i bordi originali con un canale alfa (trasparenza). Questo è concettualmente simile all'outpainting con vincoli di trasparenza.

Architettura e Componenti Chiave

Il metodo, chiamato Outpaint-and-Remove, si basa su un modello DiT (Diffusion Transformer) pre-addestrato per l'inpainting (specificamente FLUX.1-Fill-dev) e introduce tre componenti principali per l'adattamento:

1. Tokenizzazione Contestuale Multi-Modale:

   • Per preservare i dettagli fini nello spazio latente, il modello utilizza mappe di bordo, segmentazione e profondità come input contestuali aggiuntivi.
   • Per gestire l'overhead computazionale derivante dall'aumento del numero di token, viene introdotto un modulo di Fusione Latente Multi-Modale ispirato ai transformer a linear attention. Questo riduce la complessità da quadratica $O(K^2)$ a lineare $O(KN)$, dove $N$ è un numero costante piccolo di token latenti.

2. Design del Contesto Immagine-Mask (Dual Context):

   • A differenza dei modelli di inpainting standard che usano solo il contesto dello sfondo mascherato, il modello proposto introduce un contesto doppio:
     • $c^f_{I-M}$: Contesto per il primo piano (guida l'estrazione e il recupero delle occlusioni).
     • $c^b_{I-M}$: Contesto per lo sfondo (guida la rimozione dell'oggetto).
   • Questo design aiuta il modello a bilanciare la preservazione delle informazioni esistenti e la generazione di nuovi contenuti, riducendo le "allucinazioni" (alterazioni non desiderate dell'oggetto).

3. Fine-Tuning Efficiente (PEFT) e Decodifica:

   • Viene utilizzato un protocollo di Parameter-Efficient Fine-Tuning (PEFT) con LoRA (Low-Rank Adaptation). Solo i livelli di proiezione in ingresso e i layer LoRA inseriti nei blocchi di attenzione e feed-forward vengono aggiornati, mantenendo i pesi del modello base congelati.
   • Il modello genera due output: uno in RGB per lo sfondo (usando il decoder VAE pre-addestrato) e uno in RGBA per il primo piano (richiedendo un encoder/decoder RGBA separato e finetunato).

Strategia di Dati

Il modello è addestrato esclusivamente su un dataset sintetico costruito da risorse open-source:

• Sfondo: Campionato da OpenImages.
• Primo Piano: Una strategia ibrida che combina:
  1. Oggetti reali da MULAN (ricchi di dettagli ma con forme imperfette).
  2. Oggetti generati da LayerDiffuse (forme complete ma texture lisce).
     Questa combinazione crea un dataset bilanciato di 100.000 triplette (immagine, primo piano, sfondo).

3. Risultati

Il modello è stato valutato sul dataset MULAN (l'unico standard disponibile in questo dominio) e su un set di immagini reali di alta qualità.

• Rimozione Oggetti (Sfondo): Il metodo supera lo stato dell'arte (SOTA) su tutti i metrici quantitativi (PSNR, SSIM, LPIPS, FID) rispetto a modelli come SD-XL Inpainting, PowerPaint, BrushNet e OmniEraser. Rispetto al modello base non adattato, mostra un miglioramento significativo (es. +1.71 dB in PSNR).
• Estrazione Primo Piano: In un confronto con metodi di matting (Matting-Anything, DiffMatte), il metodo proposto ottiene il 59.51% di preferenza dagli utenti in uno studio umano, superando i baselines per fedeltà e qualità visiva.
• Ablation Study:
  • L'uso del contesto doppio (primo piano + sfondo) è cruciale: rimuoverlo causa un calo di 0.26 dB in PSNR e aumenta le allucinazioni nel primo piano.
  • Il contesto multi-modale migliora la comprensione semantica delle regioni da riempire.
  • Un rank LoRA di 256 è stato identificato come il compromesso ottimale tra preservazione dei priors pre-addestrati e capacità di apprendere il nuovo compito.

4. Contributi Principali

1. Nuova Prospettiva: Dimostrazione che la decomposizione di livelli può essere risolta efficientemente adattando modelli di inpainting esistenti, trattando il compito come una combinazione di in/outpainting.
2. Efficienza: Un metodo che richiede risorse computazionali e dati molto inferiori rispetto ai metodi che richiedono full fine-tuning, rendendo la tecnologia accessibile a un pubblico più ampio.
3. Architettura Innovativa: Introduzione di un modulo di fusione multi-modale a complessità lineare e di un meccanismo di contesto immagine-mask duale per migliorare la fedeltà dell'estrazione.
4. Prestazioni SOTA: Risultati superiori sia nella rimozione di oggetti che nel recupero di oggetti occlusi, validati su dataset standard e attraverso studi utente.

5. Significato e Impatto

Questo lavoro democratizza la capacità di decomposizione di livelli, rendendola accessibile senza la necessità di dataset proprietari costosi o potenza di calcolo massiccia. Dimostra che i modelli generativi pre-addestrati possono essere "riutilizzati" (repurposed) per compiti complessi e multi-output con un adattamento minimo. Questo apre nuove possibilità per applicazioni di editing creativo, recupero di componenti e generazione di arte stratificata, ponendo le basi per futuri sviluppi in cui l'editing di immagini diventa più modulare e controllabile.