AdaEraser: Training-Free Object Removal via Adaptive Attention Suppression

Riepilogo Tecnico: AdaEraser

Enunciato del Problema
La rimozione di oggetti nelle immagini richiede non solo l'eliminazione precisa di un target specificato dall'utente, ma anche la ricostruzione plausibile dello sfondo nelle regioni liberate. Sebbene i recenti metodi senza addestramento che utilizzano modelli di diffusione pre-addestrati abbiano mostrato promesse, spesso affrontano un conflitto fondamentale: rimuovere efficacemente un oggetto rispetto alla generazione di contenuti di sfondo di alta qualità. Gli approcci esistenti, come AttentiveEraser, impiegano tipicamente una soppressione indiscriminata dell'attenzione self all'interno delle regioni dell'oggetto mascherate. Sebbene ciò rimuova con successo il target, interrompe involontariamente il processo di generazione dello sfondo. Poiché la ricostruzione dello sfondo si basa sulle capacità generative del modello pre-addestrato — che presuppone un'attenzione self non modulata — bloccare completamente l'attenzione in queste regioni porta ad artefatti strutturali, distorsioni visive e sintesi di sfondo di bassa qualità.

Metodologia: AdaEraser
Per risolvere questo conflitto, gli autori propongono AdaEraser, un framework senza addestramento che modula dinamicamente la soppressione dell'attenzione in base alla presenza stimata del concetto dell'oggetto target durante il processo di denoising. L'idea centrale è che la rimozione dell'oggetto e la generazione dello sfondo siano obiettivi in competizione che richiedono un approccio bilanciato e adattivo, piuttosto che una soppressione statica e binaria.

Il metodo opera attraverso tre fasi principali:

1. Estrazione dell'Attenzione di Riferimento e Target:

   • Riferimento: Per un'immagine sorgente $I_{src}$, il modello genera mappe di attenzione self di riferimento ($SAsrc$) applicando uno schema di "diffusione di t passi + 1 passo di denoising". Questo preserva le informazioni delle feature dell'immagine originale in condizioni rumorose senza richiedere un processo di inversione completo.
   • Target: Contemporaneamente, il modello esegue il processo standard di denoising per la rimozione dell'oggetto su un latente target inizializzato dall'immagine sorgente, generando mappe di attenzione self target ($SAtgt$).

2. Stima del Punteggio di Presenza Token per Token:

   • Gli autori osservano che le mappe di attenzione self codificano relazioni contestuali e feature semantiche. Ipotizzano che la somiglianza tra la mappa di riferimento (che contiene l'oggetto) e la mappa target (dove l'oggetto viene rimosso) sia correlata alla presenza residua dell'oggetto.
   • Viene calcolato un punteggio di presenza token per token $p(i)$ per ogni token $i$ all'interno della maschera dell'oggetto, utilizzando la similarità coseno tra $SAtgt(i)$e$SAsrc(i)$.
   • Man mano che il processo di denoising avanza e l'oggetto viene rimosso, il contenuto semantico della regione target diverge dal riferimento, causando una diminuzione del punteggio di similarità. Questo punteggio funge da proxy euristico per il livello di presenza dell'oggetto.

3. Soppressione Adattiva dell'Attenzione:

   • Invece di una soppressione fissa, AdaEraser calcola un coefficiente di soppressione $\eta(i)$ per ogni token basato sul suo punteggio di presenza: $\eta(i) = 1 - p(i)$ per i token nella maschera, e $1$ altrimenti.
   • Questo coefficiente modula i punteggi di attenzione self nel UNet di denoising. Quando l'oggetto è chiaramente presente (alta similarità), la soppressione è forte. Man mano che l'oggetto viene rimosso e lo sfondo inizia a formarsi (bassa similarità), la soppressione si allenta, permettendo al modello di utilizzare la sua piena capacità generativa per ricostruire lo sfondo in modo naturale.
   • Infine, il primo piano (target denoised) e lo sfondo (sorgente originale) vengono mescolati utilizzando la maschera a ogni passo temporale per garantire la coerenza nelle regioni non rimosse.

Contributi Chiave

• Strategia di Regolazione Adattiva: Il paper identifica che la rimozione di oggetti di alta qualità richiede una regolazione adattiva della soppressione dell'attenzione basata sulla presenza residua dell'oggetto, piuttosto che una soppressione statica.
• Euristica Token per Token: Propone l'uso della similarità delle mappe di attenzione self token per token come un proxy efficace e senza addestramento per stimare la presenza dell'oggetto nello spazio latente, superando la difficoltà del rilevamento diretto dell'oggetto in latenti rumorosi.
• Framework AdaEraser: Gli autori introducono un framework completo senza addestramento che integra questa strategia adattiva, raggiungendo un equilibrio tra eliminazione dell'oggetto e ripristino dello sfondo.

Risultati Sperimentali
Sono stati condotti esperimenti estesi sui dataset Mulan e OABench utilizzando Stable Diffusion XL (SDXL) come backone, con validazione aggiuntiva su SD1.5, SD2.1 e FLUX.

• Prestazioni Quantitative: AdaEraser ha superato sia i metodi basati sull'addestramento (ad es. PowerPaint, RORem, SmartEraser) sia i metodi senza addestramento all'avanguardia (ad es. AttentiveEraser, OmniPaint) in tutte le metriche, inclusi FID, LPIPS, PSNR, ReMOVE e CFD. In modo notevole, ha ottenuto il punteggio più alto nel Ranking Umano Medio (AHR) negli studi con utenti.
• Prestazioni Qualitative: I confronti visivi hanno dimostrato che AdaEraser rimuove efficacemente gli oggetti preservando il contesto della scena ed evitando le distorsioni strutturali e gli artefatti comuni nei metodi che utilizzano la soppressione completa dell'attenzione.
• Studi di Ablazione: Gli autori hanno validato che la soppressione adattiva token per token supera significativamente le strategie di soppressione basate sul passo temporale o sulla regione. Hanno anche confermato che l'uso di un riferimento dinamico ($x_{src}^t$) allineato al livello di rumore corrente produce risultati superiori rispetto ai riferimenti a rumore fisso.

Significato e Affermazioni
Il paper afferma che AdaEraser offre una nuova prospettiva sulla rimozione di oggetti dimostrando che i metodi senza addestramento possono superare gli approcci basati sull'addestramento quando il prior generativo è sfruttato in modo più intelligente. Regolando dinamicamente l'intensità della soppressione, AdaEraser evita gli svantaggi della soppressione indiscriminata dell'attenzione, preservando così la capacità generativa del modello pre-addestrato per la ricostruzione dello sfondo. Gli autori collocano questo lavoro come un passo significativo verso l'editing di immagini di alta qualità ed efficiente dal punto di vista dei dati che non richiede l'acquisizione costosa di dataset specializzati o il fine-tuning del modello.

Limitazioni e Direzioni Future
Il paper riconosce che le prestazioni dipendono dalla qualità della maschera; sebbene sia robusto a maschere leggermente lasche, fatica con maschere incomplete che non coprono gli effetti collaterali indotti dall'oggetto (ad es. ombre). Inoltre, il metodo potrebbe affrontare sfide in scene con texture altamente simili o contenuti semanticamente ambigui, dove il prior generativo da solo è insufficiente per una ricostruzione complessa. Gli autori suggeriscono che il lavoro futuro potrebbe includere l'integrazione di una guida strutturale più forte o l'identificazione automatica degli effetti collaterali per migliorare la robustezza. Notano anche che il metodo è meno compatibile con modelli distillati altamente accelerati (ad es. SDXL-Lightning) a causa della ridotta informatività delle dinamiche di attenzione in un numero minore di passi di denoising.