Riepilogo Tecnico: ClickRemoval

Enunciato del Problema

Gli strumenti esistenti per la rimozione di oggetti nella creazione di contenuti multimediali e nella protezione della privacy spesso presentano barriere significative per gli utenti non esperti. I metodi all'avanguardia attuali, come AttentiveEraser, PowerPaint e la serie SD-Inpaint, si basano tipicamente su maschere manuali ad alta granularità, prompt testuali o pipeline di addestramento specializzate. Queste dipendenze comportano elevati costi di interazione e limitano l'usabilità in scene complesse, portando spesso a una rimozione incompleta degli oggetti o a un completamento innaturale dello sfondo. È necessaria una soluzione che consenta una rimozione precisa degli oggetti senza richiedere maschere manuali, descrizioni testuali o addestramento aggiuntivo del modello.

Metodologia

ClickRemoval è uno strumento interattivo open-source per la rimozione di oggetti, basato su modelli Stable Diffusion preaddestrati (SD1.5, SD2.1 e SDXL1.0). Funziona esclusivamente tramite clic dell'utente, eliminando la necessità di maschere disegnate a mano o prompt testuali. Il sistema opera convertendo i clic dell'utente in mappe semantiche morbide e utilizzando queste mappe per reindirizzare i meccanismi di auto-attenzione all'interno del modello di diffusione durante il processo di denoising.

Il framework è composto da tre componenti principali:

1. Estrazione della Mappa delle Distanze Semantiche M2N2:

   • I clic dell'utente vengono convertiti in mappe delle distanze semantiche utilizzando l'approccio M2N2. Ciò comporta un singolo passaggio in avanti di denoising su un modello Stable Diffusion congelato per aggregare le mappe di auto-attenzione multi-testa in una matrice di transizione.
   • Viene eseguita una propagazione di Markov a partire dalla posizione cliccata per determinare la distanza semantica di ogni pixel.
   • Mappa Oggetto ($M_{ob}$): Generata applicando Flood Fill alla mappa semantica per sopprimere i minimi locali e migliorare la consapevolezza dell'istanza, definendo la regione da rimuovere.
   • Mappa Sfondo ($M_{bg}$): Una mappa di Markov normalizzata (senza Flood Fill) che misura la distanza semantica dall'oggetto cliccato, dove valori più piccoli indicano una maggiore somiglianza con l'oggetto. Questa mappa guida il ripristino dello sfondo.

2. Reindirizzamento e Programmazione dell'Auto-Attività Guidata (SGAR & SGAS):

   • SGAR (Reindirizzamento dell'Auto-Attività Guidata): Modula i logit dell'auto-attenzione ($S_{self}$) durante l'inferenza. Sopprime le voci chiave relative all'oggetto utilizzando una forte penalità negativa ($P_{ob}$) e ridistribuisce le voci chiave dello sfondo utilizzando un fattore schedulato ($G_{bg}(t)$) derivato da $M_{bg}$.
   • SGAS (Programmazione dell'Auto-Attività Guidata): Controlla il tempismo e l'intensità di SGAR per garantire un completamento naturale dello sfondo. Il processo di denoising è suddiviso in fasi:
     • Fase iniziale (primi ~20%): Nessuna modifica.
     • Fase iniziale-intermedia: SGAR è abilitato, con la guida allo sfondo che decade gradualmente.
     • Fase intermedia: La guida allo sfondo è disabilitata, ma la soppressione dell'oggetto rimane attiva.
     • Fase finale: Tutte le guide sono disabilitate, consentendo al modello di completare autonomamente i dettagli rimanenti.

3. Guida al Reindirizzamento dell'Attività (ARG):

   • Per fornire una guida controllabile a livello di output, ARG combina linearmente la previsione del rumore originale ($\epsilon(x,t)$) e la previsione del rumore modulato ($\epsilon'(x,t)$).
   • La previsione finale è calcolata come $\epsilon_{ARG} = (1-r) \cdot \epsilon(x,t) + r \cdot \epsilon'(x,t)$, dove $r$ è un coefficiente specificato dall'utente. Un valore di $r$ più piccolo mantiene più comportamento del modello originale, mentre un valore di $r$ più grande aderisce più rigorosamente alla guida di rimozione.

Il sistema supporta sia clic positivi (per indicare oggetti da rimuovere) sia clic negativi (per indicare regioni da preservare), consentendo interazioni complesse come la rimozione di oggetti occlusi preservando al contempo gli elementi in primo piano.

Contributi Chiave

1. Strumento Interattivo per la Rimozione di Oggetti: L'introduzione di ClickRemoval, uno strumento che non richiede maschere, descrizioni testuali o addestramento aggiuntivo. Supporta interazioni con clic positivi e negativi, abbassando significativamente la barriera all'uso per gli utenti non esperti.
2. Meccanismo Estensibile di Reindirizzamento dell'Attività: Un framework guidato dai clic composto da M2N2, SGAR, SGAS e ARG. Questo meccanismo non è strettamente accoppiato a un backbone di diffusione specifico ed è stato implementato con successo su SD1.5, SD2.1 e SDXL1.0.
3. Consegna Completa Open-Source: Il rilascio di un pacchetto software completo sotto licenza Apache-2.0, includente codice sorgente, file di configurazione, ambienti Docker, documentazione, interfacce demo e script di valutazione.

Risultati Sperimentali

Gli autori hanno valutato ClickRemoval rispetto a baseline solide, tra cui SD-Inpaint, LaMa, PixelHacker, Inpaint Anything, PowerPaint-v2 e AttentiveEraser, utilizzando un set di test unificato derivato da Pico-Banana-400K.

• Metriche Quantitative: ClickRemoval ha ottenuto risultati competitivi senza addestramento aggiuntivo.
  • A risoluzione 1024×1024 (SDXL1.0), ha raggiunto un FID di 8.05 e un Local-FID di 15.56, paragonabili a AttentiveEraser (7.98 / 15.74).
  • A risoluzione 512×512 (SD1.5), ha ottenuto le prestazioni complessive migliori tra i metodi della stessa risoluzione con un FID di 9.35, un KID di 0.899 e un Local-FID di 17.27.
• Studio Utenti: In uno studio che ha coinvolto 25 partecipanti non esperti, ClickRemoval si è classificato al primo posto in entrambe le impostazioni di risoluzione, ricevendo il 30.48% dei voti a risoluzione 512 e il 41.89% a risoluzione 1024.
• Validazione Assistita da LLM: Utilizzando un valutatore multimodale basato su GPT, ClickRemoval si è classificato al primo posto a risoluzione 512 (28.85%) e al secondo a risoluzione 1024 (39.21%), distanziato da AttentiveEraser di soli 1.97 punti percentuali.
• Efficienza: Lo strumento ha dimostrato un sovraccarico di inferenza accettabile, con un tempo di esecuzione a risoluzione 1024 paragonabile a baseline solide e un'efficienza pratica per compiti a risoluzione 512 su hardware consumer (RTX 3090).

Significato

Il documento posiziona ClickRemoval come un passo significativo verso la democratizzazione della rimozione di oggetti di alta qualità. Rimuovendo la dipendenza da maschere manuali e prompt testuali, offre un flusso di lavoro "punta-e-rimuovi" accessibile ai non esperti, mantenendo al contempo una qualità di ripristino competitiva. Gli autori sottolineano che il loro approccio ottiene questi risultati senza la necessità di addestramento aggiuntivo, affidandosi invece alle capacità intrinseche dei modelli di diffusione preaddestrati, potenziate dal loro framework di reindirizzamento dell'attività. Il rilascio del pacchetto open-source completo mira a supportare la ricerca riproducibile e le applicazioni pratiche di editing dei contenuti.