LazyDrag: Enabling Stable Drag-Based Editing on Multi-Modal Diffusion Transformers via Explicit Correspondence

Riepilogo Tecnico: LazyDrag

Problematica

L'editing di immagini basato sul drag nei modelli di diffusione affronta un collo di bottiglia fondamentale: la dipendenza dal matching implicito di punti tramite meccanismi di attenzione. I metodi precedenti, come quelli che utilizzano lo sharing dell'attenzione (ad es., MasaCtrl), allocano i pesi dell'attenzione a regioni spazialmente vicine piuttosto che semanticamente correlate. Ciò porta a edizioni instabili, una degradazione della preservazione dell'identità e un compromesso sulla forza dell'inversione. Per mitigare questi problemi, gli approcci esistenti ricorrono spesso all'Ottimizzazione al Tempo di Test (TTO) o a una forza di inversione indebolita. Questi compromessi si traducono in un inpainting inaffidabile, una generazione guidata dal testo soppressa e edizioni distorte. Inoltre, la transizione dalle architetture U-Net ai Multi-Modal Diffusion Transformers (MM-DiTs) ha introdotto nuove sfide; la semplice condivisione dei token key e value nei MM-DiT non riesce a preservare efficacemente l'identità, e i metodi esistenti di preservazione dell'identità (ad es., CharaConsist) si affidano a un fragile matching di similarità dell'attenzione che è instabile sotto un'inversione a piena forza.

Metodologia: LazyDrag

LazyDrag è un metodo training-free progettato per i MM-DiT che elimina la dipendenza dal matching implicito dei punti introducendo una mappa di corrispondenza esplicita. Il metodo opera sotto inversione a piena forza senza richiedere TTO. La pipeline consiste in tre fasi principali:

1. Generazione della Mappa di Corrispondenza Esplicita

Invece di inferire i match attraverso l'attenzione, LazyDrag deriva una mappa di corrispondenza deterministica direttamente dalle istruzioni di drag dell'utente.

• Calcolo del Campo di Spostamento: Il metodo calcola un campo di spostamento utilizzando una strategia di fusione Winner-Takes-All (WTA). Per ogni punto editabile, lo spostamento è determinato dal punto handle più vicino, partizionando la griglia latente tramite confini di Voronoi. Questo evita la cancellazione del movimento che si verifica mediando drag opposti (ad es., aprire una bocca).
• Inizializzazione Latente: Lo spazio latente è partizionato in quattro regioni distinte:
  • Sfondo ($R_{bg}$): Rimane invariato.
  • Destinazioni ($R_{dst}$): Dove il contenuto spostato viene renderizzato con identità preservata.
  • Inpainting ($R_{inp}$): Inizializzato con rumore Gaussiano (anziché interpolazione) per prevenire artefatti ripetitivi e consentire una generazione guidata dal testo ad alta fedeltà.
  • Transizione ($R_{trans}$): Mescola i confini in modo fluido.
• Formalizzazione della Mappa: Il processo produce una mappa di punti di matching $M(x)$ e una mappa di peso $A(x)$, che fungono da riferimenti affidabili per il successivo controllo dell'attenzione.

2. Controllo dell'Attenzione Guidato dalla Corrispondenza

La mappa esplicita guida un meccanismo di controllo dell'attenzione in due parti all'interno dei layer di Single-Stream Attention (SS-Attn) del MM-DiT:

• Controllo dell'Input (Sostituzione e Concatenazione dei Token):
  • Preservazione dello Sfondo: Per $R_{bg}$, i token di attenzione ($Q, K, V$) sono sostituiti rigidamente con i token originali memorizzati durante il processo di inversione per garantire che lo sfondo rimanga intatto.
  • Preservazione dell'Identità: Per $R_{dst}$ e $R_{trans}$, il metodo concatena i token sorgente memorizzati (ri-codificati con rotary embeddings) con i token correnti. Ciò inietta un segnale forte, guidato dalla corrispondenza, nel calcolo dell'attenzione, preservando l'identità dell'oggetto pur permettendo un'adattamento coerente.
• Raffinamento dell'Output (Gated Merging):
  • L'output dell'attenzione è raffinato tramite una fusione controllata (gated merge) tra l'output corrente e l'output memorizzato dal punto sorgente corrispondente.
  • Il fattore di miscelazione è regolato da un fattore di gating basato sulla mappa di matching pre-calcolata $A(x)$ e da un fattore di decadimento temporale. Ciò garantisce un controllo preciso nei punti handle, permettendo al contempo un rilassamento naturale nelle regioni circostanti, eliminando la necessità di ottimizzazione latente multi-step.

Contributi Chiave

1. Primo Inversione a Piena Forza nel Drag Editing: LazyDrag è il primo metodo di editing basato su drag per MM-DiT che utilizza l'inversione a piena forza attraverso tutti i passi di campionamento, sbloccando la piena capacità generativa del modello senza TTO.
2. Corrispondenza Esplicita rispetto al Matching Implicito: Sostituendo il fragile matching di similarità dell'attenzione con una mappa di corrispondenza esplicita definita dall'utente, il metodo risolve l'instabilità centrale dei lavori precedenti, consentendo edizioni stabili e un inpainting fedele.
3. Risoluzione dell'Ambiguità tramite Guida Testuale: Il metodo accoppia la mappa di corrispondenza esplicita con la guida del testo, permettendo edizioni semanticamente coerenti (ad es., muovere una mano in una tasca rispetto a dietro la schiena) e un inpainting naturale di regioni complesse (ad es., l'interno della bocca di un cane).
4. Supporto Multi-Round e Multi-Operazione: Il framework supporta operazioni simultanee di movimento e scala e l'editing multi-round mantenendo la coerenza visiva.

Risultati Sperimentali

Valutato su DragBench (205 immagini, 349 coppie di punti), LazyDrag supera otto baseline (tra cui DragDiffusion, GoodDrag, FastDrag e Inpaint4Drag) in termini di metriche quantitative e qualitative:

• Performance Quantitative: LazyDrag raggiunge risultati state-of-the-art (SOTA) con una Distanza Media (MD) di 21.49, superando la migliore baseline successiva (DragText a 21.51). È inoltre in testa per Consistenza Semantica (SC: 8.205), Qualità Percettiva (PQ: 8.395) e punteggio Complessivo (O: 8.210).
• Efficienza: A differenza delle baseline che richiedono TTO (ad es., fine-tuning LoRA o ottimizzazione multi-step), LazyDrag è training-free e non richiede ottimizzazione per immagine o per istruzione.
• Studio Utente: In uno studio con 32 partecipanti esperti, LazyDrag è stato preferito nel 63.67% dei confronti, superando significativamente tutte le baseline.
• Superiorità Qualitativa: Il metodo esegue con successo edizioni complesse che falliscono per altri metodi, come aprire la bocca di un cane e inpainting del suo interno, o generare nuovi oggetti (ad es., una "pallina da tennis") guidati dal testo, il tutto preservando l'integrità dello sfondo e l'identità dell'oggetto.

Significato

Il paper sostiene che LazyDrag apra una nuova via per i paradigmi di editing dimostrando che la corrispondenza esplicita può sostituire il collo di bottiglia fondamentale del matching implicito dell'attenzione. Consentendo un'inversione stabile a piena forza sui MM-DiT, il metodo sblocca capacità generative precedentemente soppresse dalla necessità di TTO o di un'inversione indebolita. Stabilisce un nuovo SOTA per il drag-based editing, offrendo un controllo geometrico preciso, inpainting naturale e una robusta creazione guidata dal testo senza il costo computazionale dell'ottimizzazione al tempo di test.