BRIDGE: Background Routing and Isolated Discrete Gating for Coarse-Mask Local Editing

Riepilogo Tecnico: BRIDGE

Definizione del Problema: Bias della Forma della Maschera nella Modifica di Maschere Grossolane
I metodi attuali di modifica locale delle immagini spesso faticano quando gli utenti forniscono "maschere grossolane" (ad esempio, scarabocchi approssimativi o riquadri) invece di contorni precisi degli oggetti. Il documento identifica una specifica modalità di fallimento denominata bias della forma della maschera: il modello tratta l'indicazione di localizzazione dell'utente come un confine geometrico rigoroso, causando l'eredità della forma accidentale della maschera da parte dell'oggetto generato. Questo intreccio tra localizzazione e geometria impedisce al modello di soddisfare l'istruzione (ad esempio, "aggiungi un elefante") mantenendo contorni naturali dell'oggetto che possono differire dalla maschera di input approssimativa. Gli approcci esistenti, come l'inpainting condizionato dalla maschera (ad esempio, FLUX.1-Fill, ACE++) o la manipolazione dell'attenzione senza addestramento, spesso codificano direttamente la maschera nel transformer di diffusione (DiT) come token visivi o rami di caratteristiche, il che rafforza questo bias.

Metodologia: BRIDGE
Gli autori propongono BRIDGE (Background Routing and Isolated Discrete Gating for Coarse-Mask Local Editing), un framework progettato per disaccoppiare la regione di supporto per la modifica dalla generazione geometrica del nuovo soggetto.

1. Architettura BridgePath:

   • Invece di immettere la maschera nel DiT come condizione visiva, BRIDGE mantiene la maschera fuori dal backbone. La maschera è utilizzata solo per definire una regione di supporto di un riquadro delimitante allineato agli assi (la regione di supporto del "Percorso Soggetto") e per la fusione post-generazione.
   • Il modello utilizza due percorsi paralleli elaborati dallo stesso backbone DiT:
     • Percorso Principale: Preserva il contesto originale dello sfondo e segue la traiettoria dell'immagine sorgente.
     • Percorso Soggetto: Inizializzato con rumore gaussiano indipendente, questo percorso genera il contenuto modificabile all'interno del riquadro delimitante definito dalla maschera.
   • I due percorsi sono concatenati in un'unica sequenza visiva a ogni livello DiT, consentendo ai meccanismi di attenzione di determinare come il soggetto si fonde con lo sfondo.

2. Cancello Geometrico Discreto (Instradamento PE a Livello di Token):

   • L'innovazione principale è un Cancello Geometrico Discreto apprendibile che esegue l'instradamento a livello di token degli embedding posizionali (PE).
   • Esperimenti diagnostici su Qwen-Image hanno rivelato che i token che condividono lo stesso PE tendono a generare contenuti duplicati o altamente simili, agendo come un selettore di contesto.
   • Il Cancello prevede una variabile di instradamento binaria per ogni token del soggetto in ogni livello DiT:
     • $G_i = 1$ (Centrato sul Soggetto): Il token mantiene le sue coordinate originali del Percorso Soggetto, consentendo libertà geometrica e la generazione di nuove strutture indipendenti dallo sfondo.
     • $G_i = 0$ (Ancorato allo Sfondo): Il token prende in prestito il PE dalla posizione corrispondente del Percorso Principale, facilitando una fusione perfetta con la scena circostante.
   • Questo instradamento è implementato tramite leggeri GateBlocks (13,31 milioni di parametri) aggiunti al backbone pre-addestrato Qwen-Image, che viene ulteriormente adattato utilizzando LoRA di rango 512. Il cancello utilizza un estimatore diretto per l'addestramento.

3. Addestramento e Pipeline dei Dati:

   • Il modello è addestrato utilizzando un obiettivo di flow-matching su un dataset curato derivato da Pico-Banana-400K.
   • Un componente critico della pipeline dei dati è la perturbazione della maschera, dove la maschera viene convertita in un riquadro delimitante e perturbata per rompere la dipendenza del modello dal contorno esatto, incoraggiandolo a trattare la maschera come un indizio grossolano piuttosto che come un obiettivo geometrico.
   • L'obiettivo di addestramento ottimizza sia gli adattatori LoRA che i GateBlocks end-to-end.

Contributi Chiave

• Identificazione del Bias della Forma della Maschera: Il documento definisce formalmente la modalità di fallimento in cui gli indizi di localizzazione sono interpretati erroneamente come vincoli geometrici nella modifica di maschere grossolane.
• Architettura BRIDGE: Introduce un metodo che mantiene le maschere fuori dal backbone DiT, utilizzando una strategia di generazione a doppio percorso (Principale/Soggetto) combinata con un Cancello Geometrico Discreto apprendibile per l'instradamento PE a livello di token.
• Validazione Empirica: Dimostra miglioramenti significativi nelle metriche di precisione locale su un nuovo benchmark, BRIDGE-Bench, nonché prestazioni zero-shot su MagicBrush e ICE-Bench.

Risultati

• BRIDGE-Bench: BRIDGE ottiene un punteggio Local SigLIP2-T di 0,503, superando significativamente FLUX.1-Fill (0,262) e ACE++ (0,390). Mostra anche guadagni in Local DINO e DreamSim, indicando un migliore allineamento alle istruzioni e una ridotta distorsione percettiva nella regione modificata.
• Generalizzazione Zero-Shot: Su MagicBrush e ICE-Bench, BRIDGE dimostra un allineamento competitivo e una preservazione della sorgente, ottenendo spesso il miglior rango medio tra i metodi confrontati.
• Studi di Ablazione: La rimozione del Cancello Discreto (fissando l'instradamento PE) porta a un degrado della precisione locale (riducendo SigLIP2-T a 0,463) e causa il collasso del Percorso Soggetto in copie sfocate, confermando la necessità di un instradamento adattivo per una generazione coerente degli oggetti.
• Efficienza: Sebbene il Percorso Soggetto aumenti la latenza di inferenza e la memoria di circa il 30-40% per una regione di modifica del 25%, il meccanismo di controllo (GateBlocks) è altamente efficiente in termini di parametri (13,31 milioni di parametri) rispetto ai rami di tipo ControlNet (~1,13 miliardi di parametri).

Significato e Affermazioni
Gli autori posizionano BRIDGE come un metodo empirico che affronta una limitazione pratica specifica negli attuali editor basati su diffusione. Affermano che separare il supporto di localizzazione (tramite riquadri delimitanti) dalla generazione geometrica (tramite rumore indipendente e instradamento PE) permette ai modelli di rispettare l'intento dell'utente senza ereditare artefatti della maschera. Il documento afferma con modestia che questo approccio è efficace per la modifica di maschere grossolane quando le maschere sono utilizzate come segnali di localizzazione piuttosto che come caratteristiche interne. Non rivendica risultati di convergenza teorica per l'instradamento discreto o novità nella manipolazione PE in sé, ma piuttosto l'efficacia della combinazione della generazione BridgePath con l'instradamento PE discreto apprendibile in questo contesto specifico. Il metodo riconosce un compromesso: sebbene offra maggiore libertà di forma, si basa sul supporto del riquadro delimitante, che potrebbe richiedere strategie di fusione esterne per maschere utente altamente irregolari.