Riepilogo Tecnico: ScribbleEdit

Enunciato del Problema

I recenti progressi nei modelli generativi hanno migliorato le capacità di editing delle immagini, ma ottenere un controllo utente preciso e intuitivo rimane una sfida significativa. Gli utenti faticano a comunicare simultaneamente layout spaziali esatti e dettagli semantici specifici. Le istruzioni in linguaggio naturale trasmettono efficacemente la semantica di alto livello (ad esempio, texture, colore) ma mancano di specificità spaziale. Al contrario, gli scarabocchi a mano libera forniscono confini e strutture spaziali intuitivi, ma sono intrinsecamente astratti, imprecisi e difficili da interpretare per i modelli riguardo agli attributi visivi dettagliati. I modelli esistenti faticano a interpretare congiuntamente queste due modalità a causa della mancanza di dati di addestramento specializzati che combinino scarabocchi astratti con istruzioni testuali.

Metodologia

Gli autori introducono ScribbleEdit, un dataset sintetico su larga scala e una pipeline automatizzata progettati per colmare il divario tra l'editing delle immagini guidato da scarabocchi e da testo.

1. Pipeline di Costruzione del Dataset:
Il dataset è composto da 11.775 campioni per un'attività di aggiunta di oggetti, in cui l'obiettivo è aggiungere un oggetto specifico a un'immagine guidato da uno scarabocchio e da un'istruzione testuale. La pipeline prevede quattro fasi:

• Dati Sorgente: 12.500 coppie immagine-scarabocchio sono state sottocampionate dal Database Sketchy, che contiene foto accoppiate a scarabocchi disegnati a mano raccolti tramite crowdsourcing.
• Segmentazione degli Oggetti: Un processo in due fasi genera maschere di oggetti. In primo luogo, Grounding DINO rileva l'oggetto utilizzando il suo nome di classe per produrre un riquadro di delimitazione. In secondo luogo, il Segment Anything Model (SAM) genera tre candidati maschera, da cui viene selezionato quello con l'IoU previsto più alto. La maschera viene dilata di 15 pixel per garantire una copertura completa del confine.
• Generazione dell'Immagine di Input: L'oggetto segmentato viene rimosso dalla foto sorgente utilizzando il modello di inpainting LaMa, che ricostruisce lo sfondo puramente dal contesto circostante senza prompt testuali. Questa immagine inpainted serve come input per il modello di editing.
• Generazione delle Istruzioni: Gemma 3 (4B), un modello linguistico-visivo istruito, genera istruzioni in linguaggio naturale. Gli vengono fornite l'immagine di input (inpainted) e l'immagine target (originale) e viene sollecitato a produrre un comando di editing specifico che descriva l'aspetto e la posizione dell'oggetto.

Il dataset finale è suddiviso in set di addestramento (9.438 foto), validazione (1.164 foto) e test (1.173 foto). Per gestire i costi di addestramento, viene campionato un sottoinsieme in cui ogni foto è accoppiata ad al massimo due scarabocchi, risultando in circa 18.876 istanze di addestramento.

2. Valutazione e Finetuning del Modello:
Gli autori valutano e effettuano il finetuning di due tipi di modelli su ScribbleEdit:

• Image-Conditioned ControlNet-Scribble: Un modello basato su diffusione. Gli autori modificano il ControlNet-Scribble standard condizionandolo sulla rappresentazione latente dell'immagine originale (codificata tramite VAE) in aggiunta agli input di testo e scarabocchio. Ciò permette al modello di eseguire l'editing preservando lo sfondo originale, affrontando la limitazione del ControlNet standard che esegue la generazione piuttosto che l'editing. Il modello viene addestrato utilizzando un processo in due fasi: aggiornamento prima dei nuovi layer, seguito da un finetuning completo del U-Net.
• BAGEL-7B-MoT: Un modello linguistico grande multimodale unificato. Gli autori applicano il finetuning LoRA al backbone linguistico. Per incoraggiare il modello a modificare solo l'area target e preservare lo sfondo, viene utilizzata una perdita MSE pesata spazialmente, assegnando un peso 5x ai token all'interno della maschera di editing target rispetto ai token dello sfondo.

Entrambi i modelli sono addestrati con guida senza classificatore (CFG) eliminando gli input di testo o scarabocchio con una probabilità di 0,1.

Contributi Chiave

1. Dataset ScribbleEdit: Un dataset sintetico su larga scala specificamente progettato per l'editing multimodale delle immagini che combina scarabocchi a mano libera con istruzioni in linguaggio naturale.
2. Pipeline Automatizzata: Un metodo per costruire esempi di editing multimodale accoppiati generando automaticamente coppie di immagini sorgente-target tramite inpainting e accoppiandole con scarabocchi disegnati da umani e testo generato da VLM.
3. Valutazione Benchmark: Una valutazione completa dei moderni modelli unificati multimodali basati su diffusione e autoregressivi in diverse impostazioni di condizionamento (solo testo, solo scarabocchio e guida congiunta).

Risultati

Il documento presenta risultati quantitativi utilizzando Intersezione degli Istogrammi, RMSE, Similarità CLIP e punteggi FID, insieme a confronti qualitativi.

• Miglioramenti delle Prestazioni: Il finetuning su ScribbleEdit migliora significativamente le prestazioni del modello su tutte e quattro le metriche rispetto alle baseline zero-shot.
• Confronto tra Modelli:
  • L'Image-Conditioned ControlNet-Scribble ha ottenuto il punteggio FID più basso, indicando una superiorità nel realismo e nella preservazione dello sfondo.
  • Il BAGEL-7B-MoT finetunato ha mostrato i miglioramenti più significativi nell'Intersezione degli Istogrammi e nell'RMSE (sia a livello di immagine intera che all'interno del riquadro di delimitazione), dimostrando una maggiore somiglianza nei colori e nei dettagli a livello di pixel. Ha inoltre mostrato miglioramenti maggiori nei punteggi CLIP e FID.
• Robustezza: Il BAGEL finetunato ha mantenuto le prestazioni quando fornito solo di input di scarabocchio o solo di input testuali durante l'inferenza, con un calo significativo solo nel punteggio FID quando si utilizza il testo da solo.
• Analisi degli Errori: Su un campione di 50 immagini di test, il BAGEL finetunato ha aderito sufficientemente alla guida dello scarabocchio nell'82% dei casi, ma solo alle istruzioni testuali nel 57% dei casi. I fallimenti comuni includevano orientamento, posizione o dimensioni errati dell'oggetto (aderenza allo scarabocchio) e colore o identità dell'oggetto errati (aderenza al testo).

Significato e Affermazioni

Il documento afferma che ScribbleEdit affronta efficacemente la mancanza di dati di addestramento specializzati per l'interpretazione congiunta di scarabocchi e testo. Gli autori dimostrano che, mentre i modelli pronti all'uso faticano con input di scarabocchi astratti (spesso generando caratteristiche simili a scarabocchi o fallendo nell'editing), il finetuning sul loro dataset sintetico migliora significativamente la capacità di generare editing allineati spazialmente e semanticamente coerenti.

Il lavoro posiziona ScribbleEdit come una risorsa per incoraggiare la ricerca futura su strumenti di editing precisi e centrati sull'uomo. Gli autori riconoscono le limitazioni, notando che il dataset si basa su disegni umani esistenti piuttosto che su quelli sintetizzati, si concentra principalmente sull'aggiunta di oggetti e dipende da pipeline automatizzate che potrebbero introdurre rumore. Suggeriscono che il lavoro futuro potrebbe esplorare l'editing parziale fine-granulare e l'uso di metodi di generazione di scarabocchi più consapevoli semanticamente (ad esempio, CLIPasso).