ISAC: Training-Free Instance-to-Semantic Attention Control for Multi-Instance Generation

Sintesi Tecnica: ISAC (Instance-to-Semantic Attention Control)

Definizione del Problema
I recenti modelli di diffusione text-to-image (T2I) open-weight faticano con prompt multi-istanza, manifestando frequentemente due modalità di fallimento primarie: errori di conteggio (omissione o fusione degli oggetti richiesti) e miscelazione semantica (dispersione degli attributi tra oggetti simili). Gli autori attribuiscono questi fallimenti alle fasi iniziali del processo di denoising della diffusione. Sebbene i metodi di guidance esistenti senza addestramento (ad es., Attend-and-Excite, Self-Cross) si affidino alla cross-attention (CA) per separare i concetti a livello di token, essi assumono che le regioni delle istanze distinte siano già emerse. Nelle fasi iniziali di denoising, la semantica condizionata dai token è spesso grossolana e aggrovigliata, causando il fallimento della guidance basata su CA nel delineare confini di istanza affidabili, particolarmente per oggetti semanticamente simili (ad es., "un cane e una pecora" o "due cavalli").

Metodologia
Il documento propone ISAC (Instance-to-Semantic Attention Control), un obiettivo agnostico rispetto al modello e privo di addestramento che impone una strategia di generazione gerarchica "instance-first" (prima l'istanza). ISAC opera decuplicando la formazione strutturale dal legame semantico lungo la traiettoria di denoising, utilizzando un approccio in due fasi:

1. Fase 1: Formazione dell'Istanza ($L_{ins}$)

   • Osservazione: Le mappe di self-attention (SA) espongono layout di istanza indipendenti dalla classe nelle fasi iniziali di denoising, anche quando la semantica dei token è poco sviluppata.
   • Meccanismo: Il metodo raggruppa le mappe SA in $N$ gruppi (dove $N$ è il numero totale di istanze richieste) per derivare layout di istanza class-agnostic. Per garantire la separazione, applica una penalità di Massimo Overlap Pixel-wise (MPO) tra le maschere di istanza risultanti, respingendo le regioni sovrapposte.
   • Raffinamento: Un gate di foreground viene costruito dalle mappe CA per limitare il clustering alle regioni rilevanti, e coordinate spaziali normalizzate vengono concatenate con le feature SA per migliorare la coerenza spaziale durante il clustering (ad es., usando K-means).

2. Fase 2: Separazione Semantica Consapevole dell'Istanza ($L_{sem}$)

   • Meccanismo: Una volta stabiliti i confini delle istanze nella Fase 1, ISAC inietta questi segnali strutturali nelle mappe di cross-attention.
   • Obiettivo: Viene applicata una loss "repel-and-bind" (respingi-e-lega). I token che si riferiscono a istanze diverse vengono allontanati (repel), mentre i token che descrivono la stessa istanza (ad es, un oggetto e il suo attributo) vengono avvicinati (bind). Ciò assicura che gli attributi siano legati a specifiche regioni di istanza senza disperdersi in altre.

3. Programma di Loss (Loss Schedule)

   • ISAC combina queste fasi utilizzando uno schema dipendente dal tempo: $\lambda_{ins}(t) = t/T$ e $\lambda_{sem}(t) = 1 - t/T$. Ciò assicura che i primi step si concentrino sull'instaurazione delle strutture delle istanze, mentre gli step successivi raffinano le assegnazioni semantiche.

Contributi Chiave

• Diagnosi Quantitativa: Gli autori forniscono un'analisi quantitativa che mostra come la miscelazione semantica sia significativamente più alta per coppie di oggetti all'interno della stessa supercategoria (ad es, animali, veicoli) rispetto a categorie diverse, validando la necessità di una separazione "instance-first".
• Framework ISAC: Un nuovo obiettivo privo di addestramento che separa la formazione dell'istanza dal legame semantico, senza richiedere fine-tuning, modelli di visione esterni o dati di addestramento aggiuntivi.
• IntraCompBench: Un nuovo benchmark progettato per testare sotto stress le composizioni intra-supercategoria (2–5 istanze), mirando specificamente ai regimi in cui sono più prevalenti i fallimenti di conteggio e la miscelazione semantica.
• Ampia Applicabilità: Il metodo dimostra di funzionare attraverso vari backbone di diffusione (SD1.5, SD3.5-M, Flux, Qwen-Image) e in compiti di generazione sia text-to-image che layout-to-image.

Risultati

• Performance: Su IntraCompBench, ISAC (specificamente la variante di ottimizzazione latente, ISACLO) supera significativamente i precedenti metodi senza addestramento. Ad esempio, su SD1.5, l'accuratezza multi-classe per i prompt intra-categoria è migliorata da ~20% (il baseline più forte) al 36%, e i punteggi spaziali su HRS-Bench sono quasi raddoppiati (da 0.135 a 0.263).
• Accuratezza del Conteggio: ISACLO raggiunge un'accuratezza nel conteggio delle istanze superiore ai metodi supervisionati dal conteggio (ad es, CountGen, Counting Guidance) senza richiedere modelli ausiliari o fine-tuning. Su SD1.4, ha raggiunto un'accuratezza di conteggio delle istanze del 70% rispetto al 49% di Counting Guidance.
• Layout-to-Image: Quando applicato a controller di layout (ad es, GLIGEN), ISAC raffina i bounding box grossolani e sovrapposti in maschere di istanza dense, impedendo la fusione di oggetti adiacenti.
• Efficienza: Sebbene ISACLO introduca latenza a causa della backpropagation, la variante di selezione latente (ISACLS) offre un'alternativa priva di gradienti adatta a modelli più grandi (ad es, Flux.2, Qwen-Image) selezionando il miglior campione da un batch in base allo score ISAC.

Significatività e Rivendicazioni
Il documento afferma che ISAC fornisce un percorso pratico e riproducibile per restringere il divario di affidabilità tra i modelli di diffusione open-weight e i sistemi commerciali (che spesso utilizzano dati proprietari e loop di ragionamento). Stabilizzando esplicitamente i confini delle istanze prima di assegnare la semantica, ISAC affronta la causa radice dei fallimenti multi-istanza nelle fasi iniziali della diffusione. Gli autori sottolineano che questa gerarchia "instance-first" è una direzione promettente per il controllo disaccoppiato struttura-semantica, non solo nel T2I ma potenzialmente anche nel video e in altri contesti generativi strutturati. Il lavoro dimosta che un'alta fedeltà nella generazione multi-istanza può essere ottenuta attraverso la manipolazione dell'attenzione al tempo di inferenza senza il costo computazionale del retraining o di modelli percettivi esterni.