ISAC: Training-Free Instance-to-Semantic Attention Control for Multi-Instance Generation

Technische Samenvatting: ISAC (Instance-to-Semantic Attention Control)

Probleemstelling
Recente open-weight text-to-image (T2I) diffusiemodellen worstelen met prompts met meerdere instanties, waarbij ze vaak twee primaire faalmodi vertonen: tel-fouten (het weglaten of samenvoegen van gevraagde objecten) en semantische vermenging (het lekken van attributen naar vergelijkbare objecten). De auteurs herleiden deze fouten tot de vroege denoising-stappen van het diffusieproces. Bestaande training-vrije guidance-methoden (bijv. Attend-and-Excite, Self-Cross) vertrouwen op cross-attention (CA) om concepten op tokenniveau te scheiden, maar zij gaan ervan uit dat onderscheidende instantie-regio's al zijn ontstaan. In de vroege denoising-stappen zijn de aan tokens geconditioneerde semantiek vaak grof en verstrengeld, waardoor CA-gebaseerde guidance faalt in het uitsnijden van betrouwbare instantie-grenzen, met name voor semantisch gelijkaardige objecten (bijv. "een hond en een schaap" of "twee paarden").

Methodologie
Het artikel stelt ISAC (Instance-to-Semantic Attention Control) voor, een training-vrije, model-agnostische doelstelling die een hiërarchische "instance-first" generatiestrategie afdwingt. ISAC werkt door de structurele vorming te ontkoppelen van de semantische binding langs het denoising-traject, gebruikmakend van een tweefasige aanpak:

1. Fase 1: Instantie-vorming ($L_{ins}$)

   • Observatie: Self-attention (SA) kaarten onthullen klasse-agnostische instantie-lay-outs in de vroege denoising-stappen, zelfs wanneer de token-semantiek nog onderontwikkeld is.
   • Mechanisme: De methode clustert SA-kaarten in $N$ groepen (waarbij $N$ het totale aantal gevraagde instanties is) om klasse-agnostische instantie-lay-outs af te leiden. Om scheiding te garanderen, past het een Maximum Pixel-wise Overlap (MPO) penalty toe tussen de resulterende instantie-maskers, waardoor overlappende regio's worden afgestoten.
   • Verfijning: Een foreground gate wordt geconstrueerd uit CA-kaarten om clustering te beperken tot relevante regio's, en genormaliseerde ruimtelijke coördinaten worden samengevoegd met SA-features om de ruimtelijke coherentie tijdens clustering te verbeteren (bijv. via K-means).

2. Fase 2: Instantie-bewuste Semantische Separatie ($L_{sem}$)

   • Mechanisme: Zodra stabiele instantie-grenzen zijn vastgesteld in Fase 1, injecteert ISAC deze structurele signalen in de cross-attention kaarten.
   • Doelstelling: Een "repel-and-bind" loss wordt toegepast. Tokens die naar verschillende instanties verwijzen, worden van elkaar weggeduwd (repel), terwijl tokens die dezelfde instantie beschrijven (bijv. een object en zijn attribuut) naar elkaar toe worden getrokken (bind). Dit zorgt ervoor dat attributen binnen specifieke instantie-regio's worden gebonden zonder naar anderen te lekken.

3. Loss Schedule

   • ISAC combineert deze fasen met een tijd-afhankelijke schedule: $\lambda_{ins}(t) = t/T$ en $\lambda_{sem}(t) = 1 - t/T$. Dit zorgt ervoor dat de vroege stappen zich richten op het vestigen van instantie-structuren, terwijl de latere stappen de semantische toewijzingen verfijnen.

Belangrijkste Bijdragen

• Kwantitatieve Diagnose: De auteurs leveren een kwantitatieve analyse die aantoont dat semantische vermenging significant hoger is voor objectparen binnen dezelfde supercategorie (bijv. dieren, voertuigen) vergeleken met verschillende categorieën, wat de noodzaak voor instance-first separatie valideert.
• ISAC Framework: Een nieuwe, training-vrije doelstelling die de vorming van instanties scheidt van semantische binding, zonder dat hiervoor fine-tuning, externe visiemodellen of extra trainingsdata nodig zijn.
• IntraCompBench: Een nieuwe benchmark ontworpen om intra-supercategorie composities (2–5 instanties) te testen, specifiek gericht op de regimes waar tel-fouten en semantische vermenging het meest prevalent zijn.
• Brede Toepasbaarheid: De methode wordt gedemonstreerd over diverse diffusie-backbones (SD1.5, SD3.5-M, Flux, Qwen-Image) en zowel voor text-to-image als layout-to-image generatietaken.

Resultaten

• Prestaties: Op IntraCompBench presteert ISAC (specifiek de latent optimalisatie variant, ISACLO) significant beter dan voorgaande training-vrije methoden. Zo verbeterde de multi-class nauwkeurigheid voor intra-categorie prompts op SD1.5 van ~20% (sterkste baseline) naar 36%, en de ruimtelijke scores op HRS-Bench verdubbelden bijna (0.135 naar 0.263).
• Telnauwkeurigheid: ISACLO bereikt een hogere nauwkeurigheid bij het tellen van instanties dan count-gesuperviseerde methoden (bijv. CountGen, Counting Guidance) zonder hulpmodellen of fine-tuning te vereisen. Op SD1.4 bereikte het een instantie-telling nauwkeurigheid van 70% vergeleken met 49% voor Counting Guidance.
• Layout-to-Image: Wanneer toegepast op layout controllers (bijv. GLIGEN), verfijnt ISAC grove, overlappende bounding boxes tot dichte instantie-maskers, waardoor het samenvoegen van aangrenzende objecten wordt voorkomen.
• Efficiëntie: Hoewel ISACLO latentie introduceert door backpropagation, biedt de latente selectie variant (ISACLS) een gradiënt-vrij alternatief dat geschikt is voor grotere modellen (bijv. Flux.2, Qwen-Image) door de beste sample uit een batch te selecteren op basis van de ISAC score.

Betekenis en Claims
Het artikel claimt dat ISAC een praktisch, reproduceerbaar pad biedt om de betrouwbaarheidsgap tussen open-weight diffusiemodellen en commerciële systemen (die vaak propriëtaire data en reasoning loops gebruiken) te verkleinen. Door de instantie-grenzen expliciet te stabiliseren voordat de semantiek wordt toegewezen, pakt ISAC de kernoorzaak van multi-instantie fouten in de vroege diffusiestappen aan. De auteurs benadrukken dat deze "instance-first" hiërarchie een veelbelovende richting is voor gedecoupleerde structuur–semantiek controle, niet alleen in T2I, maar potentieel ook in video en andere gestructureerde generatieve settings. Het werk demonstreert dat high-fidelity multi-instantie generatie kan worden bereikt door middel van inference-time attention manipulatie zonder de computationele kosten van hertraining of externe perceptuele modellen.