💻 computer science

Editing Everything Everywhere All at Once

Dit artikel introduceert MICE, een training-vrije strategie voor Multimodale Diffusie Transformers die schaalbare, hoogwaardige multi-instance beeldbewerking mogelijk maakt in een enkele forward pass door aandachtmechanismen te reguleren om semantische interferentie en attribuutlekkage te voorkomen.

Oorspronkelijke auteurs: Fabio Quattrini, Carmine Zaccagnino, Enis Simsar, Marta Tintoré Gazulla, Rita Cucchiara, Alessio Tonioni, Silvia Cascianelli

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Fabio Quattrini, Carmine Zaccagnino, Enis Simsar, Marta Tintoré Gazulla, Rita Cucchiara, Alessio Tonioni, Silvia Cascianelli

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een digitale foto hebt van een drukke kamer en je wilt bijna alles in één keer veranderen: de koffiekop veranderen in een waterfles, de plafondtegels vervangen door houten balken, het whiteboard vervangen door een schoolbord, en het uitzicht buiten het raam veranderen in besneeuwde bergen.

Dit één voor één doen (de kop veranderen, dan het plafond, dan het bord) is traag en leidt vaak tot een rommelig resultaat waarbij de veranderingen niet goed bij elkaar passen. Maar dit allemaal in één enkele "snap" doen, is extreem moeilijk voor de huidige AI. Als je een AI vraagt om alles tegelijk te doen, raakt hij vaak in de war. De AI kan per ongeluk de besneeuwde bergen op de koffiekop schilderen, of de houten balken er zo uit laten zien dat ze bij het schoolbord horen. Dit wordt "attribute leakage" genoemd: de instructies lekken in elkaar over.

Het Probleem: Het "Drukke Kamer"-effect
Denk aan het brein van de AI als een drukke kamer waar iedereen instructies naar binnen schreeuwt. Als je de kamer vertelt: "Verander de kop" en "Verander het plafond" tegelijkertijd, raakt de AI overweldigd. De AI probeert naar iedereen te luisteren, maar de stemmen raken door elkaar. De instructie voor de "kop" kan per ongeluk de instructie voor het "plafond" grijpen, wat resulteert in een kop die op een plafond lijkt. Naarmate je meer veranderingen toevoegt, wordt de verwarring groter en het uiteindelijke beeld ziet er chaotisch uit.

De Oplossing: MICE (Multi-Instance Concurrent Editing)
De auteurs van dit paper hebben een nieuwe methode ontwikkeld genaamd MICE. Denk aan MICE als een superefficiënte verkeersregelaar voor het brein van de AI. In plaats van iedereen over elkaar heen te laten schreeuwen, geeft MICE elke instructie zijn eigen "baan", terwijl ze nog steeds het grote plaatje kunnen zien.

Zo werkt het, met eenvoudige analogieën:

De Segmentatie Maskers (De Sjablonen):
Eerst tekent de gebruiker (of een hulpprogramma) contouren rond de dingen die men wil veranderen. Stel je voor dat dit sjablonen of uitsnedes zijn op een stuk papier. MICE gebruikt deze sjablonen om precies te weten welk deel van de afbeelding bij welke instructie hoort.
De "Zachte" Muur (De Gaussische Vervaging):
Oude methoden probeerden harde, betonnen muren tussen deze sjablonen te bouwen. Als je een betonnen muur tussen de kop en het plafond plaatst, ziet het resultaat er hoekig en nep uit, als een slechte collage.
MICE gebruikt in plaats daarvan een zachte, wazige muur. Het creëert een geleidelijk verloop. De AI weet: "Oké, dit deel is definitief de kop, en dat deel is definitief het plafond." Maar precies waar ze elkaar ontmoeten, wordt de muur wazig. Hierdoor kan de kop natuurlijk overgaan in de tafel, en het plafond in de muur, zonder dat de instructies voor de kop de controle overnemen bij het plafond.
De "Verboden Zones":
MICE plaatst ook onzichtbare "Verboden Toegang"-borden op. Het vertelt de AI: "De instructie voor de kop mag praten met de kop, en die mag ook praten met de nabijgelegen tafel om te zorgen dat ze matchen. Maar het is strikt verboden om te praten met de instructie voor de besneeuwde bergen." Dit voorkomt dat de textuur van de "bergen" per ongeluk lekt naar de "kop".
Eén Pass, Eén Beurt:
De magie van MICE is dat het dit alles in een enkele forward pass doet. Stel je een schilder voor die normaal gesproken eerst de kop moet schilderen, moet wachten tot het droog is, dan het plafond moet schilderen, en dan weer moet wachten, enzovoort. MICE is als een schilder die de kop, het plafond, het raam en het tapijt allemaal in één enkele, vloeiende penseelstreek kan schilderen, waarbij elk deel perfect en verbonden oogt.

Waarom dit belangrijk is
Het paper heeft dit getest op een nieuwe, zeer moeilijke uitdaging genaamd MICE-Bench. Terwijl andere tests slechts vroegen om 3 dingen tegelijk te veranderen, vroeg MICE-Bench om gemiddeld 8,5 dingen in één enkele afbeelding te veranderen (sommige hadden zelfs tot wel 40 veranderingen!).

De resultaten lieten zien dat MICE veel beter is in:

Luisteren: Het verandert daadwerkelijk het juiste object in het juiste ding (bijv. de kop wordt een fles, en geen hond).
Behouden: Het laat de onderdelen die je niet hebt gevraagd om te veranderen exact zoals ze waren.
Blenden: De nieuwe objecten zien eruit also alsof ze natuurlijk bij de foto horen, met de juiste belichting en schaduwen.

Samenvattend
MICE is een "training-free" tool (het hoeft niet opnieuw te leren hoe het moet schilderen; het verandert alleen de manier waarop de AI de aandacht verdeelt). Het fungeert als een slimme organisator die verschillende bewerkingsinstructies gescheiden maar harmonieus houdt, waardoor je een complexe afbeelding met veel veranderingen in één keer kunt bewerken, zonder dat de AI in de war raakt of de details door elkaar haalt.

Technische Samenvatting: MICE (Multi-Instance Concurrent Editing)

Probleemstelling

Hoewel tekstgestuurde beeldbewerking aanzienlijk is geavanceerd, blijft het bewerken van meerdere afzonderlijke elementen binnen één enkele afbeelding een uitdaging. Bestaande oplossingen vertrouwen doorgaans op multi-turn pipelines, waarbij bewerkingen sequentieel worden toegepast. Deze aanpak is inefficiënt, tijdrovend en gevoelig voor visuele degradatie (drift) naarmate het aantal iteraties toeneemt. Bovendien is de uiteindelijke output bij sequentiële bewerking vaak pad-afhankelijk, vooral wanneer aangrenzende regio's worden bewerkt.

Gelijktijdige bewerking (concurrent editing)—het uitvoeren van alle transformaties in één enkele forward pass—biedt een praktisch alternatief voor efficiëntie en betere globale harmonisatie. Echter, huidige single-pass methoden worstelen met semantische interferentie. Wanneer meerdere instructies verschillende regio's targeten, interfereren hun semantische signalen vaak, wat leidt tot attribuut-lekkage (waarbij een bewerking bedoeld voor het ene object het andere object beïnvloedt) en een slechte edit-ontwarring (edit disentanglement). Naarmate het aantal gelijktijdige bewerkingen toeneemt, wordt het behoud van ruimtelijke lokaliteit en globale visuele coherentie progressief moeilijker.

Methodologie: MICE

De auteurs stellen MICE (Multi-Instance Concurrent Editing) voor, een training-vrije, architectuur-agnostische strategie ontworpen voor Multimodale Diffusie Transformers (MMDiTs) gebaseerd op Flow Matching. MICE werkt door de additieve bias van het gezamenlijke aandachtmechanisme (joint attention mechanism) te wijzigen om interacties tussen instantie-specifieke tokens te reguleren, zonder dat gradiëntafdaling of architecturale wijzigingen nodig zijn.

Kernmechanisme: Smoothly-Disentangled Attention

In tegenstelling tot eerdere methoden die harde binaire maskers (0 of $-\infty$ ) gebruiken om aandacht strikt te isoleren of toe te laten, introduceert MICE een continue, ruimtelijk-gesmoothde aandachtsbias. Deze aanpak balanceert tussen instantie-isolatie en globale harmonisatie.

Instantie-identificatie: De methode maakt gebruik van segmentatiemaskers ( $M$ ) voor elke doelinstantie, die door de gebruiker kunnen worden verstrekt of gegenereerd kunnen worden door een promptable segmentatiemodel (bijv. SAM).
Instantie-bewuste Smoothing: Om interferentie tussen aangrenzende instanties tijdens het smoothing-proces te voorkomen, passen de auteurs onafhankelijk van elkaar een Gaussische kernel toe op elk masker. Cruciaal is dat als een gesmoothde regio van de ene instantie overlapt met de strikte grenzen van een andere instantie, de overlappende waarden expliciet op nul worden gezet. Dit zorgt ervoor dat het smoothing-effect de instantie-grenzen respecteert.
Bias Matrix Constructie: De gesmoothde maskers worden gemapt naar de log-waarschijnlijkheidsruimte om een additieve bias-matrix ( $B$ $B$ ) voor de aandacht-logits te vormen. De bias-waarden worden gedefinieerd op basis van token-typen:
- Prompt Tokens: Een strikte binding wordt afgedwongen tussen prompt-tokens van dezelfde instantie om attribuut-lekkage binnen het tekstdomein te voorkomen.
- Globaal versus Lokaal: De globale prompt en achtergrond-tokens interageren onbevooroordeeld met alle latente en context-tokens om de globale visuele coherentie te bewaren.
- Instantie-specifieke Interacties: Voor tokens die behoren tot een specifieke instantie (latent of context), staat de bias interactie toe met naburige tokens met een afnemende negatieve bias die proportioneel is aan de afstand van het instantie-masker. Dit wordt gecontroleerd door een temperatuur-hyperparameter ( $\tau$ ) en kernelgrootte ( $k$ ).
- Onderdrukking: Tokens van ongerelateerde instanties worden verhinderd om op elkaar te letten (bias ingesteld op $-\infty$ ), wat kruis-instantie interferentie effectief onderdrukt.

Deze strategie stelt de bewerkte instantie in staat om natuurlijk te versmelten met de omgeving (harmonisatie), terwijl het voorkomt dat de attributen ervan lekken naar andere bewerkte regio's (ontwarring).

Belangrijkste Bijdragen

MICE Strategie: Een nieuwe, training-vrije methode voor schaalbare multi-instantie bewerking die de joint attention biases in MMDiTs wijzigt. Het vervangt rigide harde masking door een geprincipeerde, parametrische additieve bias die zachte overgangen tussen isolatie en harmonisatie mogelijk maakt.
Instantie-bewuste Smoothing: Een specifieke techniek om segmentatiemaskers te smoothen zonder interferentie tussen naburige instanties te veroorzaken, waardoor de aandachtsbias de ruimtelijke grenzen respecteert.
MICE-Bench: De introductie van een nieuwe benchmark die specifelijk is ontworpen voor het evalueren van hoog-densiteit gelijktijdige bewerking. In tegen tegenstelling tot bestaande benchmarks (zoals LoMOE-Bench) die gemiddeld 3 bewerkingen per afbeelding bevatten, bevat MICE-Bench 260 samples met een gemiddelde van 8,5 gelijktijdige bewerkingen (variërend van 5 tot 40), wat een strengere test biedt voor schaalbaarheid en ontwarring.
Uitgebreide Evaluatie: Uitgebreide experimenten die aantonen dat MICE beter presteert dan sterke baselines (inclusief MultiDiffusion, LoMOE, LayerEdit en IDAttn) en recente state-of-the-art modellen (Qwen-Image-Edit, Gemini 3 Pro Image) op het gebied van instructie-getrouwheid, achtergrondbehoud en gelokaliseerde bewerkingskwaliteit.

Experimentele Resultaten

De auteurs hebben MICE geëvalueerd op zowel LoMOE-Bench als de nieuw geïntroduceerde MICE-Bench met diverse FLUX-model backbones (4B, 9B, 32B).

Prestatie-metrieken: De evaluatie maakte gebruik van Target CLIP Score (Tgt C), Localized CLIP Score (Loc C), Mean Absolute Error on Background (MAEB) en Attempt Rate (AR%).
Vergelijking met Baselines:
- Op MICE-Bench behaalde MICE superieure Localized CLIP Scores vergeleken met multi-branch methoden (MultiDiffusion, LoMOE) en regularisatie-gebaseerde benaderingen (IDAttn).
- MICE demonstreerde een beter achtergrondbehoud (lagere MAEB) en een hogere instructie-getrouwheid dan end-to-end single-pass modellen zoals Qwen-Image-Edit en zelfs het gesloten model Gemini 3 Pro Image.
- De ablatie-studie bevestigde dat de voorgestelde instantie-bewuste smoothing strategie beter presteert dan naïeve Gaussische smoothing en strikte segmentatiemaskers, met name in scenario's met een hoge densiteit waar overlap tussen instanties gebruikelijk is.
Efficiëntie: MICE schaalt efficiënt met het aantal bewerkingen. In tegen tegenstelling tot multi-branch benaderingen (zoals MultiDiffusion) die een lineaire toename in VRAM-gebruik en inferentietijd vertonen naarmate het aantal branches groeit, behoudt MICE een computationele voetafdruk die vergelijkbaar is met single-pass methoden zoals IDAttn.

Betekenis en Claims

Het artikel claimt dat MICE een fundamentele beperking in huidige beeldbewerkingsparadigma's aanpakt: de trade-off tussen efficiëntie en de kwaliteit van multi-instantie bewerkingen. Door attributie-binding af te dwingen via een geprincipeerde aandachtsbias in plaats van heuristische laag-specifieke tuning of computationeel dure gradiëntafdaling, biedt MICE een draagbare en schaalbare oplossing.

De auteurs benadrukken dat hun methode:

Geen training vereist, waardoor deze direct toepasbaar is op bestaande pre-trained MMDiT-modellen.
Ontwarring verbetert in scenario's met hoog-densiteit bewerkingen waar eerdere methoden falen door semantische interferentie.
Globale visuele consistentie behoudt terwijl complexe, gelokaliseerde transformaties mogelijk worden gemaakt.

Het werk suggereert dat voor praktische, hoog-densiteit beeldbewerking, end-to-end regulariserende benaderingen zoals MICE noodzakelijk zijn om de schaalbaarheidsbottlenecks en numerieke instabiliteiten te overwinnen die inherent zijn aan multi-branch of iteratieve optimalisatiemethoden. De release van MICE-Bench wordt ook benadrukt als een belangrijke stap richting de standaardisatie van de evaluatie van complexe, multi-instantie bewerkingstaken.