Technische Samenvatting: DuET (Dual Expert Trajectories) voor Diffusie-beeldredactie

1. Probleemstelling

Recente instructie-gebaseerde beeldredactiemodellen, zoals FLUX2-Klein en verenigde multimodale modellen (UMMs), conditioneren het denoising-proces bij elke stap op een bronafbeelding om de structurele integriteit te waarborgen. Hoewel dit "persistente bronafbeelding-verankering" ervoor zorgt dat onbewerkte regio's stabiel blijven, stelt het artikel dat dit een fundamentele beperking creëert: wanneer de doelscène aanzienlijk afwijkt van de invoer (bijv. globale herschrijvingen, objectvervangingen), heeft het model moeite om de instructie volledig uit te voeren. Dit resulteert vaak in outputs die minder natuurlijk zijn dan pure tekst-naar-beeld (T2I) generatie, waarbij compositie-artefacten, textuurconflicten en inconsistenties in belichting optreden.

Huidige pipelines opereren doorgaans in één modus voor de gehele trajectorie—ofwel strikt in de edit-modus (bron + instructie) ofwel in T2I-modus (alleen bijschrift)—waardoor ze er niet in slagen de dubbele capaciteiten van het model te benutten om de bronverankering tijdens een enkele edit dynamisch te moduleren.

2. Methodologie: DuET

De auteurs stellen DuET (Dual Expert Trajectories) voor, een training-vrij inferentiekader dat de conditionering-modi binnen een enkel denoising-traject dynamisch wisselt. De kernmechanisme behelst een tijdelijke overgang van de edit-modus naar de caption-alleen T2I-modus en weer terug naar de edit-modus (E → T2IE → E).

2.1 Het Wisselmechanisme

• Standaard Edit (E): Conditioneert op de bronafbeelding ($x_{src}$) en de edit-instructie ($p_{edit}$) bij alle stappen $k$.
• Standaard T2I: Conditioneert alleen op een doel-bijschrift ($c_{tgt}$) bij alle stappen.
• DuET Schedule: De sampler draait in Edit-modus voor de initiële stappen, schakelt over naar T2I-modus (met behulp van een doel-bijschrift gegenereerd door een extern Vision-Language Model) voor een specifiek interval $[k_1, k_2)$, en keert vervolgens terug naar de Edit-modus voor de resterende stappen.
  • De "experts" in deze context zijn geen aparte netwerkgewichten maar onderscheidende conditionering-modaliteiten.
  • Dit vereist geen gewichtsaanpassingen, geen extra forward passes en geen model-fintuning.

2.2 Generatie van het Doel-bijschrift

Wanneer de trajectorie de T2I-fase ingaat, heeft het model een doel-bijschrift ($c_{tgt}$) nodig dat de beoogde uitkomst beschrijft. DuET verkrijgt dit via een externe VLM (bijv. Gemini-2.5-pro) geconditioneerd op de bronafbeelding en de oorspronkelijke edit-instructie.

2.3 Selectieve DuET (Adaptieve Routering)

In het besef dat vaste intervallen onnodig de bronbehoud kunnen verslechteren voor editten die geen globale veranderingen vereisen, introduceren de auteurs Selectieve DuET. Deze variant gebruikt lichtgewicht "attention-probe" signalen die gelezen worden uit de vroege stadia van een pure editing-pass om te beslissen of er van modus gewisseld moet worden.

• Signalen: Twee metrieken worden berekend tijdens een vroege probe-stap ($k=9$):
  1. $\pi$ (Preservation Pressure): Een hoog-kwantiel maatstaf voor hoe sterk de aandacht van het model verankerd is aan de bronafbeelding.
  2. $cv$ (Coefficient of Variation): Een maatstaf voor de ruimtelijke lokaliteit van de afhankelijkheid van de bron.
• Beslissingsregel: Als de edit een hoge preservatie-druk vertoont ($\pi > 0.22$) of een hoge ruimtelijke lokaliteit ($cv > 0.50$), blijft het systeem in de pure Edit-modus. Als de edit ruimtelijk uniform is en een lage preservatie-druk heeft (wat duidt op een globale herschrijving), triggert het systeem de T2I-excursie.

3. Belangrijkste Bijdragen

1. Training-vrije Taakwisseling: Een framework dat de bronverankering moduleert door te alterneren tussen edit- en T2I-modi langs een enkel denoising-pad, wat de instructie-relevantie en getrouwheid verbetert zonder fintuning of extra rekenkracht.
2. Omvattende Evaluatie: Een uitgebreide evaluatie op FLUX2-Klein (4B/9B) en BAGEL modellen over meerdere benchmarks (GEdit, ImgEdit, MagicBrush, GIE-Bench), waarbij gematchte controles worden gebruikt om de effecten van het weglaten van de bronafbeelding versus het wisselen van het bijschrift te isoleren.
3. Selectieve DuET: Een per-edit routeringsstrategie die aantoont dat de afruil tussen edit-getrouwheid en bronbehoud niet fundamenteel is. Door te routeren op basis van aandachtssignalen, verbetert het de getrouwheid en natuurlijkheid terwijl het bronbehoud visueel ononderscheidbaar blijft van de baseline.

4. Experimentele Resultaten

De auteurs evalueerden DuET op drie basismodellen met 50-staps sampling.

• Prestaties bij Vaste Intervallen: Vaste DuET-schema's (bijv. wisselen naar T2I voor intervallen zoals $[10, 16)$, $[25, 35)$, of $[35, 45)$) verbeterden consistent de semantische consistentie (G_SC), de perceptuele kwaliteit (G_PQ) en de functionele correctheid over alle modellen heen vergeleken met de pure editing-baseline.
• De Afruil: Deze winsten gingen gepaard met een meetbare kost in bronbehoud (lagere pixel SSIM en Unmasked-CLIP scores). Het artikel merkt op dat deze afruil niet fundamenteel is maar afhangt van het schakelschema.
• Ablatie-studies:
  • Conditionering Varianten: De winsten worden primair gedreven door het weglaten van de bronafbeelding-conditionering tijdens het T2I-interval, in plaats van enkel het wisselen van het tekst-prompt. Varianten die de bronafbeelding behielden (I2IC) of de oorspronkelijke prompt behielden (T2IEP) leverden significant lagere verbeteringen in getrouwheid en natuurlijkheid op.
  • Timing: Nauwere vensters en specifieke plaatsingen (bijv. $[10, 16)$) boden de beste balans tussen getrouwheid en behoud voor FLUX2-Klein 4B/9B, terwijl latere vensters de semantische consistentie bevoordeelden op BAGEL.
• Selectieve DuET Prestaties: Door de T2I-excursie alleen toe te passen op editten die er baat bij hebben (globale herschrijvingen), bereikte Selectieve DuET een hoge functionele correctheid terwijl het bronbehoud-scores (SSIM $\approx 0.786$) behield die perceptueel ononderscheidbaar waren van de baseline, waardoor de getrouwheid-behoud afruil die bij vaste schema's werd waargenomen, effectief werd doorbroken.

5. Betekenis en Claims

Het artikel claimt dat DuET een voorheen onderbenutte capaciteit van verenigde multimodale modellen demonstreert: het vermogen om conditionering-modaliteiten te wisselen binnen een enkel inferentie-traject.

• Bescheidenheid van Claims: De auteurs stellen expliciet dat Selectieve DuET een "bewijs van bestaan" is en geen universele oplossing. Ze erkennen beperkingen, waaronder de afhankelijkheid van vroege trajectie-signalen voor routering (wat de beslissingsdiepte beperkt), het gebruik van VLM-judges in plaats van menselijke studies voor perceptuele drempelwaarden, en de afhankelijkheid van externe VLMs voor de generatie van bijschriften, wat semantische mismatches kan introduceren als het bijschrift afwijkt van de impliciete intentie van de instructie.
• Kerninzicht: Het artikel concludeert dat persistente bronverankering de natuurlijkheid van editten beperkt voor afwijkende scènes. Door deze verankering tijdelijk te versoepelen via een T2I-fase, staat DuET de denoising-trajectorie toe om naar de doelverdeling te bewegen, terwijl de structurele voordelen van beeld-geconditioneerde editing voor de laatste stappen behouden blijven. Dit suggereert dat "hoe, wanneer en hoe vaak" men de conditionering-modi wisselt een kritiek gebied is voor toekomstige systematische studie in diffusie-gebaseerde editing.