Towards Robust Sequential Decomposition for Complex Image Editing

Technische Samenvatting: Op weg naar robuuste sequentiële decompositie voor complexe beeldbewerking

Probleemstelling
Recente visuele generatieve modellen hebben hoge-trouw beeldbewerking geavanceerd die wordt geleid door menselijke instructies. Deze modellen kampen echter met complexe instructies die combinatorische bewerkingsoperaties of inter-stap afhankelijkheden omvatten. Het artikel identificeert twee canonieke paradigma's die onder dergelijke complexiteit falen:

1. Eenmalige bewerking: Pogingen om alle opgedragen bewerkingen in één doorgang toe te passen. Dit faalt vaak om complexe instructies nauwkeurig te parseren, wat leidt tot onvolledige of incorrecte bewerkingen.
2. Sequentiële bewerking: Ontleedt taken in eenvoudigere stappen, maar lijdt aan cumulerende fouten. Onnauwkeurigheden die in vroege stappen worden geïntroduceerd, verspreiden zich door latere stappen, wat de trouw van het eindresultaat verslechtert.

De kernuitdaging ligt in het afwegen van de voordelen van meervoudige-stap instructiedecompositie tegen de nadelen van foutaccumulatie.

Methodologie
De auteurs stellen een robuuste oplossing voor binnen een unificerend contextbewerkingskader, waarbij een multimodaal model interleaved sequenties van gedecomposeerde instructies en hun corresponderende bewerkte afbeeldingen genereert, conditioned op de volledige geschiedenis van contextuele inputs.

• Synthetische Data-pijplijn: Om het gebrek aan hoogwaardige gedecomposeerde data voor complexe taken aan te pakken, ontwikkelden de auteurs een pijplijn in Blender.

  • Scène-initialisatie: Genereert procedurale 3D-scènes met willekeurige objecten en materialen.
  • Samenstelling van bewerkingsketens: Past een reeks van 10 atomaire bewerkingsoperaties toe (bijv. object toevoegen, verwijderen, verplaatsen, roteren, kleur/materiaal wijzigen, gezichtspunt wijzigen, achtergrond wijzigen).
  • Injectie van inter-stap afhankelijkheden: Introduceert complexiteit door latere operaties te laten verwijzen naar resultaten van eerdere bewerkingen (bijv. "verplaats het object dat werd herkleurd" of "voeg een boek toe waar de stoel oorspronkelijk stond").
  • Ground Truth: Omdat operaties deterministisch zijn, produceert de pijplijn perfect accurate gedecomposeerde sequenties en doelafbeeldingen, wat toelating geeft tot het cureren van 94.000 hoogwaardige bewerkingssequenties (60K onafhankelijk, 34K afhankelijk).

• Modeltraining: Het kader maakt gebruik van BAGEL, een unificerend multimodaal model. Het model wordt gefinetuned met drie doelstellingen:

  1. Instructiedecompositie: Voorspellen van gedecomposeerde instructies tussen tussenliggende afbeeldingen, gegeven de complexe instructie en de bronafbeelding.
  2. Contextbewerking: Genereren van tussenliggende en doelafbeeldingen op basis van gedecomposeerde tekst-afbeeldingsparen, met gebruik van een gecorrigeerde flow-doelstelling.
  3. Eenmalige bewerking: Behoud van de mogelijkheid om in één stap van bron naar doel te bewerken met de complexe instructie.

• Inferentie-paradigma's: De auteurs implementeren en vergelijken drie paradigma's tijdens inferentie:

  1. Eenmalige bewerking: Directe bewerking van bron naar doel.
  2. Volledige-context sequentiële bewerking (FCSE): Ontleedt de taak in $K$ stappen, waarbij elke stap aandacht besteedt aan alle vorige tekst- en afbeeldingscontexten.
  3. Contextgeleide sequentiële bewerking (CGSE): Een nieuw paradigma dat foutaccumulatie mitigeert. Het berekent een basissnelheid ($v_d$) vanuit de bronafbeelding en de volledige reeks gedecomposeerde instructies, en past vervolgens een apart "contextgeleiding"-term toe die is afgeleid van eerdere bewerkingsresultaten. Dit stelt het model in staat de invloed van historische bewerkingen te moduleren via een coëfficiënt ($\gamma_{ctx}$), waardoor vroege fouten latere stappen niet corrumperen.

• Sim-naar-Real Transfer: Om te generaliseren naar real-world afbeeldingen, wordt het model getraind op een mengsel van de synthetische gedecomposeerde sequenties en real-world eenmalige bewerkingsparen (van Pico-Banana).

Belangrijkste Resultaten

• Synthetisch Domein:

  • Zero-shot sequentiële bewerking veroorzaakt ernstige prestatiedegradatie in state-of-the-art modellen (bijv. GPT-4o, Gemini 2.5 Flash Image).
  • Finetunen op synthetische data maakt robuuste sequentiële decompositie mogelijk. Contextgeleide sequentiële bewerking (CGSE) presteert consequent beter dan eenmalige baselines en Volledige-context sequentiële bewerking, met name bij taken met inter-stap afhankelijkheden.
  • CGSE behaalt de beste door GPT-evalueerde scores en behoudt robuustheid in similariteitsmetrieken (DINO-I/DINO-D), zelfs naarmate de taakcomplexiteit (ketenlengte en afhankelijkheidsratio) toeneemt.
  • Het verhogen van het aantal decompositiestappen (tot $K=5$) levert over het algemeen verdere verbeteringen op.

• Sim-naar-Real Generalisatie:

  • Co-training met real-world data stelt de vaardigheden voor decompositie die zijn geleerd van synthetische taken in staat om effectief over te dragen.
  • Op de Complex-Edit benchmark bereikt het co-getrainde model met 2-staps Contextgeleide Bewerking superieure Instructievolging (IF) en Identiteitsbehoud (IP) in vergelijking met eenmalige baselines en modellen die uitsluitend op synthetische data zijn getraind.
  • Menselijke voorkeurstudies bevestigen dat de 2-staps CGSE-aanpak wordt geprefereerd voor instructievolging en identiteitsbehoud, hoewel het een lichte afweging toont in perceptuele kwaliteit in vergelijking met eenmalige bewerking op real-world afbeeldingen.

Betekenis en Claims
Het artikel claimt dat robuuste sequentiële decompositie haalbaar is door te trainen op hoogwaardige, gedecomposeerde bewerkingssequenties en deze te integreren met een goed ontworpen inferentie-paradigma dat foutaccumulatie beheert. Specifiek:

• Sequentiële Decompositie is Leefbaar: In tegenstelling tot het geloof dat sequentiële uitvoering onvermijdelijk leidt tot resultaten met lage trouw door foutaccumulatie, tonen de auteurs aan dat met adequate training en het Contextgeleide paradigma, decompositie robuuste verbeteringen oplevert, zelfs naarmate de taakcomplexiteit toeneemt.
• Sim-naar-Real Transfer: Vaardigheden die zijn geleerd van synthetische taken (specifiek het vermogen om redenering over afhankelijkheden en instructiedecompositie) kunnen succesvol worden overgebracht naar real-world domeinen via co-training, waardoor complexe beeldbewerking wordt versterkt over bredere domeinen.
• Kadergebruik: Het contextbewerkingskader biedt een unificerend perspectief om verschillende bewerkingsparadigma's te bestuderen en te vergelijken, en onthult dat contextgeleide strategieën essentieel zijn voor het afwegen van de voordelen van decompositie tegen de risico's van foutpropagatie.

De auteurs concluderen dat, hoewel hun werk zich primair richt op semantische consistentie en instructievolging, het verbeteren van de perceptuele kwaliteit van sequentieel bewerkte afbeeldingen in de real-world een gebied blijft voor toekomstig werk.