Match-and-Fuse: Consistent Generation from Unstructured Image Sets

Probleemstelling

Bestaande generatieve AI-methoden zijn voornamelijk gericht op het genereren van individuele afbeeldingen of continuïteit in video's (waarbij dichte temporele sampling en beweging aanwezig zijn). Er is echter een significant gat in de technologie voor ongestructureerde beeldsets: collecties van afbeeldingen die een gemeenschappelijk visueel element delen (zoals een product, personage of object), maar die verschillen in perspectief, tijd van opname en omringende inhoud.

Het uitdaging ligt in het genereren van een nieuwe set afbeeldingen die:

1. De consistentie van het gedeelde object behoudt over alle afbeeldingen heen (identiteit, uiterlijk, geometrie).
2. De lay-out en pose van de bronafbeeldingen respecteert.
3. De achtergrond of sfeer aanpast aan een specifieke gebruikersprompt (thema), zonder dat de achtergronden noodzakelijkerwijs identiek hoeven te zijn.

Bestaande methoden falen hier vaak omdat ze ofwel per afbeelding werken (wat leidt tot inconsistenties) ofwel vereisen dat alle afbeeldingen tegelijk op één canvas worden gegenereerd, wat schaalbaarheidsproblemen oplevert en de resolutie beperkt.

Methodologie: Match-and-Fuse

De auteurs stellen Match-and-Fuse voor, een zero-shot, trainingsvrije methode die gebaseerd is op een vooraf getrainde tekst-naar-afbeelding (T2I) diffusiemodel (specifiek FLUX met dieptediepte-voorwaarde). De kern van de methode is het modelleren van de beeldset als een grafiek om lokale en globale consistentie te garanderen.

De pijlers van de methode zijn:

1. Pairwise Consistency Graph (Paarsgewijze Consistentiegrafiek):

   • In plaats van alle afbeeldingen tegelijk op één canvas te genereren, wordt de set gemodelleerd als een grafiek $G=(V, E)$, waarbij knopen ($V$) de afbeeldingen zijn en randen ($E$) alle mogelijke paren van afbeeldingen vertegenwoordigen.
   • Tijdens het denoising-proces worden paren van afbeeldingen gezamenlijk gegenereerd als een raster (grid). Dit benut het "grid-prior" van T2I-modellen, maar omzeilt de resolutiebeperkingen door de generatie te verdelen over paren.

2. Multiview Feature Fusion (MFF):

   • Om ervoor te zorgen dat het gedeelde object consistent blijft over verschillende paren heen, worden interne features van het diffusiemodel gemanipuleerd.
   • De methode gebruikt dichte 2D-correspondenties (geëxtraheerd uit de bronafbeeldingen met RoMA) om te identificeren welke pixels overeenkomen tussen afbeeldingen.
   • Tijdens het denoising-proces worden de features (keys en values) van overeenkomstige locaties in verschillende afbeeldingsparen gefuseerd (gemiddeld). Dit dwingt de modellen om visuele coherentie te behouden zonder dat handmatige maskers nodig zijn.

3. Feature Guidance:

   • Als een verfijningsslag wordt een optimalisatie-doelstelling gebruikt om de afstand tussen overeenkomstige features in de latent space te minimaliseren via gradiëntafstijging. Dit corrigeert kleine inconsistenties die door de MFF alleen niet opgelost zijn, zonder de latenten uit hun verdeling te duwen.

4. Prompt Samenstelling:

   • Een Vision-Language Model (VLM) genereert automatisch gedetailleerde prompts per afbeelding. Deze splitsen de input in een gedeeld object ($P_{shared}$) en een niet-gedeelde achtergrond/pose ($P_{non-shared}$), gebaseerd op de gebruikersinput voor het thema.

Kernbijdragen

• Eerste methode voor Set-to-Set generatie: Het is de eerste aanpak die zich richt op het genereren van volledige collecties in plaats van alleen afbeeldingsparen of video's.
• Trainingsvrij en Masker-vrij: De methode vereist geen fine-tuning van het basismodel en geen handmatige segmentatiemaskers; het vertrouwt op automatisch gegenereerde correspondenties.
• Nieuwe Evaluatiemetric: De auteurs introduceren DINO-MatchSim, een metric die de fijnkorrelige consistentie tussen afbeeldingen meet door de cosine-similariteit van features op overeenkomstige locaties (gebaseerd op DINOv3) te analyseren. Dit correleert beter met menselijke beoordelingen dan globale similariteitsmetrics.

Resultaten

De auteurs evalueren Match-and-Fuse op een nieuw benchmark van 400 bewerkingen over 149 diverse beeldsets (van foto's tot schetsen).

• Kwalitatieve Resultaten: De methode produceert sets met hoge consistentie in textuur, kleine details en typografie, zelfs bij niet-rigide pose-variaties en complexe achtergronden. Het slaagt erin om sets van 13+ afbeeldingen consistent te houden, wat een uitdaging is voor concurrenten.
• Kwantitatieve Resultaten:
  • DINO-MatchSim: Match-and-Fuse behaalt de hoogste scores voor consistentie, dichtbij de theoretische bovengrens (de bronset zelf), en overtreft baselines zoals FLUX, FLUX Kontext, IC-LoRA en Edicho aanzienlijk.
  • Prompt Adherence: De methode behoudt een vergelijkbare CLIP-score (prompt-gevolg) als de baselines, wat aangeeft dat de consistentie niet ten koste gaat van de creativiteit of instructie-opvolging.
  • User Study: Menselijke beoordelaars en een VLM (GPT-5) gaven Match-and-Fuse consequent de voorkeur boven alle andere methoden voor consistentie.
• Ablatie Studies: Het verwijderen van de grafiekstructuur, de multiview feature fusion of de feature guidance leidt allemaal tot een significante daling in consistentie, wat de noodzaak van elk component bevestigt.

Betekenis en Toekomstperspectief

Match-and-Fuse opent nieuwe mogelijkheden voor creatieve workflows in productmarketing, conceptkunst voor films, en historische archieven, waarbij bestaande fotoalbums of productsets kunnen worden getransformeerd naar nieuwe stijlen terwijl het object herkenbaar blijft.

De belangrijkste beperkingen die worden benoemd zijn de afhankelijkheid van de kwaliteit van de pixel-correspondenties (moeilijk bij grote occlusies of symmetrie) en de afhankelijkheid van het basismodel om de dieptekaarten correct te behouden. Desondanks legt dit werk de basis voor toekomstige uitbreidingen naar video-collecties en fundamentele modellen voor set-to-set generatie, en biedt het inzicht in hoe T2I-modellen kunnen worden gestuurd via grafiekgebaseerde feature-fusie.