Group Editing : Edit Multiple Images in One Go

Dit paper introduceert GroupEditing, een nieuw raamwerk dat expliciete geometrische correspondenties en impliciete videomodel-priors combineert om consistente en semantisch uitgelijnde bewerkingen over meerdere gerelateerde afbeeldingen met verschillende perspectieven mogelijk te maken.

De kern

Stel je voor dat je een fotoreeks maakt van je hond die door een park loopt. Je wilt dat je hond in elke foto precies hetzelfde nieuwe, futuristische pakje draagt.

Het probleem? In de ene foto loopt je hond naar links, in de andere naar rechts, en in weer een andere springt hij. Als je een standaard AI-tool gebruikt om het pakje toe te voegen, krijg je vaak een rommel: in de ene foto zit het pakje op de rug, in de andere op de staart, en in een derde foto is het pakje helemaal verdwenen. De AI "weet" niet dat het dezelfde hond is in alle foto's.

GroupEditing is de oplossing voor dit probleem. Het is een slimme nieuwe methode die ervoor zorgt dat je wijzigingen (zoals een nieuw pakje, een andere achtergrond of een kleurverandering) consistent worden toegepast op een hele groep gerelateerde foto's.

Hier is hoe het werkt, uitgelegd met een paar creatieve vergelijkingen:

1. De "Pseudo-Video" Truc

Stel je voor dat je een fotoalbum hebt. Normaal gesproken kijkt een AI naar elke foto als een losse, geïsoleerde wereld. GroupEditing doet iets anders: het pakt al die losse foto's en plakt ze samen alsof het frames uit een video zijn.

• De Analogie: Video's zijn geweldig omdat ze weten hoe dingen bewegen. Als je in een video ziet dat een bal van links naar rechts rolt, weet de computer dat het dezelfde bal is. GroupEditing gebruikt deze "video-geheugen" (die het heeft geleerd van bestaande videomodellen) om te begrijpen dat de hond in foto 1 en de hond in foto 5 hetzelfde dier zijn, zelfs als ze op verschillende posities staan.

2. Twee Soorten "Kijkbrillen"

Om de foto's perfect op elkaar af te stemmen, gebruikt de methode twee soorten "brillen" tegelijk:

• Bril 1: De Impliciete Bril (De Video-expert): Dit is de video-bril die zegt: "Hey, dit lijkt op een beweging in een film." Het zorgt voor een natuurlijk gevoel van samenhang.
• Bril 2: De Expliciete Bril (De Meetlat): Soms is een video-bril niet genoeg, vooral als de foto's heel sterk verschillen (bijvoorbeeld een extreme hoek). Daarom gebruiken ze een extra tool genaamd VGGT. Dit is als een super-scherpe meetlat die precies meet: "Dit punt op foto A correspondeert met dat punt op foto B." Het zorgt voor geometrische precisie.

Deze twee brillen worden samengevoegd. De meetlat (VGGT) geeft de video-bril extra steun, zodat de AI nooit de weg kwijtraakt, zelfs niet bij complexe hoeken.

3. De "Identiteits-anker" (Identity-RoPE)

Een groot probleem bij het bewerken van foto's is dat de AI soms vergeet hoe het object er oorspronkelijk uitzag. Je hond kan ineens een ander gezicht krijgen.

GroupEditing lost dit op met een Identiteits-anker.

• De Analogie: Stel je voor dat je een poppenkast hebt. Je wilt de poppenkast schilderen, maar je wilt niet dat de poppen veranderen in andere poppen. Het Identiteits-anker is als een onzichtbaar touwtje dat elke pop stevig vasthoudt op zijn plek. Zelfs als je de achtergrond schildert of de kleding verandert, blijft het gezicht van de hond exact hetzelfde. Dit zorgt ervoor dat je hond er in elke foto nog steeds uit ziet als jouw hond.

4. De Grote Bibliotheek (GroupEditData)

Om dit systeem te leren, hadden de onderzoekers duizenden voorbeelden nodig. Maar bestaande datasets waren niet goed genoeg. Dus bouwden ze hun eigen bibliotheek, GroupEditData.

• Ze gebruikten slimme computers om duizenden foto-groepen te maken, elk met een perfecte beschrijving en een masker (een precieze omtrek) van elk object. Het is alsof ze een trainingscampus hebben gebouwd waar de AI oefent met het consistent bewerken van foto's, tot het perfect is.

Waarom is dit belangrijk?

Vroeger moest je elke foto handmatig bewerken om ze consistent te houden, wat uren werk kostte. Met GroupEditing kun je in één keer zeggen: "Maak van deze hele serie foto's een winterse versie," en de AI doet het voor je.

• Voor online winkels: Je kunt een product (zoals een fiets) in 20 verschillende hoeken laten zien, en de AI zorgt dat de kleur en het ontwerp in elke hoek exact hetzelfde zijn.
• Voor films en games: Je kunt personages in verschillende scènes consistent laten veranderen zonder dat ze er ineens anders uitzien.

Kortom: GroupEditing is de "magische lijm" die een losse verzameling foto's omtovert tot een samenhangend verhaal, waarbij elke wijziging perfect wordt doorgevoerd in elk frame, zonder dat de identiteit van de objecten verloren gaat.

Technische samenvatting

Probleemstelling

Het paper adresseert het probleem van consistent en verenigd bewerken van een reeks gerelateerde afbeeldingen (Group-Image Editing). Waar bestaande methoden zich richten op het bewerken van één afbeelding per keer, is het uitdaging om dezelfde wijzigingen (zoals kleurstijl, object toevoeging of lokale retouchering) toe te passen op meerdere afbeeldingen die verschillende perspectieven, poses en ruimtelijke lay-outs hebben, zonder dat de identiteit van de objecten verloren gaat of inconsistenties ontstaan.

De belangrijkste uitdagingen zijn:

1. Geometrische complexiteit: Het vinden van betrouwbare correspondenties tussen objecten in afbeeldingen met verschillende rotaties, vervormingen of occlusies.
2. Identiteitsbehoud: Zorgen dat een object (bijv. een karakter of product) er in alle afbeeldingen hetzelfde uitziet na de bewerking.
3. Gebrek aan trainingsdata: Er waren geen grote datasets beschikbaar met hoogwaardige maskers en gedetailleerde beschrijvingen voor groepen afbeeldingen.

Methodologie: GroupEditing

De auteurs stellen GroupEditing voor, een nieuw trainingsgebaseerd raamwerk dat een reeks gerelateerde afbeeldingen herschrijft als pseudo-videoframes. Hierdoor kan het model profiteren van de temporele coherentie-priors die zijn geleerd door grote video-modellen.

De architectuur combineert twee soorten correspondenties:

1. Expliciete correspondentie (Geometrisch):

   • Het systeem gebruikt VGGT (een model voor visuele geometrische transformaties) om dichte geometrische correspondenties en ruimtelijke uitlijning te extraheren op basis van visuele kenmerken.
   • Deze expliciete cues worden ingebracht in het video-model via een nieuw mechanisme.

2. Implicitie correspondentie (Temporeel/Semantisch):

   • Door de afbeeldingen als een video te behandelen, leunt het model op de inherente priors van pre-getrainde video-diffusiemodellen (in dit geval gebaseerd op WAN-2.1) om semantische continuïteit en ruimtelijke transformaties te begrijpen.

Kerncomponenten van het model:

• Ge-RoPE (Geometry-enhanced RoPE): Een nieuwe module voor Relative Positional Encoding. Deze integreert de expliciete geometrische informatie (verplaatsingsvelden en dieptegerelateerde betrouwbaarheid) van VGGT in het video-model. Dit zorgt voor een fijne ruimtelijke uitlijning, zelfs bij complexe geometrische veranderingen.
• Identity-RoPE: Een module ontworpen om de identiteit van objecten consistent te houden. Deze gebruikt een 2D ruimtelijke positie-encoding gebaseerd op de binnenvolgende bounding box van het object in de segmentatiemaskers. Hierdoor delen corresponderende objectregio's in verschillende frames consistente positie-identificatoren, wat zorgt voor stabiel identiteitsbehoud.
• Fusie-mechanisme: De expliciete tokens van VGGT worden verrijkt en gevoed in de transformer-blokken van het video-model, waar ze samenwerken met de latente tokens voor self-attention en cross-attention.

Data Curation: GroupEditData

Om het model op grote schaal te trainen, hebben de auteurs een schaalbaar data-curatie-pijplijn ontwikkeld die GroupEditData heeft gegenereerd:

• Generatie: Gebruikmakend van tekst-naar-beeld modellen (Gemini 2.5) om groepen afbeeldingen te genereren vanuit één instructie.
• Kwaliteitscontrole: Geautomatiseerde evaluatie van semantische consistentie (met Qwen-VL-Max) en esthetische kwaliteit.
• Annotatie: Gebruik van Segment Anything (SAM) en Grounding DINO om nauwkeurige pixel-level maskers en gedetailleerde tekstbeschrijvingen (zowel voor het hele beeld als voor gemaskeerde regio's) te genereren.
• Resultaat: Een dataset van 7.517 hoogwaardige groepen afbeeldingen met precieze maskers en beschrijvingen.

Daarnaast hebben ze GroupEditBench gelanceerd, een dedicated benchmark met 800 afbeeldingsgroepen voor het evalueren van groepsbewerkingen.

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd en GroupEditing vergeleken met state-of-the-art (SOTA) methoden zoals Anydoor, OminiControl, Edicho, StyleAligned en Masactrl.

• Kwalitatieve resultaten: GroupEditing toont superieure consistentie in zowel lokale als globale bewerkingen. Het slaagt erin om objecten over verschillende hoeken heen identiek te houden en geometrisch complexe wijzigingen correct toe te passen.
• Kwantitatieve resultaten: Op de GroupEditBench presteert het model het beste op alle vier de belangrijkste metrieken:
  • Visuele Kwaliteit: Hogere scores op esthetische beoordeling en CLIP-score.
  • Bewerkingsconsistentie: Hoge feature-similariteit tussen de bewerkte frames.
  • Semantische Uitlijning: Betere DINO-scores.
  • Identiteitsbehoud: Menselijke evaluatie (user study) toont aan dat GroupEditing de beste resultaten behaalt voor identiteitsconsistentie en algehele kwaliteit.
• Toepassingen: Het paper demonstreert succesvolle toepassingen in 3D-reconstructie (waarbij de consistente bewerkingen leiden tot betere 3D-modellen via Must3R) en aangepaste generatie (via DreamBooth/LoRA op basis van de bewerkte resultaten).

Significantie en Bijdragen

De belangrijkste bijdragen van dit werk zijn:

1. Eerste trainingsgebaseerd framework: GroupEditing is het eerste systeem dat een reeks afbeeldingen expliciet als pseudo-video behandelt om consistente bewerkingen te leren.
2. Nieuwe architectuur: De introductie van Ge-RoPE en Identity-RoPE lost het probleem op van het combineren van expliciete geometrische cues met impliciete video-priors, wat essentieel is voor nauwkeurige uitlijning en identiteitsbehoud.
3. Datasets en Benchmark: De creatie van GroupEditData (de grootste dataset voor dit doel) en GroupEditBench vult een cruciale lacune in de literatuur en stelt de gemeenschap in staat om deze taak verder te onderzoeken.
4. Prestaties: Het bewijst dat het benaderen van multi-image editing via video-priors en geometrische verrijking aanzienlijk beter presteert dan bestaande methoden die per afbeelding werken of op optimalisatie gebaseerd zijn.

Samenvattend biedt GroupEditing een robuuste oplossing voor het creëren van consistente visuele content over meerdere perspectieven, wat essentieel is voor toepassingen zoals virtuele avatars, e-commerce en 3D-reconstructie.