iMontage: Unified, Versatile, Highly Dynamic Many-to-many Image Generation

Stel je voor dat je een robot probeert te leren een meesterkunstenaar te worden. Lange tijd hadden we twee heel verschillende soorten robots. Het eerste type was geweldig in het schilderen van één perfect plaatje op basis van een beschrijving, maar als je het vroeg om een heel verhaal met vijf verschillende scènes te tekenen, raakte het in de war en zagen de personages in elk frame er anders uit. Het tweede type was een videorobot, getraind op films. Het wist hoe het dingen vloeiend moest laten bewegen en hoe het gezicht van een personage hetzelfde blijft terwijl hij een straat afloopt. Maar deze robot was een beetje rigide; hij was gewend aan vloeiende, continue bewegingen en had moeite met plotselinge, schokkerige veranderingen of het springen tussen totaal verschillende scènes zonder een vloeiende overgang.

De grote vraag in deze hoek van de computerwetenschap is: Kunnen we één kunstenaar bouwen die het beste van beide werelden heeft? Kunnen we een model creëren dat de vloeiende stroom van de tijd begrijpt zoals een videorobot, maar ook de wilde, creatieve vrijheid heeft om tussen verschillende afbeeldingen en scènes te springen zoals een prentenboek? Dat is de uitdaging die het nieuwe paper, iMontage, probeert op te lossen. Het vraat of we de krachtige "bewegingshersenen" van een video-generator kunnen nemen en deze kunnen hertrainen om een chaotische, many-to-many mix van afbeeldingen aan te kunnen, waardoor een tool ontstaat die hele storyboards kan genereren of meerdere afbeeldingen tegelijk kan bewerken terwijl alles consistent blijft.

---

De Magie van iMontage: Een Storyboard-artiest met een Tijdmachine

Maak kennis met iMontum, een nieuw AI-model dat werkt als een superkrachtige, alles-in-één beeldgenerator. Zie het als een digitale regisseur die een handvol referentiefoto's en een tekstuele instructie kan nemen, en vervolgens direct een hele reeks nieuwe afbeeldingen uitspuugt die een samenhangend verhaal vertellen. Of je nu één foto wilt bewerken, drie verschillende personages wilt combineren in een nieuwe scène, of een stripstrip van vier panelen wilt genereren waarbij de outfit van het personage en de achtergrond drastisch veranderen, iMontage probeert het allemaal in één keer te doen.

Het geheime ingrediënt hier is dat de makers geen robot vanaf nul hebben gebouwd. In plaats daarvan hebben ze een vooraf getraind videomodel genomen—een systeem dat al beroemd is om het begrijpen van hoe dingen bewegen en veranderen in de tijd—en het een nieuwe taak gegeven. Normaal gesproken zijn videomodellen getraind op vloeiende, continue clips (zoals een persoon die loopt). Ze zijn niet gewend aan "harde cuts" of plotselinge sprongen waarbij de scène direct verandert. De auteurs hypotheseerden dat als ze de wilde, diverse inhoud van beeldgegevens in dit vloeiende video-framework konden injecteren, ze het beste van beide werelden zouden krijgen: de consistentie van een video en het dynamische bereik van een fotoalbum.

Hoe het werkt: De "Pseudo-Frame" Truc

Om dit werkend te krijgen, moest het team de video-model leren om afbeeldingen niet te zien als een continue film, maar als een flexibele set "frames" die verspreid kunnen worden. Ze gebruikten een slimme truc genaamd Marginal RoPE (een chique naam voor een positioneringssysteem).

Stel je een lange tijdlijn voor. Meestal ziet een videomodel frames 1, 2, 3, 4, 5 direct naast elkaar. iMontage behandelt de invoerafbeeldingen (de referenties die je het geeft) echter als "frames" aan het begin van de tijdlijn (de kop) en de uitvoerafbeeldingen (de nieuwe plaatjes die het creëert) als "frames" aan het einde van de tijdlijn (de staart). Het laat een grote, lege kloof in het midden open. Dit vertelt de AI: "Hé, deze eerste paar afbeeldingen zijn je aanwijzingen, en deze laatste paar afbeeldingen zijn je nieuwe creaties. Probeer ze niet vloeiend in elkaar over te laten lopen zoals in een film; behandel ze als afzonderlijke stappen in een verhaal." Deze eenvoudige verandering voorkomt dat het model in de war raakt over de vraag of het naar een video kijkt of een nieuwe set afbeeldingen genereert.

De Training: Leren van Chaos

Je kunt een videorobot niet simpelweg vertellen om "creatief te zijn" en verwachten dat het werkt. Het team moest een enorme, rommelige dataset samenstellen om het te leren. Ze gebruikten niet alleen vloeiende video's; ze zoch even specifiek naar clips met hoge beweging en "harde cuts" (plotselinge scèneveranderingen) om het model te leren hoe het met dynamische overgangen moet omgaan. Ze mengden ook miljoenen afbeelding-bewerkingsparen, waarbij een robot moest leren om bijvoorbeeld de kleur van een shirt te veranderen of een object te verwijderen.

Ze trainden het model met een strategie die ze CocktailMix noemen. Stel je een student voor die leert over wiskunde, kunst en muziek. Als je alle drie de vakken tegelijkertijd op hem afvuurt, kan hij overweldigd raken. Als je hem één voor één onderwijst, kan hij de eerste stof vergeten tegen de tijd dat hij bij het derde vak is. De auteurs ontdekten dat de beste manier was om te beginnen met de makkelijkste taken, en vervolgens langzaam moeilijkere taken toe te voegen terwijl de focus op de makkelijke taken geleidelijk werd verminderd. Deze "moeilijkheid-geordende" aanpak hielp het model om alles aan te kunnen, van eenvoudige bewerkingen tot complexe, multi-afbeelding storyboards, zonder de controle te verliezen.

Wat het Kan (en Wat het Niet Kan)

De resultaten zijn indrukwekkend. In tests toonde iMontage aan dat het kon:

• Afbeeldingen bewerken (één-op-één): De kleur van een cape veranderen of een schaar-doos verwijderen, waarbij het de prestaties van top commerciële modellen evenaart.
• Referenties combineren (veel-naar-één): Een foto van een persoon, een foto van een ijsbeer en een foto van een boot nemen en een nieuwe afbeelding genereren waarin ze allemaal samen in een coherente scène bestaan.
• Verhalen genereren (veel-naar-veel): Een reeks afbeeldingen maken (zoals een storyboard) waarbij een personage door verschillende scènes beweegt, terwijl de identiteit behouden blijft, zelfs wanneer de achtergrond en camerastandpunten drastisch veranderen.

Het paper suggereert dat deze aanpak superieur is aan eerdere methoden die probeerden deze taken te verenigen, vooral als het gaat om het consistent houden van personages over verschillende afbeeldingen heen en het afhandelen van plotselinge, dynamische veranderingen in de scène. In gebruikersstudies scoorde iMontage hoger dan andere open-source modellen wat betreft het opvolgen van instructies en het behouden van de consistentie van personages.

De auteurs zijn echter eerlijk over de beperkingen. Op dit moment werkt het model het best met maximaal vier invoerafbeeldingen en vier uitvoerafbeeldingen. Het is nog niet getest op extreem lange, complexe verhalen met tientallen panelen. Ook is het, hoewel het veel kan, niet perfect; soms kan het moeite hebben met zeer specifieke, moeilijk te definiëren details.

De Belangrijkste Conclusie

iMontage is een belangrijke stap voorwaarts omdat het bewijst dat je geen compleet nieuw soort AI nodig hebt om complexe beeldproblemen op te lossen. Door opnieuw na te denken over hoe we data aan een videomodel voeden—door afbeeldingen te behandelen als flexibele "pseudo-frames" in plaats van een rigide filmstroom—kunnen we een tool creëren die zowel consistent als wild creatief is. Het suggereert dat de toekomst van beeldgeneratie niet draait om het hebben van een aparte tool voor elke taak, maar om het bouwen van één veelzijdige "regisseur" die de hele productie kan beheren, van de eerste schets tot het definitieve storyboard.