Technische Samenvatting: Afbeeldingen in Zinnen (Inset)

Probleemstelling

Recente vooruitgang in multimodale taalmodellen heeft beeldgeneratie mogelijk gemaakt vanuit expressieve, multi-afbeeldingsinstructies. Bestaande methoden kampen echter met moeite om prestaties te handhaven onder complexe, verweven instructies die meerdere referentieafbeeldingen bevatten. Deze beperking vloeit voort uit twee primaire factoren:

1. Indirecte Referentiemechanismen: Huidige paradigma's behandelen afbeeldingen doorgaans als externe referenties die worden opgehaald via expliciete indices (bijvoorbeeld "de hond in Afbeelding 1"). Dit dwingt modellen om moeilijke lange-afstand afhankelijkheden te overbruggen om abstracte indices af te stemmen op verre visuele kenmerken, wat vaak leidt tot mislukte attributbinding of het verwaarlozen van specifieke afbeeldingsinput naarmate de sequentielengte toeneemt.
2. Schaarste aan Complexe Data: Bestaande verweven datasets zijn vaak beperkt in schaal en complexiteit, en missen de rijke, lange-horizon sequenties die nodig zijn om modellen te leren hoe ze ingewikkeld compositie-redeneren moeten hanteren met dichte visuele contexten.

Methodologie: Inset

Om deze uitdagingen aan te pakken, stellen de auteurs Images in Sentences (Inset) voor, een unificerend generatiemodel dat fundamenteel heroverweegt hoe visuele informatie wordt geïntegreerd in tekstuele instructies.

1. Unificerend Verweven Modelleren

In plaats van afbeeldingen te behandelen als externe referenties die ophaalwerk vereisen, embedt Inset afbeeldingen direct als native vocabulaire binnen de tekstuele instructie.

• Native Formulering: Visuele kenmerken worden direct gepositioneerd op hun corresponderende semantische slots binnen de zin (bijvoorbeeld "Een [Afbeelding1] robot houdt een [Afbeelding2] bloemenvaas"). Dit maakt gebruik van de contextuele localiteit van transformers om tekstuele beschrijvingen direct te binden aan visuele doelen, waardoor de noodzaak voor het model om lange-afstand afhankelijkheden tussen tekst en verre afbeeldingstokens op te lossen, wordt geëlimineerd.
• Architectuur: Gebaseerd op het BAGEL-model, maakt Inset gebruik van een Mixture-of-Transformer-architectuur. Cruciaal is dat het pixelniveau VAE-latente kenmerken uit de input verwijdert en uitsluitend vertrouwt op semantische ViT-embeddings. De auteurs betogen dat het opnemen van VAE-latents modellen bevooroordeelt ten opzichte van "image-pasting" (stijve kopieerwerk) in plaats van semantische integratie.
• Inferentiestrategie: Om te voorkomen dat visuele modaliteiten het generatieproces domineren, wordt een twee-staps leidingsstrategie toegepast. Dit omvat het kalibreren van de balans tussen tekst en visueel (versterking van tekstinvloed) en het toepassen van classifier-free guidance.

2. Schaalbaar Data-engine

Gezien het gebrek aan hoogwaardige verweven data, hebben de auteurs een schaalbaar data-engine ontwikkeld om 15 miljoen hoogwaardige samples te synthetiseren uit standaard afbeeldings- en videodatasets.

• Van Afbeeldingen: De pipeline maakt gebruik van Vision-Language Models (VLM's) om globale bijschriften te genereren en fijnmazige objectinstanties (maskers en bijschriften) te extraheren via het Segment Anything Model (SAM) en Describe Anything Model (DAM). Een LLM synthetiseert deze elementen vervolgens tot natuurlijke tekstsequenties met visuele embeddings die expliciet op hun semantische posities worden geplaatst.
• Van Video's: Om dynamische staatmanipulatie te leren, verwerkt de engine video-corpora. Het identificeert objectcorrespondenties over frameparen met significante temporele variatie met behulp van VLM's. Het filtert op paren die betekenisvolle semantische veranderingen vertonen (actie, houding, morfologie) en construeert instructies waarbij de visuele token afkomstig is uit een bronframe, en het generatiedoel een getransformeerde staat is in een doelframe.

3. InterleaveBench

De auteurs introduceren InterleaveBench, een rigoureus benchmark ontworpen om complexe multi-afbeeldingsscenario's te evalueren. Het kenmerkt zich door multi-afbeeldingscomposities met ingewikkelde instructies die logische ruimtelijke redenering en adaptieve attributemodificatie vereisen. De evaluatie maakt gebruik van een dual-perspectief LLM-as-Judge-framework om te meten:

• Afbeeldingsconsistentie: Identiteitsbehoud (schaal 1–5), met straffen voor drift terwijl instructie-gedreven variaties worden getolereerd.
• Tekstconsistentie: Semantische uitlijning via VQA-gebaseerde binaire vragen die specifieke attributen en relaties targeten.

Belangrijkste Resultaten

Experimenten op InterleaveBench tonen aan dat Inset significant beter presteert dan state-of-the-art methoden:

• Prestatiegaten: Inset behaalt superieure prestaties in zowel afbeeldings- als tekstconsistentie vergeleken met open-source modellen (bijvoorbeeld DreamOmni2, FluxKontext, Qwen Image).
• Schaalbaarheid: Het prestatievoordeel wordt groter naarmate de inputcomplexiteit toeneemt. In de "Five Objects"-instelling leidt Inset open-source baselines met 0,29 in afbeeldingsconsistentie en 0,24 in tekstconsistentie.
• Concurrerende Positie: Ondanks dat het minder parameters heeft (7B+7B) dan veel concurrenten, bereikt Inset prestaties die vergelijkbaar zijn met krachtige gesloten-source modellen (bijvoorbeeld GPT-4o, Seedream 4.0) in afbeeldingsconsistentie.
• Ablatiestudies: Het verwijderen van VAE-kenmerken en het gebruik van op video gebaseerde data werden geïdentificeerd als kritieke componenten voor het voorkomen van "image-pasting" en het mogelijk maken van dynamische staatmanipulatie, respectievelijk.

Betekenis en Claims

Het artikel claimt dat het behandelen van visuele inhoud als dichte, expressieve taal-tokens een veelbelovende richting biedt voor het bouwen van intuïtiever en unificerender multimodale systemen. Door afbeeldingen naadloos te embedden als native vocabulaire, overwint Inset de structurele scheiding tussen afbeeldingen en tekst in huidige paradigma's.

Naast standaardgeneratie benadrukken de auteurs dat dit verweven formaat zich natuurlijk uitbreidt naar multimodale afbeeldingsbewerking. Het model kan visuele inhoud integreren als onderdeel van de instructie, wat hoogst expressieve en creatieve visuele manipulaties faciliteert waarbij zowel tekst als specifieke visuele referenties het bewerkingsproces sturen. Het werk suggereert dat precieze objectbinding het beste wordt bereikt door gebruik te maken van de contextuele localiteit van de transformer in plaats van te vertrouwen op indirecte, index-gebaseerde referenties.