OmniGen2: Towards Instruction-Aligned Multimodal Generation

Probleemstelling

Multimodale generatieve modellen hebben de afgelopen jaar aanzienlijke vooruitgang geboekt in het genereren van afbeeldingen uit tekst, het bewerken van afbeeldingen en het genereren van inhoud op basis van context (in-context generation). Echter, hun robuustheid in complexe, real-world scenario's blijft beperkt door een gebrek aan gegeneraliseerde instructie-uitlijning (instruction alignment).

De huidige uitdagingen zijn tweeledig:

1. Gebrek aan een robuuste basis: Bestaande open-source modellen zijn vaak te gespecialiseerd, over-geoptimaliseerd voor specifieke esthetische voorkeuren, of hebben een beperkt trainingsbereik, wat leidt tot een verlies aan plasticiteit en flexibiliteit.
2. Moeilijke uitlijning: Het aligneren van een basismodel vereist expliciete en uitgebreide beloningssignalen (rewards) en moet consistentie garanderen over alle generatietaken heen. Bestaande datasets voor complexe taken (zoals gedetailleerde beeldbewerking of consistente in-context generatie) zijn schaars en vaak van lage kwaliteit.

Methodologie

OmniGen2 introduceert een unificerend multimodaal generatiemodel dat is ontworpen om complexe, fijnmazige instructies te volgen. De aanpak bestaat uit drie hoofdblokken:

1. Architectuur: Ontkoppelde Decoding

OmniGen2 gebruikt een gestroomlijnde architectuur met twee gescheiden transformer-modules die sequentieel werken:

• Autoregressieve Transformer (VLM): Geïnitieerd vanuit Qwen2.5-VL-3B. Deze module verwerkt de multimodale context (tekst en invoerbeelden) en levert diepe semantische wereldkennis. Een speciaal token <|img|> markeert de overgang naar het generatieproces.
• Diffusion Transformer: Random geïnitieerd en toegewijd aan het genereren van hoogwaardige afbeeldingen.
• Conditionering: In plaats van instructies te comprimeren tot een vast aantal query-tokens (wat een informatiebottleneck veroorzaakt), conditioneert de diffusion decoder direct op de variabele lengte hidden states van de VLM. Daarnaast worden lage-niveau beeldfeatures (via Flux-VAE) gebruikt om fijne visuele details te behouden.

2. Omni-RoPE: Unificerende Positieve Encoding

Om de consistentie tussen meerdere afbeeldingen en binnen bewerkingen te waarborgen, introduceren de auteurs Omni-RoPE.

• Dit is een uitbreiding van Rotary Position Embedding (RoPE) naar een 3D-positie-identificatie: (Instance_ID, h, w).
• Instance_ID onderscheidt verschillende afbeeldingen of modaliteiten.
• (h, w) zijn lokale 2D-coördinaten binnen elke afbeelding.
• Dit zorgt ervoor dat het model verschillende afbeeldingen kan onderscheiden terwijl het de ruimtelijke consistentie behoudt voor taken zoals beeldbewerking en in-context generatie.

3. Trainingspipeline: Progressieve Reinforcement Learning

De training verloopt in twee fasen, gevolgd door een geavanceerde uitlijningsfase:

• Fase 1: Foundation Model Training: Pre-training op grote schaal (T2I en multimodale begrip) gevolgd door Supervised Fine-Tuning (SFT) op een mix van taken.
• Fase 2: Progressieve Instructie-uitlijning (RL): In plaats van één gezamenlijke trainingsfase, gebruiken de auteurs een progressieve curriculum met Group Relative Policy Optimization (GRPO).
  • Het proces is opgedeeld in sequentiële stappen: Eerst Image Editing (Edit), dan Text-to-Image (GenEval), en tot slot In-Context Generation (IC).
  • Voor elke stap worden specifieke beloningssignalen gebruikt (bijv. EditScore voor bewerkingen, Qwen2.5-VL voor in-context taken).
  • Deze volgorde is cruciaal: het begint met taken met rijkere supervisie (bewerking) om een robuuste basis te leggen voordat complexere generatietaken worden aangepakt.

Kernbijdragen

1. OmniGen2 Model: Een krachtig, instruction-aligned multimodaal model dat superieure prestaties levert in instructievolging, context-consistentie en generatiekwaliteit.
2. End-to-End Pipeline: Een complete aanpak die loopt van het bouwen van een sterk basismodel (met gebruik van video-gebaseerde dataconstructie voor rijkere context) tot dedicated multi-task alignment.
3. OmniContext Benchmark: Een nieuw, rigoureus benchmark-systeem om in-context beeldgeneratie te evalueren. Het bevat acht taakcategorieën (Single, Multiple, Scene) met focus op consistentie van personages, objecten en scènes. Dit vult een gat in de huidige evaluatielandschap.
4. Omni-RoPE: Een nieuwe positieve encoding methode die de prestaties van ruimtelijke consistentie en cross-image localisatie aanzienlijk verbetert.

Resultaten

OmniGen2 heeft getest op diverse benchmarks en toont concurrerende tot toonaangevende prestaties:

• Text-to-Image (T2I): Bereikt een score van 0.95 op GenEval, wat beter is dan geünificeerde modellen zoals UniWorld-V1 (0.84) en BAGEL (0.88), en zelfs gespecialiseerde modellen zoals Qwen-Image.
• Image Editing: Op benchmarks zoals Emu-Edit en GEdit-Bench behaalt het de hoogste scores voor edit-accuraatheid (CLIP-Out) en behoud van niet-bewerkte gebieden (DINO/CLIP-I). Het scoort beter dan gespecialiseerde open-source modellen en komt in de buurt van gesloten modellen zoals GPT-4o.
• In-Context Generation: Op de nieuwe OmniContext benchmark behaalt OmniGen2 een totaalscore van 7.95, wat aanzienlijk hoger is dan concurrenten zoals Qwen-Image-Edit-2509 en BAGEL. Het model slaagt erin de identiteit van onderwerpen te ontkoppelen van hun achtergrond en deze opnieuw te renderen volgens nieuwe instructies.
• Efficiëntie: Het model is zeer efficiënt, met slechts 4B trainbare parameters (3B VLM + 4B Diffusion, waarbij de VLM grotendeels gefrozen blijft tijdens de image rendering), terwijl het toch state-of-the-art resultaten behaalt.

Significantie

OmniGen2 vertegenwoordigt een belangrijke stap richting algemene multimodale intelligentie.

• Het bewijst dat een unificerend model (één model voor begrijpen, genereren en bewerken) niet ten koste hoeft te gaan van de kwaliteit van gespecialiseerde modellen.
• De progressieve RL-strategie toont aan dat de volgorde van trainingstaken en de selectie van beloningssignalen cruciaal zijn voor het voorkomen van "catastrophic forgetting" en het maximaliseren van synergie tussen taken.
• De introductie van OmniContext biedt de gemeenschap een gestandaardiseerde tool om de voortgang in controllable en referentie-gebaseerde beeldgeneratie te meten, een gebied dat tot nu toe onderbelicht was.
• Het model maakt complexe taken mogelijk zoals het behoud van identiteit over verschillende scènes heen en het uitvoeren van subtiele bewerkingen, wat essentieel is voor praktische toepassingen in creatieve industrieën en contentcreatie.

Kortom, OmniGen2 combineert een efficiënte architectuur met een doordachte trainingsstrategie om een model te creëren dat niet alleen instructies volgt, maar deze ook begrijpt en consistent toepast in complexe, real-world scenario's.