MMCORE: MultiModal COnnection with Representation Aligned Latent Embeddings

Probleemstelling

De huidige staat van de kunst in multimodale generatie wordt gedomineerd door twee verschillende modelarchitecturen:

1. Autoregressieve (AR) modellen: Uitstekend in semantisch redeneren en taalbegrip (zoals LLMs en VLMs), maar vaak inferieur in fotorealistische beeldgeneratie.
2. Diffusie- of Flow-Matching (FM) modellen: Uitstekend in hoogwaardige beeldsynthese, maar beperkt in complexe semantische redenering en contextbeheer.

Bestaande pogingen om deze paradigma's te verenigen in één enkel framework (zoals Transfusion of BAGEL) leiden tot aanzienlijke uitdagingen:

• Efficiëntie: Diffusiemodellen vereisen een afwisseling tussen schone en ruisige features, wat het gelijktijdig optimaliseren van begrip en generatie in één doorloop belemmert.
• Kosten: Het trainen van een volledig uniek model van scratch is computationeel prohibitief.
• Koppeling: Bestaande methoden vereisen vaak diepe fusie of zware connectormodules die de training inefficiënt maken en de flexibiliteit beperken.

Het doel van MMCORE is een framework te creëren dat de sterke semantische redeneercapaciteiten van Vision-Language Models (VLMs) efficiënt overdraagt naar een diffusiemodel voor beeldgeneratie, zonder de hoge kosten van end-to-end hertraining.

Methodologie

MMCORE introduceert een gestroomlijnd, tweestaps trainingsframework dat een autoregressieve Multimodal Large Language Model (MLLM) koppelt aan een diffusie-gebaseerde generator via geleerde latente visuele embeddings.

1. Architectuur

Het model bestaat uit twee hoofdcomponenten:

• Basis: Een MLLM die semantische visuele latente embeddings voorspelt op basis van multimodale invoer (tekst en afbeeldingen) en query-tokens.
• Top: Een causale diffusie-netwerk (gebaseerd op MMDiT) dat pixels genereert op basis van tekst en de voorspelde visuele embeddings.

2. Kerninnovaties in de Training

Om de kloof tussen de tekst-dominante latentruimte van de MLLM en de ruimtelijk bewuste representaties van diffusiemodellen te overbruggen, introduceert MMCORE drie kritieke wijzigingen ten opzichte van eerdere werken (zoals MetaQueries):

• Gemeenschappelijke Fine-tuning van de MLLM Backbone: In plaats van een bevroren VLM te gebruiken met lichte adapters, wordt de volledige multimodale backbone gefine-tuned op zowel begrips- als generatiedata. Dit stelt het model in staat om zich specifiek aan te passen aan visuele token-synthese.
• Semantische Visuele Alignering via Distillatie: Om de zwakke supervisie van alleen de diffusieloss te verhelpen, wordt een "scaffolding"-mechanisme gebruikt. De gegenereerde query-tokens van de MLLM worden gedistilleerd naar de latentruimte van een bevroren, state-of-the-art visuele encoder (bijv. SigLIP of ViT). Dit zorgt voor een stabiel, semantisch dicht doelwit voor de visuele tokens.
  • Verliesfunctie: Een cosine similarity loss wordt gebruikt om de MLLM-tokens te aligneren met de ViT-features.
• Dual-Pathway Conditioning: Om informatieknelpunten te voorkomen, gebruikt het model twee paden:
  1. Visuele Query Tokens: Vangen globale semantiek en cross-modale grounding.
  2. Volledige Tekst-Embeddings: Behouden fijne lexische details en instructie-volgende beperkingen.
     Dit voorkomt dat complexe instructies verloren gaan door een vast aantal query-tokens.

3. Diffusie-Head en Training

• Interleaved Generation: Het model ondersteunt generatie van afbeeldingen in een wisselende volgorde met tekst. Een block-causale attention-mask zorgt ervoor dat de huidige frame-generatie afhankelijk is van de VAE-latents van voorgaande frames en de huidige tekst/visuele embeddings, maar niet van de visuele tokens van vorige frames (om stabiliteit te waarborgen).
• Efficiënte Training: Door de MLLM en de Diffusie-Head los te koppelen, kan de MLLM eerst worden getraind en vervolgens "bevroren" terwijl de Diffusie-Head wordt getraind. Dit vereist slechts ~30% van de rekenkracht van modellen die van scratch worden getraind.
• SFT en RLHF: Na pre-training wordt het model verfijnd via Supervised Fine-Tuning (SFT) op hoogwaardige instructiedata en Reinforcement Learning with Human Feedback (RLHF) om de alignering met menselijke voorkeuren te maximaliseren.

Belangrijkste Bijdragen

1. Unified Framework: Een efficiënt framework dat autoregressieve semantische modellering combineert met diffusie-gebaseerde visuele synthese zonder ze strak te koppelen in één netwerk.
2. Representation Alignment: Een nieuwe methode om MLLM-query-tokens te aligneren met visuele encoders via distillatie, wat leidt tot robuustere visuele tokens.
3. Dual-Pathway Conditioning: Een architectonische keuze die de voordelen van compacte visuele tokens en gedetailleerde tekstuele instructies combineert.
4. Resource Efficiency: Het elimineert de noodzaak voor zware connectormodules of end-to-end hertraining, waardoor het model veel sneller en goedkoper te trainen is dan bestaande state-of-the-art (SoTA) unified modellen.

Resultaten

MMCORE werd geëvalueerd op een interne benchmark (DreamBench) en vergeleken met SoTA-modellen zoals Seedream 4.0, GPT-Image-1, Gemini 2.5 en Flux Kontext.

• Kwantitatieve Prestaties:
  • Text-to-Image: MMCORE behaalde de hoogste scores in prompt-afbeelding coherentie (84,42% gemiddelde nauwkeurigheid in menselijke evaluatie), significantly beter dan concurrenten.
  • Image Editing: Het model toonde superieure instructie-afstemming en consistentie bij het bewerken van afbeeldingen, vooral in complexe scenario's met meerdere afbeeldingen.
  • Automatische Evaluatie: Op benchmarks zoals DreamBench AutoEval overtrof MMCORE alle baselines, inclusief Seedream 4.0.
• Kwalitatieve Analyse:
  • Het model toont sterk vermogen in ruimtelijk redeneren (bijv. "een man staat naast een vrouw, waarbij de ogen van de man op gelijke hoogte zijn met de mond van de vrouw").
  • Het slaagt erin om niet-letterlijke zinnen letterlijk te interpreteren en fijne details te behouden (bijv. een oranje kat op een shirt met staart die over de mouw loopt).
  • Het schaalbaar is tot lange contexten (>10 invoerafbeeldingen) met fijne lokale controle.
• Ablatie Studies:
  • Volledige fine-tuning van de MLLM presteerde aanzienlijk beter dan het gebruik van LoRA of bevroren backbones.
  • Een korte SFT-fase (2.000 stappen) bleek cruciaal om de aligneringsscores drastisch te verhogen (van ~0.82 naar ~0.86).
  • Het toevoegen van visuele latents direct aan de VAE-encoder van de diffusie-lead bleek contraproductief, wat aangeeft dat het scheiden van semantische en pixel-level features essentieel is.

Betekenis en Toekomstperspectief

MMCORE demonstreert dat hoogwaardige multimodale generatie bereikbaar is door de sterke punten van autoregressieve modellen (redeneren) en diffusiemodellen (kwaliteit) te combineren via een efficiënte, losgekoppelde architectuur.

• Impact: Het verlaagt de drempel voor het ontwikkelen van geavanceerde multimodale modellen door de trainingskosten te verlagen en de noodzaak voor enorme datasets en rekenkracht te verminderen.
• Beperkingen: Er is nog steeds een prestatiekloof met de allerbeste gespecialiseerde modellen (zoals Nano-Banana-pro), voornamelijk vanwege de kwaliteit van de onderliggende MLLM. Daarnaast bestaat er een trade-off: het fine-tunen voor generatie kan de oorspronkelijke begripscapaciteiten van het model lichtjes verminderen.
• Toekomst: De auteurs zien de ontwikkeling van een "Omni-Tokenizer" als de volgende stap: een uniek visueel representatiesysteem dat zowel pixel-perfect reconstructie (zoals een VAE) als hoog-niveau semantisch redeneren (zoals een ViT) tegelijkertijd ondersteunt, waardoor de scheiding tussen begrip en generatie volledig kan worden opgeheven.