Tuna-2: Pixel Embeddings Beat Vision Encoders for Multimodal Understanding and Generation

1. Probleemstelling

Huidige Unified Multimodal Models (UMM's) vertrouwen doorgaans op voorgeregelde visuele encoders (bijvoorbeeld CLIP voor begrip, VQ-VAE voor generatie) om ruwe afbeeldingen om te zetten in latente representaties. Deze modulaire aanpak introduceert verschillende kritieke beperkingen:

• Representatiemisalignering: Afzonderlijke encoders voor begrip en generatie creëren een disconnectie tussen de twee taken, wat volledige end-to-end optimalisatie verhindert.
• Inductieve Bias: Voorgeregelde encoders leggen vaste invoeroplossingen op en beperken de toegang tot fijnmazige, laag-niveau visuele details, wat de prestaties hindert bij taken die precisieperceptie vereisen.
• Architectuurcomplexiteit: De afhankelijkheid van meerdere modulaire componenten (encoders, connectoren, decoders) vercompliceert het trainingsproces en verhindert dat het model een echt verenigde representatie direct leert vanuit ruwe pixels.

De auteurs vragen zich af: Kunnen we een verenigd multimodaal model bouwen dat zowel begrip als generatie direct uitvoert vanuit ruwe pixels, waarbij voorgeregelde visuele encoders volledig worden verworpen?

2. Methodologie

Het paper introduceert Tuna-2, een native verenigd multimodaal model dat volledig in pixelruimte opereert. De methodologie is ontwikkeld door een progressieve vereenvoudiging van bestaande architecturen:

A. Architecturale Evolutie

De auteurs stellen een drie-fasen evolutie voor om de uiteindelijke encoder-vrije ontwerp te bereiken:

1. Tuna (Basislijn): Gebruikt een standaard modulair ontwerp met een VAE-encoder voor generatie en een representatie-encoder (bijvoorbeeld SigLIP) voor begrip.
2. Tuna-R (Intermediair): Verwijdert de VAE maar behoudt een voorgeregelde representatie-encoder (SigLIP 2). Het gebruikt een patch-embeddinglaag om afbeeldingen om te zetten in tokens voor de LLM-decoder, en voert generatie in pixelruimte uit via flow matching.
3. Tuna-2 (Eindresultaat): Verwijdert de voorgeregelde representatie-encoder volledig. Het vervangt complexe encoders door eenvoudige patch-embeddinglagen die ruwe afbeeldingspixels direct tokeniseren. Het volledige systeem is een enkele, monolithische Transformer-decoder die tekst- en visuele tokens gezamenlijk verwerkt.

B. Generatie in Pixelruimte

In plaats van latente diffusie, hanteert Tuna-2 gecorrigeerde flow matching direct in pixelruimte:

• Doel: Het model voorspelt het schone beeld $x_1$ vanuit een ruw monster $x_t$ dat is opgebouwd via een lineair schema: $x_t = tx_1 + (1-t)x_0$.
• Verliesfunctie: Het minimaliseert de fout in snelheidsvoorspelling ($v_\theta$), waarbij $v_\theta = \frac{x_\theta - x_t}{1-t}$.
• Inferentie: Gebruikt een Euler-oplosser om beelden stap voor stap te ontdoen van ruis.

C. Masking-gebaseerde Feature Learning

Om de moeilijkheid aan te pakken om robuuste representaties te leren in de hoogdimensionale pixelruimte (wat vatbaar is voor oppervlakkige shortcuts), introduceren de auteurs een maskeringsschema:

• Mechanisme: Tijdens het trainen worden willekeurige afbeeldingspatches gemaskerd en vervangen door een leerbare maskertoken.
• Dubbele Rol:
  • Voor Generatie: Dwingt het model om schone patches te reconstrueren uit gedeeltelijk waargenomen ruizige invoer, waardoor een moeilijkere denoising-taak ontstaat.
  • Voor Begrip: Werkt als een regularisator, waardoor het model redenering moet uitvoeren onder gedeeltelijke visuele waarneming, wat over-reliance op specifieke visuele aanwijzingen voorkomt.

D. Trainingsproces

Het model wordt volledig end-to-end getraind in twee fasen:

1. Fase 1 (Pretraining): Gezamenlijke training op afbeeldingstiteling en tekst-naar-afbeelding-generatie (70% begrip, 30% generatie-data) met een ruggengraat van 7B parameters (Qwen2.5-7B-Instruct).
2. Fase 2 (SFT): Supervised fine-tuning op datasets voor het volgen van instructies voor afbeeldingen, bewerken en hoogwaardige generatie.

3. Belangrijkste Bijdragen

1. Tuna-2 Architectuur: De eerste native UMM die state-of-the-art (SOTA) prestaties bereikt in zowel begrip als generatie door voorgeregelde visuele encoders volledig te verwerpen, en uitsluitend te vertrouwen op pixel-embeddings.
2. Empirische Validatie van Encoder-Vrij Ontwerp: Demonstreert dat, hoewel voorgeregelde encoders helpen bij vroege convergentie, een encoder-vrije monolithische architectuur ze overtreft in multimodaal begrip, met name bij fijnmazige taken, na voldoende pretraining.
3. Schaalbaarheid in Pixelruimte: Bewijst dat flow matching in pixelruimte kan worden geschaald naar grote verenigde modellen, en concurreert met benaderingen in latentieruimte voor hoogwaardige afbeeldingsgeneratie en -bewerking.
4. Maskeringstrategie: Introduceert een maskering-gebaseerd leerschema dat training stabiliseert in hoogdimensionale pixelruimte en de robuustheid van representaties verbetert.

4. Experimentele Resultaten

De auteurs evalueerden Tuna-2 tegenover diverse baselines (inclusief Tuna, Tuna-R, Show-o2, BAGEL, en generatie-only modellen zoals FLUX.1).

• Multimodaal Begrip (Tabel 1):
  • Tuna-2 bereikt SOTA-prestaties onder native UMM's van 7B-schaal op algemene benchmarks (GQA, MMVet, MMMU) en pixelcentrische benchmarks (V*, CountBench, VisuLogic).
  • Het presteert aanzienlijk beter dan Tuna-R op taken voor fijnmazige perceptie, wat suggereert dat het verwijderen van de inductieve bias van de encoder betere learning van laag-niveau visuele details mogelijk maakt.
• Afbeeldingsgeneratie (Tabel 2 & 3):
  • Tuna-2 is concurrerend met SOTA verenigde modellen op GenEval en DPG-Bench.
  • Hoewel Tuna-R (met encoder) aanvankelijk iets beter scoort op generatiemetrics, haalt Tuna-2 in op na SFT.
  • Diversiteit: Tuna-2 genereert aanzienlijk meer diverse afbeeldingen dan Tuna-R en Tuna, zoals beoordeeld door LLM's (GPT-5.4, Claude Opus).
• Afbeeldingsbewerking & Reconstructie (Tabel 4 & 5):
  • Tuna-2 presteert sterk bij afbeeldingsbewerking (ImgEdit), en overtreft veel verenigde baselines.
  • Bij afbeeldingsreconstructietaken bereikt Tuna-2 reconstructiekwaliteit (PSNR/SSIM) die vergelijkbaar is met gespecialiseerde VAE's zoals FLUX.1, wat bewijst dat pixelruimte-representaties visuele informatie betrouwbaar kunnen coderen.
• Attention-analyse (Figuur 7):
  • Visualisaties tonen aan dat Tuna-2 nauwkeurigere en stabielere attention-maps heeft, die correct focussen op relevante visuele regio's, zelfs wanneer linguïstische prioren misleidend zijn (bijvoorbeeld het identificeren van een glazen beker in een voetbalcontext), terwijl modellen op basis van encoders vaak vertrouwen op tekst-priors of opvallende afleidingen.

5. Betekenis en Conclusie

Het paper daagt fundamenteel het heersende paradigma uit dat voorgeregelde visuele encoders noodzakelijk zijn voor hoogpresterende multimodale AI.

• Paradigmaverschuiving: Het demonstreert dat "end-to-end learning in pixelruimte" een levensvatbaar en superieur pad is voor het ontwikkelen van sterkere visuele representaties, vooral voor taken die fijnmazige perceptie vereisen.
• Eenvoud: Door complexe modulaire encoders weg te laten, vereenvoudigt Tuna-2 de architectuur tot een enkele Transformer, wat de engineering-overhead vermindert en echte gezamenlijke optimalisatie mogelijk maakt.
• Toekomstige Richting: De resultaten suggereren dat toekomstige native UMM's prioriteit moeten geven aan directe pixelmodellering boven compressie in latentieruimte, aangezien laatstgenoemde informatie-bottlenecks kan introduceren die de mogelijkheid van het model beperken om hoogwaardige visuele details waar te nemen en te genereren.

Kortom, Tuna-2 bewijst dat een eenvoudige, encoder-vrije architectuur die direct wordt getraind op ruwe pixels, complexe, encoder-gebaseerde systemen kan overtreffen in begrip terwijl het concurrerende generatiecapaciteiten behoudt, en zo een schaalbaar blauwdruk biedt voor de volgende generatie multimodale modellen.