Technische Samenvatting: GAS (Generation as Auxiliary Supervision)

Probleemstelling

Multimodale Large Language Models (MLLM's) hebben aanzienlijk succes behaald in visuele begrijpingstaken (bijv. captioning, VQA) door visuele inputs te coderen naar teksttokens voor autoregressieve redenering. Dit paradigma rust echter uitsluitend op tekst-gebaseerde supervisie (Next Token Prediction), wat twee kritieke beperkingen introduceert:

1. Expressiviteitsbottleneck: Natuurlijke taal kan fijne visuele details zoals exacte ruimtelijke relaties, pixel-niveau grenzen of fysieke dynamiek niet precies coderen. Gevolgelijk vervaagt de visuele representatie in diepere LLM-lagen vaak, waarbij geometrische en structurele informatie verloren gaat.
2. Onderbenutte Data: Bestaande architecturen kunnen visueel intensieve data (bijv. segmentatie-masks, beeldbewerking) niet effectief consumeren voor training, waardoor een enorme bron van fijnmazige supervisie onbenut blijft.

Hoewel Unified Multimodal Models (UMM's) proberen begrip en generatie gezamenlijk te trainen, kampen zij met onopgeloste spanningen:

• Inference Overhead: De meeste UMM's behouden generatieparameters tijdens inference, wat leidt tot latentie en geheugenkosten.
• Objectief Conflict: Generatie-objectieven in UMM's zijn vaak geoptimaliseerd voor synthesekwaliteit in plaats van begrip, wat leidt tot prestatieplateaus of degradatie in begripstaken door conflicterende optimalisatiedruk.
• Gebrek aan Mechanisme: Bestaand werk rapporteert vaak geaggregeerde winsten zonder te verduidelijken hoe generatie het begrip ten goede komt of welke intermediaire representaties het meest geschikt zijn voor dergelijke supervisie.

Methodologie: GAS Framework

De auteurs stellen GAS (Generation as Auxiliary Supervision) voor, een trainingsframework dat visuele generatie niet herinterpreteert als een doel voor deployment, maar als auxiliaire supervisie om visuele representaties voor begrip te verrijken. Het framework bestaat uit drie kerncomponenten:

1. Next Embedding Prediction (NEP)

In plaats van discrete visuele tokenisatie of diffusie-objectieven te gebruiken (die disjuncte representatieruimtes creëren), formuleert GAS generatie als de autoregressieve voorspelling van continue visuele embeddings binnen exact dezelfde representatieruimte die door de LLM-backbone wordt geconsumeerd.

• Doel: Het model voorspelt doel-beeld-embeddings ($z_{tgt}$) afgeleid van een bevroren Vision Transformer (ViT) en een visueel-linguïstische projector.
• Loss: De generatie-loss wordt berekend als de cosinusafstand tussen voorspelde en grondwaarheid-embeddings in de continue ruimte, waarbij de nadruk ligt op het verrijken van de structurele representatie boven fotorealistische pixelsynthese.
• Stabilisatie: Een Exponential Moving Average (EMA) van de projector-gewichten wordt gebruikt om stabiele doel-embeddings te genereren, wat drift in de supervisie tijdens de gezamenlijke training voorkomt.

2. Mixture-of-Transformers (MoT) Architectuur

Om het conflict tussen generatie- en begripsobjectieven op te lossen, hanteert GAS een ontkoppelde architectuur:

• Shared Trunk: De lagere lagen van het model (tot een splitsingslaag $l_{split}$) worden gedeeld tussen de begrip- en de generatiebranch.
• Parallelle Branches:
  • De Understanding Branch loopt door in de hogere lagen en wordt uitsluitend geoptimaliseerd door tekst cross-entropy loss.
  • De Generation Branch bestaat uit onafhankelijke transformer-lagen geïnitialiseerd vanaf de backbone, die uitsluitend worden geoptimaliseerd door de NEP-loss.
• Mechanisme: Gradiënten van de generatie-loss stromen terug door de gedeelde trunk, waardoor de intermediaire verborgen toestanden ($H_{l_{split}}$) worden verfijnd met fijne visuele details. Deze verrijkte toestanden worden vervolgens gevoed aan de hogere begrip-lagen, die zich aanpassen om deze kenmerken te exploiteren zonder direct verstoord te worden door generatie-gradiënten.
• Zero Inference Overhead: Cruciaal is dat de volledige generatiebranch (parameters en vision head) na de training wordt verworpen. Het ingezette model is qua architectuur en kosten identiek aan een standaard begrip-georiënteerde MLLM.

3. Systematische Dataconstructie

De auteurs hebben een dataset geconstrueerd van ongeveer 10 miljoen generatiesamples over vijf categorieën en 15 subtaken, gegenereerd via een geautomatiseerde, annotatievrije pipeline:

• Categorieën: Grounding, Segmentatie, Beeldbewerking, Visual Chain-of-Thought (Visual-CoT) en Text-to-Image (T2I).
• Ontwerpprincipe: Taken worden geselecteerd op basis van hun latente cognitieve afhankelijkheid met begripscapaciteiten. Zo vereist Visual-CoT het genereren van intermediair visueel bewijs om redenering te ondersteunen, wat het model dwingt om precieze ruimtelijke en logische capaciteiten te ontwikkelen die bij alleen tekst-training ontbreken.
• Pipeline: Maakt gebruik van open-vocabulary tagging (RAM++), detectie (Grounding DINO) en LLM-gebaseerde instructie-synthese om hoogwaardige, moeilijkheidsgraad-gecontroleerde data te creëren zonder handmatige annotatie.

Belangrijkste Bijdragen

1. Zero-Overhead Transfer: De combinatie van continue NEP-supervisie en een verwijderbare MoT-generatiebranch maakt de transfer van generatief leren naar het ingezette model mogelijk met strikt nul inference overhead.
2. Task Correlation Hypothese: Het paper toont aan dat generatietaken met sterkere latente correlaties met begrip (bijv. grounding, segmentatie) de grootste winsten opleveren. Het combineren van diverse taken zorgt voor complementaire verbeteringen, met name op perceptie- en tel-benchmarks.
3. Systematische Analyse: Door middel van uitgebreide ablatiestudies en representatie-diagnostiek verduidelijkt het paper wanneer en waarom generatie helpt:
   • Het is gunstig tijdens alle trainingsfasen (van scratch, pretraining en SFT).
   • Het vereist specifieke architecturale isolatie (MoT) en objectiefontwerp (NEP); het simpelweg toevoegen van generatiedata of het gebruiken van een gedeelde backbone verslechtert de prestaties.
   • Het verbetert de retentie van visuele informatie in diepe lagen en verscherpt de aandachtsmechanismen naar relevante regio's voor de taak.

Resultaten

Geëvalueerd op 2B en 4B parameter backbones (gebaseerd op Qwen3-VL), vertoont GAS consistente verbeteringen ten opzichte van begrip-georiënteerde baselines:

• Ruimtelijk & Tellen: Significante winsten op CountBenchQA (bijv. +2.4 punten op de 2B schaal) en CV-Bench, direct toe te schrijven aan grounding en segmentatie taken.
• Redeneren: Verbeteringen op MathVista, DynaMath en VisuLogic, gelinkt aan Visual-CoT en bewerkings-taken.
• Generalisatie: GAS presteert beter dan of gelijk aan grotere unificatiemodellen (bijv. BAGEL 7B+7B, Emu3 8B) op meerdere benchmarks, terwijl het een kleiner aantal parameters en nul inference kosten behoudt.
• Tekst-redenering: Het framework behoudt en verbetert zelfs licht de zuivere tekst-redeneercapaciteiten (ZebraLogic, MMLU-Redux), wat aangeeft dat generatie-supervisie de taal-redenering niet ondermijnt.

Betekenis en Claims

Het paper claimt dat generatie-gestuurde training een praktische route is naar sterkere multimodale begrip zonder de deployment-penalties van unificatiemodellen. De primaire betekenis ligt in:

• Ontkoppeling van Training en Inference: Het bewijs dat generatie puur kan dienen als een training-time regularisator om visuele representaties te verfijnen, in plaats van een vereiste inference-capaciteit te zijn.
• Mechanistisch Inzicht: Het leveren van bewijs dat de voordelen voortkomen uit verrijkte ruimtelijke representaties en verbeterde informatie-retentie in diepe lagen, in plaats van enkel door een groter datavolume.
• Schaalbaarheid: Het aantonen dat geautomatiseerde, annotatievrije datasynthese effectief generatietaken kan opschalen om begrip te verbeteren, wat een blauwdruk biedt voor toekomstige MLLM-ontwikkeling die de enorme potentie van visuele data benut zonder de efficiëntie van de inference in gevaar te brengen.

De auteurs concluderen dat hoewel generatie- en begripsobjectieven kunnen conflicteren, een zorgvuldig ontworpen framework voor auxiliaire supervisie (GAS) de eerste kan aanwenden om de tweede aanzienlijk te versterken, waardoor state-of-the-art visueel begrip wordt bereikt met de efficiëntie van standaard tekstgeneratiemodellen.