InternVL-U: Democratizing Unified Multimodal Models for Understanding, Reasoning, Generation and Editing

Dit paper introduceert InternVL-U, een lichtgewicht 4B-parameter unificerend multimodaal model dat door middel van een decoupled architectuur en een op redenering gebaseerde data-pipeline superieure prestaties bereikt in begrijpen, redeneren, genereren en bewerken, terwijl het tegelijkertijd de efficiëntie en schaalbaarheid van grotere modellen overtreft.

De kern

🎨 De "Zesde Zin" van AI: InternVL-U

Stel je voor dat je een kunstenaar hebt die twee beroepen tegelijk wil doen:

1. De Kunstkriticus: Iemand die een schilderij kan bekijken en precies kan uitleggen wat er te zien is, waarom het mooi is en welke diepe betekenis het heeft (begrip en redeneren).
2. De Schilder: Iemand die een nieuw schilderij kan maken op basis van een beschrijving, of een bestaand schilderij kan aanpassen (creëren en bewerken).

Tot nu toe waren deze twee talenten vaak gescheiden. Of je had een slimme criticus die niets kon schilderen, of een snelle schilder die niet echt begreep wat hij schilderde.

InternVL-U is de eerste "super-kunstenaar" die beide talenten in één klein, efficiënt pakketje heeft. Het is een model van slechts 4 miljard parameters (wat in de wereld van AI heel klein is), maar het doet het beter dan veel reuzen die drie keer zo groot zijn.

🏗️ Hoe werkt het? De "Drie-Regels" Architectuur

De onderzoekers hebben een slimme manier bedacht om dit te bouwen, alsof ze een huis bouwen met drie specifieke regels:

1. De Slimme Hoofd (Het Brein):
   Het hart van het model is een bestaande, zeer slimme taal- en beeldverstaander (InternVL 3.5). Dit is het brein dat de instructies leest en begrijpt.

   • Analogie: Dit is de regisseur die het script leest en precies weet wat er moet gebeuren.

2. De Speciale Penseel (De Gen-Head):
   In plaats van het brein zelf te laten schilderen (wat traag en onnauwkeurig zou zijn), hebben ze een speciaal "penseel" toegevoegd: een MMDiT-head. Dit is een gespecialiseerd onderdeel dat alleen maar goed is in het maken van beelden.

   • Analogie: De regisseur (het brein) geeft de instructies aan een meester-schilder (het penseel). De regisseur hoeft niet zelf te schilderen, maar geeft wel de visie.

3. Twee verschillende Brillen:
   Normaal gesproken gebruiken AI-modellen dezelfde "bril" om een foto te bekijken én om er een nieuwe te maken. InternVL-U gebruikt twee verschillende brillen:

   • Bril A (Begrip): Kijkt naar de betekenis van een foto (bijv. "dit is een hond").
   • Bril B (Maken): Kijkt naar de details om iets te tekenen (bijv. "de vacht moet zacht lijken").
   • Waarom? Omdat het moeilijk is om tegelijkertijd diep na te denken en perfect te tekenen met dezelfde "hersenen". Door ze te scheiden, krijgt het model het beste van beide werelden.

🧠 De "Gedachtenstroom" (Chain-of-Thought)

Dit is misschien wel het coolste deel. Vaak zeggen mensen tegen een AI: "Maak een grappige plaat van een kat."
Een oude AI zou misschien een willekeurige kat maken.

InternVL-U gebruikt een trucje genaamd Chain-of-Thought (CoT). Het denkt eerst hardop na voordat het tekent.

• In plaats van: "Maak een plaat."
• Denkt InternVL-U: "Oké, de gebruiker wil een grappige plaat. Een kat die verdwaald is in een supermarkt? Nee, een kat die probeert een mens te troosten die boos is. Ik moet de tekst 'Broer, kalmeer' toevoegen. De kat moet een bepaalde houding hebben..."

Door deze stap-voor-stap redenering te gebruiken, kan het model complexe taken aan, zoals:

• Wiskundige problemen oplossen en het antwoord in een tekening zetten.
• Tekst in een foto vervangen (bijv. een bordje "Open" veranderen in "Gesloten") zonder dat de rest van de foto verandert.
• Wetenschappelijke diagrammen tekenen die kloppen (bijv. hoe een elektrisch circuit werkt).

🚀 Wat kan het allemaal?

Het model is getraind op een enorme hoeveelheid data, speciaal gemaakt voor moeilijke dingen:

• Tekst in Beelden: Het kan tekst op een bordje of T-shirt schrijven zonder dat het letters verdraait (een groot probleem voor andere AI's).
• Wetenschap: Het kan een diagram van een cel tekenen of een chemische formule maken die er echt uitziet.
• Ruimte en 3D: Het kan een object roteren of een 3D-figuur van een andere kant laten zien.
• Humor: Het kan "memes" maken die echt grappig zijn en de juiste emotie overbrengen.

🏆 Waarom is dit belangrijk?

Vroeger moest je een zware, dure computer gebruiken om een plaatje te maken, en een andere voor het begrijpen ervan.
InternVL-U bewijst dat je niet gigantisch groot hoeft te zijn om slim en creatief te zijn.

• Het is lichtgewicht: Het draait op minder krachtige hardware.
• Het is slimmer: Het begrijpt de instructies beter dan modellen die drie keer zo groot zijn.
• Het is veelzijdig: Je kunt er alles mee doen: van het maken van een logo tot het oplossen van een Sudoku en het uitleggen van de oplossing.

Samenvattend

Stel je voor dat je een multitasker hebt die niet alleen een gesprek met je kan voeren, maar ook direct de tekening maakt die je beschrijft, de tekst in die tekening corrigeert en uitlegt waarom de tekening logisch klopt. Dat is InternVL-U: de democratisering van super-intelligente beeldkunst, beschikbaar voor iedereen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "InternVL-U: Democratizing Unified Multimodal Models for Understanding, Reasoning, Generation and Editing" in het Nederlands.

Probleemstelling

Unificatie van multimodale modellen (UMM's) die begrijpen, redeneren, genereren en bewerken in één framework, staat voor fundamentele uitdagingen:

1. Architectonische Trade-offs: Bestaande modellen moeten vaak kiezen tussen sterke semantische comprehendie (begrip) en krachtige generatieve capaciteiten.
   • Native UMM's (vanaf nul getraind) worstelen met het balanceren van conflicterende data-distributies en missen vaak de voordelen van state-of-the-art (SOTA) begrijpende modellen.
   • Ensemble UMM's (koppeling van gescheiden modellen) leiden tot inefficiënte pipelines of vereisen enorme parametergroottes voor hoge kwaliteit, wat de kosten en complexiteit verhoogt.
2. Data- en Doelkloof: Generatiemodellen zijn getraind op esthetische, textuurrijke beelden met lage semantische dichtheid, terwijl begrijpende modellen afhankelijk zijn van data met hoge semantische dichtheid (tekst, diagrammen, wetenschappelijke kennis). Dit creëert een kloof in het vermogen om complexe instructies, tekstrendering en logisch redeneren correct uit te voeren.
3. Tekst en Redenering: Bestaande modellen falen vaak bij het genereren van leesbare tekst, het uitvoeren van wetenschappelijke taken of het volgen van complexe, meerstaps redeneerlogica bij beeldbewerking.

Methodologie: InternVL-U

InternVL-U is een lichtgewicht model (4 miljard parameters) dat deze uitdagingen aanpakt via een innovatieve architectuur en een geavanceerde trainingsstrategie.

1. Architectuur en Ontwerpprincipes
Het model bouwt voort op InternVL 3.5 (een open-source MLLM) en integreert een gespecialiseerde generatiekop. Drie kernprincipes leiden het ontwerp:

• Unificatie van Context met Modale Adaptiviteit:
  • Context: Visuele en linguïstische tokens worden in een gedeelde latente ruimte geprojecteerd voor eenheid in semantisch redeneren.
  • Generatie: In plaats van alles te tokeniseren, gebruikt het een hybride doelstelling. Tekst wordt gegenereerd via autoregressieve Next-Token Prediction (NTP), terwijl beelden worden gegenereerd in een continue ruimte via Flow Matching (een generalisatie van Diffusion).
• Modale Specifieke Modulariteit:
  • Het model gebruikt een gedecoupeerde visuele representatie. Voor het begrijpen van een beeld worden hoogwaardige semantische features gebruikt (via een ViT-encoder). Voor het genereren wordt een aparte, op reconstructie getrainde VAE (Variational Autoencoder) gebruikt. Dit voorkomt het compromis tussen abstractie en pixel-detail.
  • De generatiekop is gebaseerd op MMDiT (Multimodal Diffusion Transformer), die de verborgen staten van de MLLM als conditionering gebruikt.
• Efficiënte Structuur: De backbone blijft gefocust op semantisch redeneren, terwijl gespecialiseerde "stems" en "heads" de vertaling tussen modaliteiten verzorgen.

2. Trainingsstrategie
Een drie-traps curriculum learning wordt toegepast:

• Fase 1 (Pre-training): De generatiekop wordt gefine-tuned op de latente ruimte van de MLLM (512px resolutie), met een mix van tekst-naar-beeld en beeld-bewerking data.
• Fase 2 (Continu Pre-training): Variabele resoluties (512-1024px) en aspectratio's worden geïntroduceerd om visuele fideliteit te verbeteren.
• Fase 3 (Unified Supervised Finetuning): Het hele model wordt ontgrendeld. Hierbij wordt Chain-of-Thought (CoT) data geïntegreerd om abstracte instructies om te zetten in uitvoerbare stappen, wat de koppeling tussen intentie en visuele uitvoering versterkt.

3. Data Constructie
De auteurs hebben een uitgebreide pijplijn ontwikkeld voor het synthetiseren van data met hoge semantische dichtheid:

• Tekstgericht: Data voor het renderen van tekst in natuurlijke scènes en op effen achtergronden, inclusief meertalige ondersteuning.
• Wetenschappelijk: Data voor wiskunde, natuurkunde en informatica (bijv. SVG-gebaseerde diagrammen, Huffman-bomen), gegenereerd via programmatische tools.
• Ruimtelijk & Humor: Data voor 3D-rotaties, CAD-weergaven en meme-generatie.
• Redeneringsgericht (CoT): Een cruciale innovatie waarbij vage instructies worden omgezet in gedetailleerde, gestructureerde plannen met expliciete beperkingen en stappen.

Belangrijkste Bijdragen

1. InternVL-U Architectuur: Een efficiënt UMM dat semantisch begrip en pixel-perfecte generatie verenigt zonder de prestaties van de onderliggende MLLA te compromitteren, dankzij gedecoupeerde representaties en hybride trainingsdoelen.
2. Redeneringscentrische Data Synthese: De introductie van een CoT-paradigma dat abstracte gebruikersintenties vertaalt naar uitvoerbare visuele plannen, wat essentieel is voor complexe taken zoals tekstbewerking en wetenschappelijke visualisatie.
3. Benchmarking en Tools: De release van GenEditEvalKit voor efficiënte evaluatie en de TextEdit Benchmark om de staat van de kunst in tekstbewerking te meten.

Resultaten

InternVL-U (4B parameters) presteert opmerkelijk goed in vergelijking met modellen die 3x zo groot zijn (zoals BAGEL, 14B+):

• Begrip & Redeneren: Het behoudt robuuste prestaties op MLLM-benchmarks (MME-P, OCRBench, MMMU) en overtreft vergelijkbare UMM's, terwijl het redeneercapaciteiten behoudt die vergelijkbaar zijn met veel grotere modellen.
• Generatie (Tekst-naar-Beeld): Het scoort hoger dan bestaande UMM's op benchmarks zoals GenEval, DPG-Bench en OneIG, met name in het volgen van complexe instructies.
• Tekstrendering: Het behaalt state-of-the-art resultaten op CVTG-2k en LongText-Bench, waarbij het leesbare tekst in zowel Engels als Chinees genereert, een gebied waar veel UMM's falen.
• Beeldbewerking: Het overtreft baselines in algemene bewerking en toont uitstekende prestaties in tekstbewerking (TextEdit benchmark), waarbij het tekst nauwkeurig vervangt zonder de visuele consistentie te verliezen.
• Redenering in Bewerking: Met CoT-strategieën verbetert het model zijn prestaties op RISEBench (logisch redeneren bij bewerking) aanzienlijk, zelfs ten opzichte van gespecialiseerde gesloten modellen.

Betekenis

InternVL-U markeert een doorbraak in de democratization van geavanceerde multimodale AI. Het bewijst dat een compact model (4B) niet alleen begrijpende en redenerende taken kan uitvoeren, maar ook complexe generatieve en bewerkende taken met hoge precisie, mits de juiste architectonische keuzes (gedecoupeerde representaties) en data-strategieën (CoT, hoge semantische dichtheid) worden toegepast. Het model vormt een sterke basis voor de ontwikkeling van toekomstige AGI-gerichte systemen die zowel "slim" als "creatief" zijn, en biedt de gemeenschap open-source tools en benchmarks om deze veld verder te ontwikkelen.