MM-Zero: Self-Evolving Multi-Model Vision Language Models From Zero Data

Dit paper introduceert MM-Zero, het eerste RL-gebaseerde framework dat Vision Language Models zonder enige trainingsdata zelf kan laten evolueren door middel van een unieke drie-rollen architectuur (voorsteller, coder en solver) die samenwerken om visuele concepten te genereren en redeneervermogen te verbeteren.

De kern

MM-Zero: De Kunst van Zelfleren zonder Leraren

Stel je voor dat je een kind wilt leren rekenen en tekenen. Normaal gesproken geef je het kind een boek met oefeningen, een leraar die de antwoorden controleert en een stapel met voorbeelden. Maar wat als je dat boek en die leraar niet hebt? Wat als het kind het zelf moet uitvinden?

Dat is precies wat MM-Zero doet. Het is een slim systeem dat visuele taalmodellen (AI's die zowel tekst als plaatjes begrijpen) laat groeien zonder dat er ook maar één menselijke foto of vraag is gebruikt. Het begint bij nul data.

Het Drie-Persoons-Team: De Regisseur, De Schilder en De Oplosser

In het verleden probeerden AI's zichzelf te verbeteren met slechts twee rollen: iemand die een vraag stelde en iemand die het antwoord gaf. Maar voor plaatjes is dat niet genoeg; je hebt ook iemand nodig die het plaatje maakt.

MM-Zero introduceert een drie-persoons-gezelschap, waarbij iedereen begint als een beginnend kunstenaar en samen groeit tot een meester. Ze zijn allemaal gemaakt van hetzelfde "basismodel", maar krijgen verschillende hoeden op:

1. De Regisseur (De Proposer):

   • Wat doet hij? Hij droomt een verhaal uit. Hij zegt: "Teken een boom met drie appels en twee bananen." Hij bedenkt ook de vraag: "Hoeveel fruit is er totaal?"
   • De analogie: Hij is de regisseur die een script schrijft. Hij moet zorgen dat het script niet te makkelijk is (anders leert de AI niets) en niet te onmogelijk (anders kan de schilder het niet maken).

2. De Schilder (De Coder):

   • Wat doet hij? Hij neemt het script van de Regisseur en schrijft er code voor (zoals Python of SVG). Deze code wordt uitgevoerd om het plaatje daadwerkelijk te tekenen op het scherm.
   • De analogie: Hij is de schilder die het script omzet in canvas. Als de code fout is, krijg je een lelijke vlek in plaats van een boom. De AI moet leren hoe je code schrijft die precies doet wat de Regisseur bedoelt.

3. De Oplosser (De Solver):

   • Wat doet hij? Hij kijkt naar het getekende plaatje en probeert de vraag van de Regisseur te beantwoorden.
   • De analogie: Hij is de leerling die de toets maakt. Als hij het plaatje goed begrijpt, krijgt hij een goed cijfer.

Hoe leren ze? (Het Spel van de Gouden Middenweg)

Dit team speelt een oneindig spelletje van "Zelfversterking" (Self-Evolution). Hier is hoe het werkt, stap voor stap:

• De Regisseur bedenkt een idee.
• De Schilder probeert het te tekenen. Soms lukt het niet (de code crasht), soms is het plaatje lelijk.
• De Oplosser kijkt naar het plaatje.
  • Als het plaatje duidelijk is en de vraag makkelijk te beantwoorden, krijgt de Regisseur een straf. Waarom? Omdat het te makkelijk was. De AI moet leren om uitdagende vragen te stellen.
  • Als het plaatje onmogelijk te lezen is, krijgt de Schilder een straf. Hij moet leren betere code te schrijven.
  • Als het plaatje mooi is en de vraag net op de rand van wat de AI kan, krijgen ze allemaal punten. Dit noemen ze het "Gouden Middenweg"-principe (Goldilocks): niet te heet, niet te koud, maar precies goed.

Door dit spel duizenden keren te spelen, worden ze steeds beter. De Regisseur leert betere ideeën bedenken, de Schilder leert betere code schrijven, en de Oplosser leert beter kijken en redeneren. Ze hebben geen leraar nodig; hun eigen succes en mislukkingen zijn de leraar.

Waarom is dit zo speciaal?

Vroeger hadden AI's die plaatjes konden begrijpen, duizenden menselijke foto's nodig om te leren. Het was alsof je een speler moest trainen door hem 10.000 keer dezelfde wedstrijd te laten kijken.

MM-Zero is revolutionair omdat het geen enkele menselijke foto gebruikt.

• Het creëert zijn eigen "wereld" door code te schrijven.
• Het kan oneindig veel variaties maken (een boom met 3 appels, dan 300 appels, dan een boom in de sneeuw, dan een boom op Mars).
• Het leert redeneren over plaatjes die nog nooit bestaan hebben.

De Resultaten

De onderzoekers hebben dit getest met verschillende AI-modellen. Het resultaat?

• De AI's werden slimmer in het oplossen van wiskundige problemen op plaatjes.
• Ze werden beter in het begrijpen van grafieken en diagrammen.
• Ze maakten minder fouten (hallucinaties), omdat ze echt naar het plaatje moesten kijken om het antwoord te vinden, in plaats van te gissen.

Conclusie

MM-Zero is als een groep kunstenaars die in een afgesloten kamer zit. Ze hebben geen boeken, geen leraar en geen voorbeelden. Maar door samen te werken – één die ideeën bedenkt, één die ze tekent, en één die ze oplost – leren ze elkaar steeds beter worden. Uiteindelijk worden ze zo slim dat ze problemen kunnen oplossen die zelfs voor mensen lastig zijn, en dat allemaal zonder dat er ooit een mens heeft geholpen.

Het bewijst dat AI niet alleen hoeft te "leren" van wat mensen hebben gemaakt, maar dat het ook zijn eigen wereld kan bouwen om in te groeien.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "MM-Zero: Self-Evolving Multi-Model Vision Language Models From Zero Data" in het Nederlands.

Probleemstelling

Bestaande Vision-Language Models (VLMs) zijn traditioneel afhankelijk van grote hoeveelheden door mensen samengestelde datasets met afbeeldingen en labels voor hun training en doorontwikkeling. Hoewel "zelf-evoluerende" systemen (self-evolving) voor Large Language Models (LLMs) al succesvol zijn getoond waarbij modellen zonder menselijke data hun redeneervermogen kunnen verbeteren, is dit voor VLMs veel moeilijker.

• De bottleneck: VLMs vereisen visuele input. Bestaande zelf-evoluerende benaderingen voor VLMs vertrouwen vaak op statische, vooraf verzamelde datasets van afbeeldingen. Dit verplaatst de bottleneck slechts: de evolutie van het model wordt beperkt door de kwaliteit, diversiteit en beschikbaarheid van deze statische datasets.
• De uitdaging: Het creëren van een echt "zero-data" systeem voor VLMs, waarbij het model niet alleen vragen en antwoorden genereert, maar ook de benodigde visuele content (afbeeldingen) zelf creëert, zonder enige externe input.

Methodologie: MM-Zero Framework

MM-Zero introduceert het eerste Reinforcement Learning (RL) framework dat VLMs traint zonder externe data, door gebruik te maken van een tri-role (drie-rollen) zelf-evoluerende cyclus. Alle rollen worden geïnitieerd vanuit hetzelfde basismodel en geoptimaliseerd met Group Relative Policy Optimization (GRPO).

De cyclus bestaat uit drie gespecialiseerde agenten:

1. Proposer (Abstract Conception):

   • Genereert abstracte visuele concepten, gedetailleerde tekstuele beschrijvingen en bijbehorende vragen (zowel een "makkelijke" vraag om de rendering te verifiëren als een "moeilijke" vraag voor redenering).
   • Beloning: Ontvangt feedback op basis van of de gegenereerde code succesvol wordt gerenderd, of de makkelijke vraag correct is op te lossen (validatie), en of de moeilijke vraag op de juiste moeilijkheidsgraad ligt (niet te makkelijk, niet onmogelijk).

2. Coder (Visual Synthesis):

   • Vertaalt de tekstuele beschrijvingen van de Proposer naar uitvoerbare code (bijv. Python met Matplotlib of SVG) om de afbeeldingen te genereren.
   • Beloning: Gebaseerd op de succesvolle compilatie en rendering van de code, en de semantische correctheid van de gegenereerde afbeelding (wordt de afbeelding correct begrepen door de Solver?).

3. Solver (Multimodal Reasoning):

   • Voert redenering uit over de gegenereerde afbeeldingen om de moeilijke vragen te beantwoorden.
   • Beloning: Gebruikt Test-Time Reinforcement Learning (TTRL) via meerderheidsstemming (majority voting). Omdat er geen "ground truth" is voor de gegenereerde vragen, wordt de consistentie van de antwoorden van het model zelf gebruikt als beloningssignaal.

Belangrijke mechanismen:

• Goldilocks-principe: De beloningen zijn ontworpen om taken te genereren die "net goed" zijn: uitdagend genoeg om redenering te vereisen, maar oplosbaar genoeg om succesvol te worden.
• Diversiteitsbeloningen: Er zijn straffen voor te veel herhaling van contenttypes (bijv. alleen staafdiagrammen) of te simpele vragen, om te voorkomen dat het model in lokale optima belandt.
• Gesloten lus: De Solver geeft feedback aan de Coder (over de kwaliteit van de afbeelding) en de Proposer (over de moeilijkheidsgraad), waardoor het hele systeem zich gezamenlijk verbetert.

Kernbijdragen

1. Eerste Zero-Data VLM Framework: MM-Zero is het eerste systeem dat VLMs volledig zelf kan laten evolueren zonder enige externe dataset, afbeeldingen of menselijke annotaties.
2. Tri-Role Architectuur: In plaats van het gebruikelijke twee-rollen model (Proposer-Solver), introduceert het paper een drie-rollen structuur met een gespecialiseerde Coder. Dit overbrugt de kloof tussen abstracte taal en visuele gronding via code-generatie.
3. Scalable Self-Improvement: Het bewijst dat multimodale redeneercapaciteiten puur kunnen ontstaan door "self-play", waarbij het model zijn eigen trainingsdata (tekst, code, afbeeldingen) genereert.

Resultaten

Het framework is getest op verschillende basismodellen, waaronder Qwen3-VL (4B en 8B) en MiMo-VL-7B.

• Prestatieverbetering: Zonder enige externe data behaalde MM-Zero consistente verbeteringen op een breed scala aan VLM-benchmarks (zoals MMMU, MathVista, ChartQA).
  • Bijvoorbeeld: Het Qwen3-VL-8B model verbeterde zijn gemiddelde score op visuele wiskundetaakken van 50,7% (basis) naar 54,1% na drie iteraties.
  • Het MiMo-VL-7B model steeg van 50,9% naar 56,0%.
• Verbetering van de Coder: De succesratio van het renderen van afbeeldingen nam toe tijdens de training (van ~40% bij het 4B-model naar ~70% bij de grotere modellen), wat aangeeft dat het model leert betere code te genereren.
• Schalingsgedrag: Grotere basismodellen (7B/8B) profiteerden meer van de zelf-evolutie dan kleinere modellen (4B), waarschijnlijk omdat ze in staat waren om in de eerste instantie hogere kwaliteit code en afbeeldingen te genereren.
• Ablatiestudies: Het verwijderen van de "solvability cap" (de limiet op hoe makkelijk een vraag mag zijn) leidde tot "reward hacking" waarbij het model antwoorden direct in de afbeelding zette. Het verwijderen van diversiteitsbeloningen leidde tot overfitting op één type afbeelding (bijv. histogrammen) en een daling in prestaties.

Betekenis en Toekomstperspectief

MM-Zero markeert een paradigmaverschuiving in de ontwikkeling van multimodale modellen:

• Onafhankelijkheid van Data: Het toont aan dat de afhankelijkheid van dure, door mensen gecurateerde datasets voor het trainen van visuele redenering overbodig kan worden gemaakt.
• Nieuwe Systeemarchitectuur: Het bewijst dat het uitbreiden van het aantal agenten in een zelf-evoluerende cyclus (van 2 naar 3 of meer) essentieel is voor complexe taken zoals visuele synthese.
• Toekomst: Hoewel de huidige resultaten veelbelovend zijn, blijft de schaalbaarheid naar zeer grote modellen (bijv. 38B+) een uitdaging vanwege de hoge rekentijd. Toekomstig werk richt zich op het uitbreiden van de tooling (bijv. 3D-rendering) en het testen op nog grotere modellen om de grenzen van zelf-evoluerende algemene intelligentie te verkennen.

Kortom, MM-Zero biedt een schaalbare route naar zelf-verbeterende multimodale systemen die hun eigen complexiteit en kennis kunnen opbouwen, beginnend bij nul data.