💻 computer science

EvoLMM: Self-Evolving Large Multimodal Models with Continuous Rewards

Het paper introduceert EvoLMM, een zelfevoluerend framework dat twee samenwerkende agenten uit één model afleidt om onbewaakte, ongesuperviseerde verbetering van redeneervermogen in grote multimodale modellen mogelijk te maken via een continu zelfbeloningsproces zonder menselijke input.

Oorspronkelijke auteurs: Omkar Thawakar, Shravan Venkatraman, Ritesh Thawkar, Abdelrahman Shaker, Hisham Cholakkal, Rao Muhammad Anwer, Salman Khan, Fahad Khan

Gepubliceerd 2026-03-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Omkar Thawakar, Shravan Venkatraman, Ritesh Thawkar, Abdelrahman Shaker, Hisham Cholakkal, Rao Muhammad Anwer, Salman Khan, Fahad Khan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

EvoLMM: Hoe een AI zichzelf slim maakt zonder een leraar

Stel je voor dat je een kind wilt leren wiskunde, maar je hebt geen school, geen boeken en geen leraar die de antwoorden kent. Hoe leer je dat kind dan?

Meestal doen we dit door het kind oefeningen te geven met de juiste antwoorden erbij. Maar wat als je dat niet kunt? Wat als je alleen maar een stapel onbegrepen tekeningen (foto's) hebt en het kind moet het zelf uitzoeken?

Dat is precies het probleem dat dit nieuwe onderzoek, genaamd EvoLMM, oplost. Het is een manier om een slimme computer (een 'Large Multimodal Model') slimmer te maken in het begrijpen van plaatjes en het oplossen van puzzels, zonder dat er ooit een menselijke leraar aan te pas komt.

Hier is hoe het werkt, vertaald in een simpel verhaal:

Het Geheim: Twee Personen in één Hoofd

Stel je voor dat de computer niet één persoon is, maar twee vrienden die in één hoofd wonen. Ze heten De Uitvinder (de Proposer) en De Oplosser (de Solver).

De Uitvinder kijkt naar een willekeurige foto (bijvoorbeeld een grafiek of een ingewikkelde tekening) en bedenkt een vraag erbij.
- Voorbeeld: "Als je hier begint, kun je dan bij punt B komen zonder de muur te raken?"
De Oplosser probeert die vraag te beantwoorden. Omdat hij nog niet perfect is, probeert hij het vijf keer achter elkaar.
- Antwoord 1: "Ja, via links."
- Antwoord 2: "Nee, dat kan niet."
- Antwoord 3: "Ja, via links."
- Antwoord 4: "Ja, via links."
- Antwoord 5: "Nee, via rechts."

De Magische Score: "Zijn we het eens?"

Hier komt het slimme deel. Er is geen leraar die zegt "Goed" of "Fout". In plaats daarvan kijkt de computer naar hoeveel van de antwoorden hetzelfde zijn.

Als de Oplosser vijf keer een heel ander antwoord geeft, is de vraag waarschijnlijk te moeilijk of te vaag. De computer krijgt een lage score.
Als de Oplosser vier of vijf keer hetzelfde antwoord geeft, betekent dat: "Ah, ik heb het door! Ik ben het met mezelf eens." De computer krijgt een goede score.

Dit is wat de auteurs een "continue beloning" noemen. In plaats van een harde "Goed/Fout" (zoals een cijfer 1 of 10), krijgt de computer een zachte, vloeiende feedback. Het is alsof je een bal gooit: als hij net niet in de mand valt, krijg je toch een klein beetje punten, zodat je weet dat je er bijna was. Dit helpt de computer om stap voor stap te leren, zonder dat hij vastloopt.

De Leren Cyclus: Een Zelfgemaakte School

Dit proces herhaalt zich duizenden keren, en het wordt steeds beter:

De Uitvinder leert dat als hij te makkelijke vragen stelt (waar het antwoord altijd "ja" is), de Oplosser snel klaar is, maar er niets wordt geleerd. Als hij te moeilijke vragen stelt, raken ze het niet eens.
Dus, de Uitvinder begint precies de juiste moeilijkheidsgraad te bedenken. Vragen die net even uitdaging bieden, maar waar de Oplosser het toch over eens kan worden.
De Oplosser leert door die goede scores om zijn redeneerproces te verfijnen. Hij wordt consistenter.

Het is alsof de computer een eigen school heeft gebouwd waar de leraar (Uitvinder) en de leerling (Oplosser) samenwerken om de perfecte lessen te maken, puur op basis van hun eigen prestaties.

Wat levert dit op?

De onderzoekers hebben dit getest met een bestaande slimme computer (Qwen2.5-VL) en alleen maar ruwe foto's gebruikt (geen antwoorden, geen labels). Het resultaat?

De computer werd 3% slimmer in het oplossen van wiskundige puzzels op basis van plaatjes.
Het kon beter omgaan met grafieken, diagrammen en ingewikkelde tekeningen.
Het systeem leerde zichzelf structuren aan in zijn denken, zonder dat iemand hem dat ooit heeft verteld.

Waarom is dit belangrijk?

Tot nu toe moesten we enorme hoeveelheden data verzamelen en mensen inhuren om antwoorden te controleren. Dat is duur en langzaam.

Met EvoLMM kunnen computers zichzelf verbeteren met alles wat ze zien. Het is alsof je een kind de wereld in stuurt en het leert zelf na te denken, in plaats van het alleen maar antwoorden te laten memoriseren. Dit opent de deur naar computers die in de toekomst echt autonoom kunnen leren in nieuwe situaties, zonder dat wij ze hoeven te programmeren of te corrigeren.

Kortom: EvoLMM is een slimme manier om een computer te laten spelen met zichzelf, waarbij het spelletje "eigenlijk" een school is die de computer voor zichzelf heeft ontworpen.

1. Het Probleem

Grote multimodale modellen (LMM's) hebben aanzienlijke vooruitgang geboekt in redeneren en waarnemen, maar hun huidige trainingspijplijnen hebben twee fundamentele beperkingen:

Afhankelijkheid van menselijke annotatie: Ze vereisen handmatig samengestelde datasets met vragen en antwoorden (QA-paren) of metadata.
Afhankelijkheid van externe beloning: Ze vertrouwen op extern gedefinieerde beloningsmodellen (reward models) of menselijke evaluatoren om de kwaliteit van antwoorden te beoordelen.

Deze afhankelijkheden beperken de schaalbaarheid, belemmeren domein-generalisatie en maken het moeilijk om modellen in omgevingen in te zetten waar geen annotaties beschikbaar zijn. Bestaande pogingen tot "zelf-evolutie" (zelflerende modellen) zijn vaak beperkt tot tekstuele domeinen of gebruiken nog steeds impliciete externe evaluatoren, heuristieken of discrete beloningen (zoals meerderheidsstemming), wat leidt tot instabiele training in complexe visuele taken.

2. Methodologie: EvoLMM

EvoLMM is een volledig ongezagde (unsupervised) zelf-evolutie framework dat de redeneercapaciteiten van een LMM verbetert zonder enige menselijke labels, metadata of externe beloningsmodellen. Het systeem werkt uitsluitend met ruwe afbeeldingen.

Kerncomponenten:
Het framework instantieert twee coöperatieve agenten vanuit één enkel basismodel (backbone):

De Proposer (Aanbieder): Genereert diverse, visueel verankerde vragen op basis van de invoer-afbeelding.
De Solver (Oplosser): Probeert deze vragen op te lossen door meerdere keer antwoorden te genereren.

Het Leerproces (Zelf-beloning):
Het systeem evolueert via een continu zelf-beloningsmechanisme dat gebaseerd is op interne consistentie:

Vraaggeneratie: De Proposer maakt een vraag $q$ voor een afbeelding $x$ .
Antwoordgeneratie: De Solver genereert $N$ onafhankelijke antwoorden $\{y_1, ..., y_N\}$ .
Consistentieberekening: Er wordt een empirische verdeling van de antwoorden berekend.
- Solver-beloning: In plaats van een discrete "juist/onjuist" of meerderheidsstemming, gebruikt EvoLMM een continu beloningssignaal. Dit signaal schaal op basis van de mate van overeenstemming tussen de gegenereerde antwoorden en wordt licht bestraft voor te lange antwoorden. Dit zorgt voor een gladde gradiënt, zelfs als het antwoord niet perfect is, wat stabiliteit biedt tijdens vroege trainingsfasen.
- Proposer-beloning: De Proposer krijgt een beloning gebaseerd op de entropie van de Solver-antwoorden. De beloning piekt wanneer de entropie in een "moderaten" bereik ligt (niet te makkelijk/waar de Solver zeker is, en niet te moeilijk/waar de Solver volledig in de war is). Dit creëert een automatisch curriculum waarbij de Proposer geleidelijk complexere, maar oplosbare vragen genereert naarmate de Solver verbetert.

Optimalisatie:
Beide agenten worden getraind met een REINFORCE policy gradient-algoritme, geregulariseerd door een KL-divergentie-term om te voorkomen dat het model te ver afwijkt van het oorspronkelijke voorgeprogrammeerde model.

3. Belangrijkste Bijdragen

Een volledig ongezagde zelf-evolutie framework: EvoLMM is het eerste framework dat LMM's in staat stelt om hun redeneercapaciteiten te verbeteren zonder enige vorm van menselijke supervisie of externe evaluatoren.
Continu zelf-beloningsmechanisme: In plaats van discrete meerderheidsstemming (wat instabiel is bij visuele onzekerheid), introduceert het paper een continu signaal gebaseerd op antwoord-consistentie. Dit biedt stabiele gradiënten en voorkomt dat het model in een lokaal optimum of "model collapse" terechtkomt.
Automatisch Curriculum: Door de entropie-gestuurde beloning voor de Proposer, ontstaat er een impliciet curriculum waarbij de moeilijkheidsgraad van de vragen dynamisch wordt afgestemd op het huidige niveau van de Solver.
Empirische Validatie: Het framework is getest op diverse wiskundige en visuele redeneerbenchmarks en toont consistente verbeteringen, zelfs zonder gebruik te maken van de trainingsdata van die benchmarks.

4. Resultaten

De auteurs hebben EvoLMM getraind op ongeveer 6.000 ruwe afbeeldingen van zes verschillende bronnen (zoals ChartQA, AI2D, Geometry3K) zonder enige QA-annotaties.

Prestaties: Bij gebruik van Qwen2.5-VL-7B als basismodel, boekte EvoLMM consistente verbeteringen van ~2% tot 3% op meerdere benchmarks:
- ChartQA: Van 84.00% naar 86.70%.
- MathVista: Van 68.46% naar 70.52%.
- ScienceQA: Van 88.30% naar 89.50%.
Vergelijking met Discrete Beloning: Een variant met discrete meerderheidsbeloning (zoals in eerdere LLM-werk) presteerde slecht of degradeerde zelfs, wat aantoont dat discrete signalen te onstabiel zijn voor multimodale redenering.
Schaalbaarheid: De methode werkt effectief op verschillende modelgroottes (van 7B tot 72B parameters) en verschillende architecturen (InternVL, Gemma, Llama), wat aangeeft dat het model-agnostisch is.
Parameter-efficiëntie: Het gebruik van LoRA (Low-Rank Adaptation) bleek superieur aan volledige fine-tuning of QLoRA, omdat het de vooraf getrainde visueel-taal uitlijning beter behoudt terwijl het stabiele co-evolutie toelaat.

5. Betekenis en Impact

Deze studie is significant omdat het een stap zet naar autonome, open-eindige multimodale intelligentie.

Onafhankelijkheid: Het toont aan dat LMM's hun eigen trainingsdata en evaluatiemetrics kunnen genereren, wat de weg vrijmaakt voor schaalbare zelfverbetering in domeinen waar geen annotaties beschikbaar zijn.
Stabiliteit: De introductie van een continu beloningssignaal lost het probleem van "sparse rewards" op in vroege trainingsfasen, wat essentieel is voor complexe visuele taken.
Toekomstperspectief: EvoLMM biedt een solide basis voor toekomstig onderzoek naar volledig zelflerende systemen die zonder menselijke tussenkomst complexe redeneertaken kunnen leren, wat cruciaal is voor de ontwikkeling van robuuste AI-systemen in de echte wereld.

Kortom, EvoLMM bewijst dat een LMM zijn eigen redeneervermogen kan verfijnen door simpelweg met zichzelf te spelen (vragen stellen en beantwoorden) en te vertrouwen op de interne consistentie van zijn eigen output als leerkracht.