🤖 AI

MMBench-Live: A Continuously Evolving Benchmark for Multimodal Models

Het artikel introduceert MMBench-Live, een continu evoluerende multimodale benchmark die wordt aangedreven door een multi-agent geautomatiseerde pipeline die kosteneffectieve, hoogwaardige evaluatie-instanties genereert terwijl de distributieconsistentie behouden blijft en datacontaminatie wordt beperkt.

Oorspronkelijke auteurs: Yuanzhi Liu, Shousheng Zhao, Bo Zhou, Kongming Liang, Zhanyu Ma

Gepubliceerd 2026-07-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuanzhi Liu, Shousheng Zhao, Bo Zhou, Kongming Liang, Zhanyu Ma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leraar bent die een klas studenten probeert te beoordelen die leren om de wereld door computers te zien en te begrijpen (dit worden Vision-Language Models of VLM's genoemd).

Lange tijd hebben leraren dezelfde oude toetsenbladen (statische benchmarks) gebruikt om iedereen te beoordelen. Maar er is een groot probleem: de studenten bestuderen het internet, en het internet verandert elke seconde. Als het toetsblad van vorig jaar is, kunnen de studenten de antwoorden misschien al uit hun hoofd geleerd hebben omdat deze vragen in hun studiemateriaal voorkwamen (datacontaminatie). Ook kan de toets verouderd zijn en niet reflecteren wat de studenten vandaag daadwerkelijk kunnen.

MMBench-Live is een nieuwe, revolutionaire manier om tests te maken. In plaats van een statisch papier af te drukken en te hopen dat het relevant blijft, heeft de auteur een robotische test-makerfabriek gebouwd die constant verse, nieuwe vragen produceert.

Zo werkt het, met behulp van eenvoudige analogieën:

1. Het "Receptenboek" (Gestructureerde Benchmark)

Eerst nam het team niet zomaar willekeurige plaatjes. Ze namen de originele test (MMBench) en veranderden deze in een strikt receptenboek.

Ze braken elke vraag af in de kerningrediënten: Welke vaardigheid wordt hier getest? (bijv. een bord lezen, objecten tellen, een grap begrijpen).
Ze identificeerden de "smaak" van de originele vragen (bijv. "Deze vragen gaan meestal over drukke stadscentra" of "Deze gaan meestal over tekst op een menukaart").
Dit recept zorgt ervoor dat, hoewel de nieuwe vragen gloednieuw zijn, ze precies dezelfde smaak hebben als de oude. Ze testen dezelfde vaardigheden op dezelfde manier.

2. De "Slimme Verkenner" (Taakbewuste Data-acquisitie)

Vervolgens stuurt het systeem een Slimme Verkenner uit om nieuwe plaatjes uit de echte wereld (het internet) te vinden.

Het Probleem: Als je een zoekmachine vraagt naar "een plaatje van een kat", krijg je misschien een tekenfilmkat, een knuffelkat of een slapende kat. Maar als je test een "kat die een laserpointer achtervolgt" vereist, faalt een generieke zoekopdracht.
De Oplossing: De Verkenner heeft een specifieelijke missie. Hij gaat op pad, vindt plaatjes en heeft vervolgens een Feedback Controller (een strenge redacteur) die de plaatjes controleert.
De Lus: Als de Verkenner een plaatje van een slapende kat meebrengt, zegt de redacteur: "Nee, dit past niet bij het recept. Zoek liever naar 'actieve katten'." De Verkenner probeert het opnieuw. Dit gebeurt automatisch totdat de plaatjes de "smaak" van de originele test perfect matchen.

3. De "Chef en de Proever" (QA-generatie & Verificatie)

Zodra de juiste plaatjes zijn gevonden, moet het systeem de vragen en antwoorden schrijven.

De Chef: Een team van AI-"chefs" schrijft de vragen en antwoorden op basis van de afbeelding.
De Proever: Hier zit het slimme deel. Meestal raadt een AI gewoon het antwoord. Maar MMBench-Live dwingt de AI om een stapsgewijs recept (een uitvoerbaar plan) te schrijven voor hoe je het antwoord krijgt.
De Verificatie: Een apart, "blind" robotje (dat de afbeelding niet kan zien, alleen de tekst) volgt dat recept. Het voert de stappen uit. Als het recept zegt "Tel de rode auto's" en de robot telt er 3, terwijl de antwoordsleutel 4 aangeeft, weet het systeem dat het antwoord fout is en gooit het weg. Dit zorgt ervoor dat de antwoorden wiskundig en logisch correct zijn, en niet slechts gelukkige gokjes.

4. De Resultaten: Een Snelle, Goedkope en Eerlijke Test

Het artikel beweert dat dit systeem een gamechanger is om drie redenen:

Het is Vers: Het creëert 5.900 nieuwe testvragen met behulp van real-world data van het internet.
Het is Goedkoop en Snel: Dit handmatig doen zou duizenden dollars kosten en maanden duren. Deze robotfabriek doet dit in 1–2 uur voor ongeveer $30.
Het is Eerlijk: Omdat de vragen nieuw zijn en on-the-fly worden gegenereerd, kunnen de studenten (AI-modellen) de antwoorden niet simpelweg uit hun trainingsdata memoriseren. Het paper vond dat de "memorization signals" (fraas via geheugen) hier veel zwakker waren dan op oude tests.

De Kernboodschap

Beschouw MMBench-Live als een live kookwedstrijd waarbij de ingrediënten elk uur vers worden geleverd en de jury een strikte checklist heeft om te controleren of het gerecht aan het oorspronkelijke recept voldoet. Het bewijst dat we AI-modellen eerlijk en nauwkeurig kunnen blijven testen zonder vast te zitten aan verouderde, uit het hoofd geleerde of dure tests. Het is een duurzame manier om te zien of AI echt slimmer wordt of alleen maar beter wordt in het onthouden van het verleden.

Technische Samenvatting: MMBench-Live

Probleemstelling

De evaluatie van huidige vision-language modellen (VLM's) leunt zwaar op statische benchmarks. Hoewel deze essentieel zijn voor beoordeling, lijden deze vaste testsets aan temporele veroudering, datacontaminatie (waarbij trainingscorpora overlappen met testdata, wat scores opdrijft) en prohibitieve onderhoudskosten. Naarmate VLMs schalen en worden getraind op steeds grotere web-corpora, worden statische benchmarks fragiele proxies voor de werkelijke capaciteiten van een model.

Bestaande pogingen om benchmarks bij te werken, kampen met significante trade-offs:

Zelf-evoluerende methoden (visuele perturbaties/linguïstische herschrijvingen) lijden vaak aan semantische drift en verminderde vergelijkbaarheid.
Generatie-gebaseerde methoden kunnen distributie-kloven introduceren onder complexe restricties.
Actualisering met real-world data is veelbelovend voor versheid, maar mist vaak de systematische structuur om taaksemantiek, distributionele uitlijning en cross-versie vergelijkbaarheid over diverse multimodale taken heen te behouden.

De kernuitdaging is het creëren van een benchmark die continu evolueert met temporeel verse data, terwijl de semantische coherentie, distributionele consistentie en evaluatiestabiliteit vergelijkbaar blijven met de oorspronkelijke statische versie.

Methodologie: MMBench-Live Framework

De auteurs stellen MMBench-Live voor, een continu evoluerende multimodale benchmark die wordt geconstrueerd via een multi-agent-gestuurde geautomatiseerde pipeline. Het framework behandelt benchmark-evolutie als een taak-gestuurd dataset-constructieproces, geïnstantieerd door de oorspronkelijke MMBench bij te werken.

De pipeline bestaat uit drie primaire stadia:

1. Gestructureerde Benchmark Specificatie

Om consistentie te waarborgen, wordt de oorspronkelijke MMBench omgezet in een gestructureerde beschrijving die vier componenten bevat:

Evaluatiedoel: Hoogwaardige semantische karakterisering (bijv. ruimtelijk begrip, compositionele inferentie).
Evaluatieformaat: Structurele definities van input/output modaliteiten en responstypen.
Taakhiërarchie: Een meerlagige decompositie van grove taken naar fijnmazige sub-taken.
Atomaire Taken: Blad-niveau eenheden die de kleinste operationele evaluatie-eenheden definiëren. Cruciaal is dat elke atomaire taak een Taakkarakterisering bevat met:
- Tekstueel: QA-voorbeelden die de semantiek verduidelijken.
- Visueel: Taak-gerelateerde visuele patronen (recurrent visuele/semantische attributen die niet expliciet gedefinieerd zijn, maar impliciet geldige instanties beperken). Deze worden geïdentificeerd via een data-gedreven procedure waarbij een VLM patronen extraheert en een LLM deze consolideert.

2. Taakbewuste Data-acquisitie

In plaats van generieke zoekopdrachten, wordt dataverzameling beperkt door de taakintentie en visueel bewijs. Deze fase maakt gebruik van een Feedback-gestuurde loop:

Acquisitie Planner: Genereert een uitvoerbaar plan ( $P_t$ ) inclusief observeerbare velden, acquisitiestrategie en query-sets.
Acquisitie Executor: Ondersteunt drie retrieval-modi:
1. Bron-specifieke Gestructureerde Retrieval: Het crawlen van aangewezen autoritaire sites.
2. Keyword-gestuurde Semantische Retrieval: Gebruik van de Google Image API met een tijdsvenster van 1 jaar om versheid te garanderen.
3. Open-Domain Retrieval: Sampling uit de Flickr API voor brede, natuurlijke dekking.
Feedback Controller: Een lichtgewicht multi-modale rechter ( $J$ $J$ ) evalueert de opgehaalde kandidaten tegen het evaluatiedoel ( $G_t$ $G_{t}$ ) en de visuele patronen ( $B_t$ $B_{t}$ ).
- Als de acceptatieratio ( $\rho_q$ ) van de top- $K$ kandidaten onder een drempelwaarde ( $\tau$ ) ligt, aggregeert de controller visuele rationales van afgewezen samples om de zoekquery ( $q_{m+1}$ ) te verfijnen.
- Deze loop draait maximaal drie iteraties om slecht uitgelijnde queries te corrigeren voordat de definitieve collectie plaatsvindt.

3. QA Generatie en Verificatie

Om betrouwbaarheid te garanderen, genereert het systeem Vraag-Antwoord (QA) paren met uitvoerbare redenering:

Generatie: Meerdere multimodale modellen genereren kandidaat QA-triplets $(q, a, \pi)$ , waarbij $\pi$ een uitvoerbaar oplossingsplan is. De beste kandidaat wordt geselecteerd via modelvergelijking en regelgebaseerde controles.
Verificatie van Uitvoerbare Redenering: Om visuele hallucinaties te mitigeren, wordt verificatie losgekoppeld van directe visuele beoordeling.
- Het oplossingsplan $\pi$ wordt behandeld als een sequentie van uitvoerbare operaties.
- Tools (bijv. objectdetectie, diepteschatting, OCR) voeren deze operaties uit op de afbeelding om tekstuele tussenresultaten te produceren.
- Een visie-blinde taalmodel-verifieerder voorspelt het antwoord op basis van alleen de vraag en de door tools afgeleide tekst.
- Het gegenereerde antwoord wordt alleen geaccepteerd als het overeenkomt met de geverifieerde uitkomst, wat zorgt voor een deterministisch validatieproces.

Belangrijkste Bijdragen

MMBench-Live Benchmark: Een continu evoluerende benchmark geconstrueerd via een multi-agent geautomatiseerde pipeline, wat schaalbare, goedkope updates mogelijk maakt met temporeel verse real-world data.
Distributie-Consistente Update Strategie: Een nieuwe aanpak die de combinatie van taak-gerelateerde visuele patroonidentificatie met feedback-gestuurde data-acquisitie omvat. Dit bewaart de taaksemantiek en visuele kenmerken over verschillende benchmark-versies heen, waarmee het probleem van "semantische drift" bij dynamische updates wordt aangepakt.
Systematische Evaluatie: Uitgebreide analyse die aantoont dat MMBench-Live een hoge QA-correctheid, lage constructiekosten, stabiele cross-versie consistentie en verminderde signalen van contaminatie-gerelateerd geheugen vergeleken met statische benchmarks vertoont.

Experimentele Resultaten

Het framework werd geïnstantieerd op MMBench, waarbij 5.9K nieuwe evaluatie-instanties werden gegenereerd.

QA Kwaliteit: Handmatige verificatie van 10% van de samples over de taken heen leverde een antwoordcorrectheid van 96,06% op.
Kosten en Efficiëntie: Elke updatecyclus (1–2 uur) kost ongeveer $30, een reductie van meerdere ordes van grootte vergeleken met handmatige pipelines (die doorgaans duizenden dollars kosten en maanden in beslag nemen).
Modelprestaties: Evaluaties op representatieve open-source VLMs (bijv. Qwen2.5-VL, DeepSeek-VL) toonden aan dat MMBench-Live stabiele modelrangschikkingen behoudt. Hoewel specifieke modellen excelleren in verschillende dimensies (bijv. DeepSeek-VL in grove perceptie, Qwen2.5-VL in fijnmazige redenering), blijft de algemene relatieve ordening consistent.
Cross-Versie Consistentie:
- Taak-Model Niveau: Een Pearson-correlatie van 0,52 en een Spearman-correlatie van 0,43 geven aan dat modellen die goed presteren op de originele benchmark, de neiging hebben om hun prestaties op de geüpdatete versie te behouden.
- Model-Gemiddeld Niveau: Sterkere correlaties (Pearson 0,89, Spearman 0,83) bevestigen dat globale modelrangschikkingen behouden blijven.
Contaminatie Analyse: Gebruikmakend van het PaCoST-framework om geheugensignalen te meten (vertrouwensverschuivingen tussen de originele en geparafraseerde vragen), vertoonde MMBench-Live een zwakkere contaminatie-gerelateerde vertrouwensbias dan de originele MMBench, wat wijst op een verminderde vatbaarheid voor datacontaminatie.

Betekenis en Claims

Het artikel claimt dat MMBench-Live een praktisch, schaalbaar en goedkoop paradigma biedt voor duurzame multimodale benchmark-evolutie. Door benchmark-updates te behandelen als een gestructureerd, taak-gestuurd constructieproces in plaats van eenvoudige sample-vervanging, slaagt het framework erin de noodzaak van temporele versheid te balanceren met de noodzaak van evaluatiestabiliteit.

De auteurs benadrukken dat hun aanpak de "fragiliteit" van statische benchmarks in het tijdperk van snel schalerende VLMs mitigeert. De introductie van executieve redeneringsverificatie en feedback-gestuurde acquisitie zorgt ervoor dat de benchmark een betrouwbare proxy blijft voor modelcapaciteit zonder de prohibitieve kosten van handmatige curatie te veroorzaken. De resultaten suggereren dat dynamische benchmarks fijnmazige capaciteitsverschillen naar boven kunnen brengen terwijl de integriteit van cross-versie vergelijkingen behouden blijft, wat een levensvatbaar pad biedt voor de community om de strijd aan te gaan met datacontaminatie en temporele veroudering.