🤖 AI

$M^3-Verse$ : A "Spot the Difference" Challenge for Large Multimodal Models

Dit artikel introduceert $M^3-Verse$ , een uitgebreide benchmark die is ontworpen om het vermogen van grote multimodale modellen om redeneringen te voeren over dynamische veranderingen in objecttoestanden binnen consistente ruimtelijke contexten via gekoppelde videoobservaties te evalueren en te verbeteren, waarbij huidige beperkingen worden blootgelegd en een effectieve baseline voor multi-staatperceptie wordt voorgesteld.

Oorspronkelijke auteurs: Kewei Wei, Bocheng Hu, Jie Cao, Xiaohan Chen, Zhengxi Lu, Wubing Xia, Weili Xu, Jiaao Wu, Junchen He, Mingyu Jia, Ciyun Zhao, Ye Sun, Yizhi Li, Zhonghan Zhao, Jian Zhang, Gaoang Wang

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kewei Wei, Bocheng Hu, Jie Cao, Xiaohan Chen, Zhengxi Lu, Wubing Xia, Weili Xu, Jiaao Wu, Junchen He, Mingyu Jia, Ciyun Zhao, Ye Sun, Yizhi Li, Zhonghan Zhao, Jian Zhang, Gaoang Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het "Vind het Verschil"-spel voor AI

Stel je voor dat je een klassiek "Vind het Verschil"-spel speelt met twee afbeeldingen. Je kijkt naar Afbeelding A, dan naar Afbeelding B, en je moet ontdekken wat er veranderd is. Misschien is een kat van de bank naar de vloer verplaatst, of is een kopje omgegooid.

Nu stel je je voor dat je een computer leert dit spel te spelen, maar in plaats van twee statische afbeeldingen, laat je haar twee korte video's van een kamer zien. In de eerste video is de kamer opgeruimd. In de tweede video heeft iemand het meubilair verplaatst en enkele objecten verzet. De computer moet beide video's bekijken en vragen beantwoorden zoals: "Waar is de rode vaas heen gegaan?" of "Is de lamp aan gegaan?"

Dit is precies waar het artikel M3-Verse over gaat. De auteurs hebben een nieuwe, zeer moeilijke test ontwikkeld om te zien of moderne AI-modellen (zogenaamde Large Multimodal Models, of LMM's) echt goed zijn in het volgen van veranderingen in de tijd, of dat ze gewoon gokken.

Het Probleem: AI is Goed in "Nu", maar Slecht in "Toen versus Nu"

Het artikel stelt dat AI, hoewel het geweldig is in het bekijken van een enkele foto en het beschrijven ervan (bijvoorbeeld zeggen: "Dat is een hond op een tapijt"), moeite heeft wanneer het wordt gevraagd om twee verschillende momenten in de tijd te vergelijken.

Huidige AI: Het is als een toerist die een foto van een kamer maakt, wegkijkt, en vervolgens probeert te onthouden wat er veranderd is wanneer ze weer terugkijkt. Ze vergeten vaak de details.
Menselijke Intelligentie: Wij vergelijken de natuur van nature het verleden met het heden. Als een vogel uit een boom vliegt, merken we het verschil direct op. Het artikel stelt dat AI deze "biologische" vaardigheid mist om subtiele veranderingen tussen twee verschillende scènes te detecteren.

De Oplossing: Een Nieuwe Test genaamd M3-Verse

Om dit op te lossen, bouwden de onderzoekers M3-Verse, een enorme testset met twee delen:

Het Simulatielab (M3-Verse-Sim): Ze gebruikten een videospel-engine (AI2-THOR) om 270 virtuele kamers te creëren. Ze programmeerden robots om rond te lopen, verplaatsten vervolgens stiekem objecten (zoals het openen van een la of het verplaatsen van een stoel) en namen de "voor"- en "na"-video's op. Ze genereerden bijna 3.000 vragen over deze veranderingen.
- Analogie: Denk hieraan als een perfect gecontroleerd videospelniveau waar de regels streng zijn en elk detail bekend is.
De Reële Wereld (M3-Verse-Real): Ze filmden 29 echte kamers in daadwerkelijke huizen en kantoren. Mensen verplaatsten fysiek objecten en filmden de veranderingen. Ze maakten 552 vragen voor deze.
- Analogie: Dit is de rommelige, reële versie waar het licht verandert, camera's trillen en dingen niet perfect op elkaar aansluiten.

De test vraagt de AI om vier dingen te doen:

Ruimtelijk Begrip: Waar bevindt het object zich?
Temporeel Begrip: Wat gebeurde eerst, en wat gebeurde daarna?
Attribuutherkenning: Veranderde de kleur of vorm?
Redeneren: Waarom veranderde het, of wat betekent dat?

De Resultaten: AI Houdt het Moeilijk

De onderzoekers testten 16 van de slimste beschikbare AI-modellen (waaronder grote namen zoals GPT-5 en Gemini). De resultaten waren verrassend:

Mensen: Scoren ongeveer 90%. Wij zijn hier goed in.
Top AI-modellen: Scoren tussen 30% en 47%. Zelfs de beste modellen zijn nauwelijks beter dan willekeurig gokken bij de moeilijkste vragen.
Het Kloof: Het artikel noemt dit een "schokkende prestatiekloof". Huidige AI is nog niet slim genoeg om betrouwbaar te volgen hoe een scène van het ene moment op het andere verandert.

De Diagnose: Waarom faalt de AI?

De onderzoekers zeiden niet zomaar "AI faalde". Ze probeerden uit te vinden waarom met een slimme truc genaamd de Text-Oracle Probe.

Het Experiment: Ze namen de video's, lieten een AI elke enkele frame in tekst beschrijven (zoals een gedetailleerd transcript), en vroegen vervolgens een tekst-only AI om de vragen te beantwoorden op basis alleen van die tekst.
De Ontdekking: Toen de AI niet de ruwe video hoefde te verwerken, maar alleen de tekstbeschrijving kon lezen, steeg haar score flink.
De Conclusie: De "ogen" van de AI (de visuele encoder) werken eigenlijk prima; ze kan de veranderingen zien. Het probleem zit in haar "brein" (het redenerende deel). Wanneer de informatie verspreid ligt over een lange video, vergeet de AI de belangrijke details. Het is alsof je een boek leest waar de belangrijke aanwijzingen begraven liggen in duizenden pagina's saai tekst; de AI raakt verdwaald in de ruis en vergeet de aanwijzing.

De Conclusie

Het artikel concludeert dat we een nieuwe generatie AI nodig hebben die niet alleen afbeeldingen "ziet", maar ze echt kan onthouden en vergelijken in de tijd.

Huidige Staat: AI is als een camera die prachtige foto's maakt, maar een vreselijk geheugen heeft.
Toekomstig Doel: We hebben AI nodig die meer werkt als een menselijke detective, in staat om een mentale kaart van een kamer vast te houden, te kijken hoe deze verandert, en het verschil te ontdekken tussen de "voor"- en "na"-toestanden.

De auteurs hebben deze test (M3-Verse) aan het publiek vrijgegeven zodat andere onderzoekers het kunnen gebruiken om betere, meer "bewuste" AI-systemen te bouwen die onze dynamische, veranderende wereld kunnen begrijpen.

Technische Samenvatting: M3-Verse

Probleemstelling

Hoewel Large Multimodal Models (LMM's) een opmerkelijke bekwaamheid hebben getoond in het interpreteren van statische afbeeldingen en het volgen van objecten binnen continue, enkelvoudige videostreams, blijft hun vermogen om dynamische veranderingen tussen afzonderlijke videoobservaties te begrijpen grotendeels onontgonnen. Huidige benchmarks richten zich voornamelijk op geïsoleerde staten of continue online tracking, waarbij de cognitieve belasting wordt genegeerd die nodig is om losgekoppelde video's te vergelijken, werkgeheugen op te bouwen voor ruimtelijke lay-outs, en daaropvolgende observaties te kruisverwijzen om subtiele statovergangen te detecteren. Biologische intelligentie vertrouwt van nature op het contrasteren van verleden en heden om verschillen te detecteren, een vermogen dat essentieel is voor hogere orde cognitie en dat huidige LMM's ontbreekt.

Methodologie

Om deze kloof aan te pakken, introduceren de auteurs M3-Verse, een benchmark voor multi-modale, multi-staat en multi-dimensionale evaluatie van vergelijkend redeneren over statovergangen.

Bouw van de Benchmark

M3-Verse bestaat uit twee rigoureuze subsets die meer dan 50 subtaken bestrijken:

M3-Verse-Sim: Gebaseerd op de AI2-THOR-simulatie en ProcTHOR-10k, bevat deze subset 270 gesimuleerde binnenruimtes. Het omvat 2.932 streng gefilterde vraag-antwoordparen (QA). Het generatieproces omvat:
- Staatswijziging: Programmatisch wijzigen van objectaanwezigheid, positie of interne attributen (bijv. open/gesloten, aan/uit) terwijl de fysieke plausibiliteit wordt gehandhaafd.
- Generatie van vergelijkende visuele attributen: Een module die visuele instanties isoleert, multi-view beschrijvingen genereert via een Vision-Language Model (DAM), en unieke discriminerende kenmerken (bijv. kleur, vorm) synthetiseert om identieke objectcategorieën te onderscheiden.
- Robuuste Entiteit-Grounding: Een raamwerk dat dynamisch unieke identificatoren construeert (bijv. "het rode appel op de tafel") om referentiële ambiguïteit in complexe scènes te elimineren.
- Rigoureuze Filtering: Een meerfasig proces dat tekstgebaseerde filtering omvat (om antwoorden zonder visuele basis te verwijderen), multimodale moeilijkheidsgraadbeoordeling en menselijke verificatie om meer dan 1 miljoen kandidaten te reduceren tot hoogwaardige steekproeven.
M3-Verse-Real: Samengesteld uit 29 fysieke scènes vastgelegd in real-world omgevingen (huishoudens, kantoren) om nul-overlap met bestaande publieke datasets te garanderen. Het bevat 552 door mensen geannoteerde QA-paren. Statovergangen werden fysiek uitgevoerd door menselijke annotators, en vragen werden gecureerd om alleen de meest uitdagende steekproeven te behouden waarbij modellen vaak faalden.

Taakontwerp

Vragen worden gecategoriseerd in:

Intra-Staat: Beantwoordbaar vanuit een enkele staat (voor of na).
Inter-Staat: Vereist vergelijking van beide staten om veranderingen te identificeren.
Deze categorieën testen vier kernvermogens: Ruimtelijk Begrip, Temporaal Begrip, Attribuutherkenning en Redeneren. Opmerkelijk is dat 20,6% van de vragen van het "hallucinatietype" is, waarbij het correcte alternatief wordt vervangen door "Geen correct alternatief is vermeld" om de robuustheid van het model te testen.

Diagnostische Aanpak

Om de knelpunten in modelprestaties te isoleren, stellen de auteurs een Text-Oracle Diagnostische Proef voor. Deze methode serialiseert visuele streams expliciet naar tekst voordat er wordt geredeneerd:

Video-segmentatie & Dichte Bijschriften: Video's worden opgedeeld in clips en gedetailleerd beschreven.
Generatie van Cohesieve Samenvatting: Bijschriften worden samengevoegd tot één narratief.
Tekstgebaseerde QA: Het model beantwoordt vragen uitsluitend op basis van de tekstsamenvattingen.

Belangrijkste Resultaten

Het artikel evalueert 16 state-of-the-art LMM's en 6 tekst-only LLM's tegen de benchmark:

Significant Prestatieverschil: Zelfs de meest geavanceerde propriëtaire modellen (Gemini-2.5-pro, GPT-5) bereiken slechts ongeveer 47% en ongeveer 45% nauwkeurigheid, respectievelijk, vergeleken met menselijke prestaties van 89,75%. Open-source modellen blijven over het algemeen hangen tussen 20% en 35%.
Inter-Staat Moeilijkheid: Modellen presteren significant slechter op Inter-Staat-taken in vergelijking met Intra-Staat-taken, wat een kwetsbaarheid benadrukt in het handhaven van semantische uitlijning over lange temporele contexten.
Redeneerknelpunt: De "Redeneren"-subtaak levert consequent de laagste prestaties op bij alle modellen, wat wijst op een fundamentele ontoereikendheid in multi-stap logische operaties en deductief ruimtelijk redeneren.
Gevoeligheid voor Hallucinaties: Modellen vertonen een ernstige daling in nauwkeurigheid (gemiddeld 12,32 punten) op vragen van het hallucinatietype, met moeite om incorrecte opties te verwerpen.
Text-Oracle Inzichten:
- Visuele Opname versus Behoud: Wanneer visuele streams worden omgezet naar tekst (Text-Oracle), verbetert de modelprestatie significant (bijv. +7 tot +9 punten voor Inter-Staat-taken). Dit bewijst dat visuele encoders statoveranderingen succesvol vastleggen, maar dat deze schaarse visuele aanwijzingen worden verdund of verloren gaan in lange temporele contexten binnen de end-to-end pijplijn.
- Redeneerplafond: De uiteindelijke prestatiegrens wordt bepaald door het logisch redeneervermogen van de LLM-achterkant. Het gebruik van grotere, tekst-only LLM's in de Text-Oracle-opstelling verbetert de prestaties verder, wat suggereert dat het verbeteren van puur logisch redeneren een voorwaarde is voor succes in dit domein.
Validiteit van Simulatie: Er bestaat een sterke positieve correlatie ( $\rho = 0.74$ ) tussen prestaties op M3-Verse-Sim en M3-Verse-Real, wat de gesimuleerde subset valideert als een betrouwbare diagnostische proxy voor real-world vermogens.

Betekenis en Claims

Het artikel beweert dat M3-Verse een uitdagende nieuwe testomgeving biedt om de ontwikkeling van next-generation modellen te stimuleren met een meer holistisch begrip van de dynamische visuele wereld. Door te onthullen dat huidige falen niet voortkomt uit een gebrek aan visuele waarneming, maar uit het onvermogen om schaarse visuele aanwijzingen in de tijd vast te houden en de beperkingen van logisch redeneren, biedt het werk een kritiek diagnostisch instrument. De auteurs stellen dat zonder het fundamentele vermogen tot veranderingdetectie en vergelijkend redeneren, betekenisvol leren in dynamische omgevingen niet kan plaatsvinden voor AI-agenten. Het open-source maken van M3-Verse heeft tot doel toekomstig onderzoek te sturen naar het overwinnen van deze specifieke knelpunten in ruimtelijk-temporeel redeneren.