OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora

Natuurkunde is de studie van hoe het universum werkt, van de manier waarop een bal een heuvel afrolt tot de onzichtbare krachten die elektriciteit door een draad leiden. Eeuwenlang hebben mensen deze regels geleerd door woorden te lezen, naar diagrammen te kijken en problemen op te lossen die vereisen dat tekst met afbeeldingen wordt verbonden. Tegenwoordig zijn computers ongelooflijk goed geworden in het lezen van tekst en het bekijken van plaatjes, wat ze vaak multimodale modellen wordt genoemd omdat ze beide soorten informatie tegelijkertijd kunnen verwerken. Deze machines kunnen verhalen schrijven, vragen beantwoorden en zelfs beschrijven wat er op een foto gebeurt. Echter, wanneer het gaat om de strikte, logische wereld van de natuurkunde, is het simpelweg herkennen van een afbeelding of het lezen van een zin niet genoeg. Echte begrip vereist dat de computer ziet hoe een diagram en een beschrijving samensmelten tot één enkele, onbreekbare keten van logica. Als een machine dit niet kan, is hij slechts aan het gokken, niet aan het redeneren.

Een team van onderzoekers van de East China Normal University heeft een nieuwe tool gebouwd om precies te testen hoe goed deze computers kunnen denken als natuurkundigen. Ze creëerden een enorme collectie problemen genaamd OmniPhys, afkomstig uit echte Chinese tekstboeken en examens variërend van de middelbare school tot de universiteit. Dit is niet zomaar een lijst met vragen; het is een rigoureuze test die computers dwingt om meer te doen dan alleen het juiste antwoord uit een lijst kiezen. De collectie bevat meer dan 15.000 vragen en bijna 20.000 afbeeldingen, die mechanica, elektriciteit, licht, warmte en geluid beslaan. De onderzoekers ontwierpen het zo dat het moeilijk is, waarbij ze ervoor zorgden dat de problemen de computer vereisen om complexe tekeningen en tekst tegelijkertijd te interpreteren. Cruciaal is dat de test de computers ook vraagt om iets te doen wat ze zelden doen: hun eigen diagrammen tekenen. In plaats van alleen een afbeelding te selecteren, moet de computer een nieuwe afbeelding genereren die correct laat zien hoe licht reflecteert of hoe krachten werken, waarbij de strikte natuurwetten worden nageleefd.

Toen de onderzoekers hun tests uitvoerden, ontdekten ze dat zelfs de meest geavanceerde computers, inclusief de krachtigste modellen die voor het publiek beschikbaar zijn, aanzienlijk moeite hadden. De beste modellen losten ongeveer 70 procent van de problemen correct op, maar wanneer de onderzoekers nauwkeuriger keken naar hoe de modellen tot die antwoorden kwamen, veranderde het beeld. Veel modellen kregen het juiste antwoord bij toeval of door patronen te memoriseren, in plaats van werkelijk de logica te begrijpen. Ze misten vaak cruciale stappen in hun redenering of faalden in het verbinden van de visuele aanwijzingen in het diagram met de tekst. De situatie was nog erger voor de taak van het tekenen. Wanneer gevraagd werd om een natuurkundig diagram te genereren, produceerden de computers vaak afbeeldingen die op het eerste gezicht plausibel leken, maar fundamentele fouten bevatten. Ze tekenden bijvoorbeeld een lichtstraal die de verkeerde kant op buigt of een kracht die de tegenovergestelde richting op wijst, waardoor de wetten van de natuur die ze juist moesten demonstreren, werden geschonden.

De studie onthulde ook dat deze computers progressief slechter worden naarmate de problemen moeilijker worden. Ze presteerden redelijk goed op vragen voor de middelbare school, maar hun nauwkeurigheid daalde scherp naarmate de problemen overgingen naar het niveau van de middelbare school en de universiteit. Deze daling suggereert dat hoewel deze machines goed zijn in het afhandelen van eenvoudige taken, ze de diepe, gelaagde redenering die nodig is voor complex wetenschappelijk denken nog niet beheersen. De onderzoekers ontdekten ook dat het de computer hielp beter te presteren als er een afbeelding van het probleem werd gegeven dan wanneer het alleen de tekst had, wat bewijst dat visuele informatie essentieel is voor het oplossen van deze puzzels. Ze ontdekten echter ook dat sommige modellen juist slechter presteerden wanneer ze een afbeelding kregen, wat suggereert dat de computer de afbeelding soms behandelt als verwarrende ruis in plaats van nuttige informatie.

Misschien wel de meest verrassende bevinding was dat de computers die het werk nakeken vaak te mild waren. Wanneer de onderzoekers een kunstmatige intelligentie vroegen om de getekende diagrammen van andere computers te beoordelen, gaf de beoordelaar hoge scores aan afbeeldingen die menselijke experts als onjuist beoordeelden. De geautomatiseerde beoordelaar miste subtiele fysieke fouten die een mens onmiddellijk zou opmerken. Dit betekent dat het vertrouwen op machines om de kwaliteit van wetenschappelijke redenering te evalueren momenteel onbetrouwbaar is. De menselijke experts, die het werk zorgvuldig beoordeelden, vonden dat de computers er niet in slaagden de kernconcepten van de natuurkunde te vatten, zelfs wanneer het uiteindelijke antwoord toevallig juist was.

Dit werk beweert niet dat computers nutteloos zijn voor de wetenschap, maar het laat wel zien dat ze een lange weg te gaan hebben voordat ze de fysieke wereld werkelijk kunnen begrijpen. De onderzoekers hebben hun collectie problemen en afbeeldingen beschikbaar gesteld aan het publiek, zodat andere wetenschappers deze kunnen gebruiken om betere modellen te bouwen. Door exact te identificeren waar deze machines falen—of het nu gaat om het tekenen van een correct diagram, het volgen van een logische keten, of het begrijpen van een complexe visuele scène—biedt de studie een duidelijke kaart voor toekomstige verbeteringen. Het doel is niet alleen om computers te maken die een test kunnen halen, maar om systemen te creëren die door de natuurwetten kunnen redeneren met dezelfde strengheid en nauwkeurigheid als een menselijke natuurkundige. Tot die tijd blijft de kloof tussen wat deze modellen kunnen zeggen en wat ze werkelijk begrijpen, groot.