🔬 applied physics

BilliardPhys-Bench: Benchmarking Physical Reasoning and Visual Dynamics of Multimodal LLMs

Het artikel introduceert BilliardPhys-Bench, een synthetische biljart-benchmark die onthult dat huidige multimodale LLM's moeite hebben met visuele dynamiek en complexe fysieke redenering, waarbij ze vaak een "stasis-bias" vertonen waarbij ze onterecht voorspellen dat er geen interactie plaatsvindt in uitdagende scenario's.

Oorspronkelijke auteurs: Ben Wang, Xiaogang Li, Ruochen Gao, Peiyao Xiao, Chengliang Xu, Zeyu Wang, Zichao Chen, Bing Zhao, Hu Wei

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ben Wang, Xiaogang Li, Ruochen Gao, Peiyao Xiao, Chengliang Xu, Zeyu Wang, Zichao Chen, Bing Zhao, Hu Wei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een potje biljart kijkt. Je ziet de witte biljartbal worden geraakt, en je weet instinctief: "Hij gaat de rode bal raken, van de zijkant afstuiven en daar tot stilstand komen." Mensen doen dit zonder erbij na te denken; onze hersenen hebben een ingebouwde "physics engine" die de toekomst simuleert.

Dit artikel introduceert een nieuwe test genaamd BilliardPhys-Bench om te zien of AI-computers over hetzelfde "onderbuikgevoel" voor natuurkunde beschikken, of dat ze simpelweg aan het gokken zijn.

Hier is de opbouw van wat ze hebben gedaan en wat ze hebben gevonden, met behulp van eenvoudige analogieën:

1. De Test: Een Digitale Biljartzaal

De onderzoekers bouwden een virtuele biljarttafel met behulp van een computerprogramma. Ze gebruikten geen echte video; ze genereerden duizenden willekeurige scenario's waarbij de ballen onder verschillende snelheden en hoeken worden geslagen.

De Opstelling: Ze laten de AI één enkele afbeelding zien van de tafel met de ballen en een pijl die aangeeft waar de witte bal naartoe gaat.
De Regels: Ze vertellen de AI de natuurwetten (hoeveel wrijving de ballen vertraagt, hoe ze stuiteren).
De Uitdaging: De AI moet drie dingen voorspellen zonder de toekomst te zien:
1. Wordt er geraakt? (Zal de witte bal tegen een andere bal botsen?)
2. Wordt er gestoten? (Zal hij de wand raken?)
3. Waar komt het tot stilstand? (Precies waar bevinden alle ballen zich na 1, 2, 3, 4 of 5 seconden?)

2. De Spelers: De AI "Studenten"

Ze testten de slimste beschikbare AI-modellen (uit families zoals GPT, Claude, Gemini en Qwen). Zie deze modellen als studenten die een examen over natuurkunde maken.

3. De Resultaten: Wie is geslaagd en wie is gezakt?

De resultaten waren verrassend en onthulden een specifieke zwakte in de manier waarop deze AI's denken.

De "Stasis Bias" (De Luie Student):
De grootste fout die de onderzoekers ontdekten, is iets wat ze de "Stasis Bias" noemen. Wanneer de situatie ingewikkelder wordt of de voorspellingstijd langer wordt (zoals het voorspellen van 5 seconden in de toekomst), worden de AI's bang om het fout te hebben. In plaats van een botsing te voorspellen, kiezen ze standaard voor de optie: "Er is niets gebeurd." Ze voorspellen dat de ballen gewoon blijven liggen. Het is alsof een student, wanneer hij het antwoord niet weet, "Ik weet het niet" opschrijft in plaats van te proberen het wiskundige probleem op te lossen.
Het "Goed aan het einde, slecht in het midden"-probleem:
Sommige modellen waren erg goed in het raden waar de ballen uiteindelijk zouden eindigen na 5 seconden, maar waren slecht in het uitleggen van hoe ze daar gekomen waren.
- Analogie: Stel je voor dat een student aan het einde van een verhaal een perfect plaatje tekent van een auto-ongeluk, maar het hele middenstuk van het verhaal volledig verkeerd heeft (door te zeggen dat de auto rechtuit reed terwijl hij eigenlijk uitweek). Ze kregen de eindtoestand goed door geluk of patroonherkenning, maar ze begrepen de natuurkunde van de crash niet echt.
De Winnaars:
De beste presteerders waren GPT-5.5 en GPT-5.4-Pro. Deze modellen waren het meest "gebalanceerd". Ze konden zowel de eindpositie voorspellen als correct identificeren welke botsingen daartoe leidden.
- Interessant genoeg deden de "Pro"-versies van de modellen (die meer rekenkracht gebruiken om langer na te "denken") het veel beter bij het herkennen van botsingen dan de standaardversies. Dit suggereert dat het geven van de AI meer tijd om na te denken helpt om de luie "Stasis Bias" te overwinnen.

4. De Harde Waarheid

Het artikel concludeert dat hoewel deze AI's geweldig zijn in het herkennen van wat er op een foto staat (zoals zeggen: "dat is een biljarttafel"), ze nog steeds erg slecht zijn in het voorspellen hoe dingen bewegen.

Tijd is de vijand: Naarmate de voorspellingstijd langer werd (van 1 naar 5 seconden), daalde de nauwkeurigheid van de AI. Kleine fouten in het begin stapelden zich op, zoals een spelletje "telefoontje" waarbij de boodschap aan het eind vervormd is.
De Kloof: Er is een enorme kloof tussen het "zien" van de wereld en het "simuleren" van de wereld. Huidige AI's zijn goed in het beschrijven van een statische foto, maar worstelen met het draaien van een mentale film van wat er daarna gebeurt.

Samenvatting

Het artikel beweert niet dat deze AI's al voor je kunnen biljarten. In plaats daarvan gebruikt het biljart als een eenvoudige, heldere manier om aan te tonen dat huidige AI-modellen geen echt intern natuurkundig model bezitten. Ze zijn goed in het beschrijven van het heden, maar falen vaak in het voorspellen van de toekomst, vooral wanneer zaken ingewikkeld of chaotisch worden. Om dit op te lossen, moet toekomstige AI worden gebouwd met beter "gezond verstand" over hoe objecten met elkaar interageren, in plaats van alleen maar patronen te memoriseren.

Technische Samenvatting: BilliardPhys-Bench

Probleemstelling

Huidige Multimodale Large Language Models (MLLM's) vertonen bekwaamheid in statische beeldherkenning en semantisch begrip, maar worstelen met intuïtief fysiek redeneren. Specifiek blijft het voorspellen van de toekomstige evolutie van objecten—zoals trajecten, botsingen en uiteindelijke rustposities—vanuit een enkele statische afbeelding een aanzienlijke uitdaging. Bestaande benchmarks richten zich vaak op declaratieve kennis van natuurkundige wetten (Statische QA), abstract symbolisch redeneren of interactieve trial-and-error agents. Er is een opvallende kloof in het evalueren van single-frame forward simulation, waarbij een model de dynamische fysieke uitkomsten moet afleiden uit een statische initiële conditie zonder iteratieve interactie. Deze kloof benadrukt een scheiding tussen perceptie (het beschrijven van een scène) en redeneren (voorspellen hoe die scène evolueert).

Methodologie

Benchmark Design: BilliardPhys-Bench

De auteurs introduceren BilliardPhys-Bench, een benchmark die is ontworpen om fysiek redeneren in synthetische biljartomgevingen te testen. De benchmark maakt gebruik van een procedurele engine om gerandomiseerde scenario's te genereren met behulp van:

Fysica Model: Een model met constante wrijving ( $\mu = 0.002$ ) en perfect elastische botsingen (bal-op-bal en bal-op-wand).
Data Generatie: Een driefasige pipeline:
1. Sampling van initiële condities: Het randomiseren van de snelheid van de witte bal en de posities van de objectballen.
2. Fysieke simulatie: Een high-fidelity engine berekent beweging, wrijvingsgebaseerde deceleratie ( $v(s) = \sqrt{v_0^2 - 2\mu gs}$ ) en botsingen, en exporteert grondwaarheid-annotaties.
3. Visualisatie: Renderen van hoogwaardige afbeeldingen van de begintoestand met snelheidsvectoren en coördinatenassen.

Diagnostische Taken

De benchmark deelt fysiek redeneren op in drie afzonderlijke taken, geëvalueerd over temporele horizonten van 1 tot 5 seconden:

Taak 1 (Discrete Botsingsvoorspelling): Bepalen of de witte bal met specifieke objectballen zal botsen (Waar/Onwaar).
Taak 2 (Redeneren over Wandinteractie): Voorspellen met welke tafelwanden de witte bal zal botsen (Multi-select).
Taak 3 (Precieze Coördinatenschatting): Het voorspellen van de exacte 2D-coördinaten ( $x, y$ ) van alle ballen op de doel-tijd, rekening houdend met geposte ballen (null).

Evaluatie Pipeline

De studie evalueert leidende propriëtaire en open-source MLLM's (uit de GPT-, Claude-, Gemini- en Qwen-families). Modellen worden geprompt met de initiële scène-afbeelding en een gestructureerde prompt met details over fysieke constanten (wrijving, zwaartekracht, elasticiteit) en taakdefinities.

Output Formaat: Modellen moeten gestructureerde JSON-outputs teruggeven.
Redeneerstrategie: Chain-of-thought (CoT) is ingeschakeld voor Taken 1 en 2, maar uitgeschakeld voor Taak 3 om interferentie met de precieze coördinatenvormattering te voorkomen.
Scoring: Correctheid wordt beoordeeld tegen de grondwaarheid: exact match voor wandbotsingen, per-bal botsingslabels voor Taak 1, en een Euclidische afstand $\le$ de straal van de bal voor Taak 3. Een gewogen totaalscore ( $S_{total}$ ) combineert de drie taken, waarbij Taak 3 het hoogst wordt gewogen (0.4) vanwege de precisie-eisen.

Belangrijkste Bijdragen

Procedureel gegenereerde Multi-Tier Benchmark: Een dataset van gerandomiseerde biljartscenario's gekoppeld aan physics-engine grondwaarheid, specifiek ontworpen om discrete gebeurtenisvoorspelling, continue staatsschatting en complexe interactieketens te testen.
Diagnostisch Kader voor Foutmodi: De studie identificeert en analyseert specifieke foutpatronen in MLLM's, met name "stasis bias" (de neiging om geen interactie te voorspellen wanneer de correcte fysieke uitkomst complex is) en de ontkoppeling van gebeurtenisredeneren van de terminale staat-voorspelling.
Empirische Analyse van Inductieve Biases: De resultaten benadrukken de beperkingen van next-token voorspelling voor fysieke simulatie en suggereren de noodzaak van hybride neurale-fysieke benaderingen, factor grafen of differentieerbare physics engines om fysieke inductieve biases te verbeteren.

Resultaten

Prestatietrends

Temporele Degradatie: De prestaties van alle modellen nemen af naarmate de simulatiehorizon toeneemt van 1s naar 5s. Langere horizonten introduceren complexere interactieketens en cumulatieve effecten van wrijving, waardoor kleine initiële fouten zich opstapelen.
Model Tiering:
- Top Tier: GPT-5.5 behaalde de hoogste algemene score (73.58%), gevolgd door GPT-5.4-Pro (72.29%). Deze modellen vertoonden een gebalanceerde prestatie over alle drie de taken.
- Gespecialiseerde Performers: Qwen3.6-Plus toonde sterke gebeurtenisredenering (Taak 1 en 2) maar zwakkere terminale staat-voorspelling (Taak 3). Omgekeerd vertoonden GPT-5.4 en Claude-Opus-4.7 sterke ruimtelijke grounding (Taak 3) maar faalden ze significant op discrete gebeurtenisidentificatie (Taak 1 en 2).
- Stasis Bias: Modellen met zwakkere gebeurtenisredenering neigden naar conservatieve voorspellingen (het voorspellen van geen botsingen) naarmate de onzekerheid toenam, zelfs wanneer hun eindpositie-schattingen plausibel bleven.

Specifieke Bevindingen

Gebeurtenis vs. Staat: Er is een duidelijke dissociatie tussen het vermogen van een model om gebeurtenissen (botsingen) te identificeren en het vermogen om staten (eindposities) te schatten. Sterke terminale staat-voorspelling garandeert geen accurate gebeurtenisredenering.
Compute en Redeneren: "Pro" varianten van modellen (bijv. GPT-5.4-Pro) presteerden over het algemeen beter dan hun basisversies, vooral in gevolgtrekking van gebeurtenissen, waarschijnlijk door diepere test-time redenering (verbruik van ~8x meer tokens).
Familieverschillen: De Claude-familie vertoonde een niet-monotone progressie, waarbij latere varianten (4.7) de sterktes van eerdere varianten (4.5/4.6) omkeerden, waarbij ze verschoven van sterke wandinteractie-redenering naar sterke terminale staat-voorspelling maar zwakke gebeurtenisdetectie.

Betekenis en Claims

Het artikel stelt dat BilliardPhys-Bench een direct mechanisme biedt om de beperkingen van huidige MLLM's in visuele dynamica te evalueren. De bevindingen suggereren dat:

Huidige Beperkingen: MLLM's missen een stabiel intern model van fysieke dynamica over tijd, vooral bij opeenvolgende botsingen en wrijving.
Architecturale Behoeften: De geobserveerde "stasis bias" en de kloof tussen gebeurtenisredenering en staatvoorspelling geven aan dat standaard next-token voorspellingsarchitecturen onvoldoende zijn voor robuuste fysieke simulatie.
Toekomstige Richtingen: De benchmark wijst op de noodzaak van het integreren van sterkere fysieke inductieve biases, potentieel via hybride neurale-fysieke benaderingen, om de kloof tussen scèneherkenning en voorspellend redeneren te overbruggen.

De auteurs hanteren een bescheiden reikwijdte en erkennen dat de benchmark vereenvoudigde 2D-fysica gebruikt (constante wrijving, perfect elasticiteit) en niet generaliseert naar complexe real-world dynamica zoals spin of vervormbare objecten. De benchmark is bedoeld als een diagnostisch instrument om de vooruitgang te meten richting modellen die in staat zijn tot betrouwbaar fysiek redeneren.