🤖 AI

MaD Physics: Evaluating information seeking under constraints in physical environments

Het artikel introduceert MaD Physics, een nieuw benchmarkontwerp om het vermogen van AI-agenten om fysieke wetten af te leiden en metingen te plannen onder beperkingen van middelen te evalueren door hen te testen in omgevingen met gewijzigde fysieke wetten, waardoor beperkingen in de wetenschappelijke redeneervermogens en gestructureerde verkenning van huidige Gemini-modellen worden blootgelegd.

Oorspronkelijke auteurs: Moksh Jain, Mehdi Bennani, Johannes Bausch, Yuri Chervonyi, Bogdan Georgiev, Simon Osindero, Nenad Tomašev

Gepubliceerd 2026-05-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Moksh Jain, Mehdi Bennani, Johannes Bausch, Yuri Chervonyi, Bogdan Georgiev, Simon Osindero, Nenad Tomašev

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar je hebt een zeer strikte regel: je hebt slechts een beperkt bedrag om uit te geven aan aanwijzingen.

Dit is de kernidee achter een nieuw onderzoeksproject genaamd MaD Physics (Measuring and Discovering Physics). De onderzoekers bij Google DeepMind en Mila hebben een videogame-achtige test ontwikkeld om te zien hoe goed AI-"wetenschappers" kunnen begrijpen hoe de wereld werkt wanneer ze niet zomaar de antwoorden in een handboek kunnen opzoeken en niet alles kunnen controleren omdat ze het zich niet kunnen veroorloven.

Hier is een eenvoudige uiteenzetting van hoe het werkt en wat ze ontdekten:

1. Het Spel: "Het Mysteriekastje"

In deze test wordt de AI in een virtuele wereld gegooid waar objecten rond bewegen. Maar er is een addertje onder het gras: de natuurwetten in deze wereld zijn lichtelijk gebroken of "gewijzigd".

Misschien trekt zwaartekracht dingen niet op de gebruikelijke manier naar beneden.
Misschien draait water in een patroon dat de normale vloeistofdynamica tart.
Misschien gedragen deeltjes zich alsof ze verbonden zijn door onzichtbare draden die in onze echte wereld niet bestaan.

De AI kent deze regels niet. Ze moet ze achterhalen door te kijken hoe de objecten bewegen.

2. De Uitdaging: Het "Aanwijzingenbudget"

Hier komt het "MaD"-gedeelte om de hoek kijken. De AI heeft een budget (zoals een portemonnee met een vast aantal munten).

Naar een object kijken kost geld.
Dichtbij kijken (hoge precisie) kost veel.
Van veraf kijken (lage precisie) kost weinig.
Langer wachten om te kijken kost meer tijd.

De AI moet slimme keuzes maken: "Moet ik mijn hele budget uitgeven om één object zeer nauwkeurig te controleren, of moet ik een beetje uitgeven om tien verschillende objecten te controleren voor een ruwe schatting?"

Als de AI zijn geld verspilt aan slechte gokken, raakt hij zijn munten kwijt voordat hij het mysterie kan oplossen. Zodra het geld op is, stopt het spel en moet de AI voorspellen waar de objecten in de toekomst zullen zijn, uitsluitend gebaseerd op de aanwijzingen die het erin slaagde te kopen.

3. De Drie Werelden

Om ervoor te zorgen dat de AI niet zomaar feiten uit de echte wereld uit het hoofd leert, hebben ze het getest in drie verschillende "universums":

De Springbalwereld (Klassieke Mechanica): Objecten die stuiteren en botsen, maar met een vreemde, onzichtbare "herinnering" die het moeilijker maakt om ze in bepaalde richtingen te duwen.
De Draaiende Waterwereld (Vloeistofmechanica): Een vloeistof die stroomt, maar met een onzichtbare "vreemde kracht" die het in vreemde, draaiende patronen duwt.
De Geestdeeltjescwereld (Kwantummechanica): Kleine deeltjes die zich als golven gedragen, maar met een draai: de regels voor hoe ze verschijnen wanneer je ernaar kijkt, verschillen van het echte leven.

4. De Testpersonen

De onderzoekers testten vier verschillende versies van Google's Gemini AI-modellen (van een kleinere, snellere tot een grotere, slimmere) om te zien hoe goed ze waren in dit spel.

5. De Resultaten: Wat de AI Fout Hield

De resultaten waren voor de AI een beetje vernederend:

Ze hadden moeite met "strategisch" zijn: De AI gaf haar budget vaak inefficiënt uit. Soms keek ze naar de verkeerde dingen of keek ze te nauwkeurig naar dingen die er niet toe deden, waardoor ze haar geld opgierde voordat ze het patroon begreep.
Ze konden geen "nieuwe wetten" "uitvinden": Wanneer de natuurwetten waren gewijzigd, probeerde de AI vaak de regels uit de echte wereld op de nieuwe wereld te forceren. Het was alsof je probeerde een Sudoku-puzzel op te lossen met de regels van Schaak.
Betere modellen deden het beter, maar niet perfect: De slimmere AI-modellen (zoals Gemini 3) maakten minder fouten en waren beter in het voorspellen van de toekomst, maar ze konden de "geheime code" van de gewijzigde natuurwetten nog steeds niet perfect achterhalen.
Beelden maakten het moeilijker: Wanneer de AI naar foto's van de bewegende objecten moest kijken in plaats van alleen naar getallen, raakte ze nog meer in de war.

De Conclusie

Het paper concludeert dat hoewel AI steeds beter wordt in het beantwoorden van vragen waarvan ze al de antwoorden kent, het nog steeds worstelt met ware wetenschappelijke ontdekking: het vermogen om eropuit te trekken, beperkte middelen wijsig uit te geven, nieuwe data te verzamelen en regels te achterhalen die nog niet bestaan.

Denk er zo over: De AI is geweldig in het zijn van een bibliothecaris (bestaande boeken vinden), maar ze leert nog hoe ze een ontdekkingsreiziger moet zijn (een kaart tekenen van een territorium dat nog niemand heeft gezien). MaD Physics is een nieuwe kaart voor onderzoekers om precies te zien waar de AI verdwaalt, zodat ze kunnen helpen om het beter te leren verkennen.

Technische Samenvatting: MaD Physics – Evaluatie van Informatieverwerving onder Beperkingen in Fysieke Omgevingen

Probleemstelling
Wetenschappelijke ontdekking is inherent een proces met beperkte middelen, waarbij agenten afwegingen moeten maken tussen de kwaliteit en kwantiteit van metingen vanwege fysieke, tijdelijke en financiële beperkingen. Bestaande benchmarks voor wetenschappelijke ontdekking richten zich op statisch, op kennis gebaseerd redeneren (bijvoorbeeld vragen beantwoorden op basis van uit het hoofd geleerde feiten) of onbeperkt experimenteel ontwerp, maar ze falen in het evalueren van het vermogen van een agent om strategische metingen te doen en te plannen onder strikte beperkingen. Bovendien vertrouwen standaardbenchmarks vaak op bekende natuurwetten, waardoor agenten kunnen slagen door kennisopvraging in plaats van empirische ontdekking. Er is een kritiek gat in de evaluatie van agenten die actief informatie moeten verzamelen, een beperkt budget moeten beheren en onderliggende dynamiek moeten afleiden uit ruisige, schaarse data in omgevingen waar de heersende wetten onbekend of gewijzigd kunnen zijn.

Methodologie: De MaD Physics Benchmark
Om dit gat op te vullen, stellen de auteurs MaD Physics (Measuring and Discovering Physics) voor, een benchmark ontworpen om het vermogen van agenten te evalueren om informatieve metingen te doen en conclusies te trekken onder beperkingen op de kwaliteit en kwantiteit van metingen.

Omgevingsontwerp: De benchmark bestaat uit drie verschillende parametrische omgevingen gebaseerd op Klassieke Mechanica, Vloeistofmechanica en Kwantummechanica. Om te voorkomen dat agenten vertrouwen op voorgeprogrammeerde kennis van standaardfysica, bevat elke omgeving 'gewijzigde' natuurwetten (bijvoorbeeld anisotrope traagheidsmassa, gewijzigde zwaartekrachtwetten zoals $1/R$ of golfslag-effecten, niet-lineaire verstrengelingsinitialisatie, en gegeneraliseerde Born-regels met $L_p$ -normen).
Evaluatieprotocol: De evaluatie vindt plaats in twee fasen:
1. Meetfase: De agent opereert onder een vast budget $B$ . Het moet sequentieel kiezen wat er gemeten wordt (bijvoorbeeld specifieke deeltjes of coördinaten), wanneer er gemeten wordt (tijdstap) en met welke fideliteit (ruisniveau). Elke observatie brengt kosten met zich mee $C(o_k, \sigma_k)$ , die stijgen met de fideliteit (lagere ruis). De agent moet de informatiewinst maximaliseren binnen het budget.
2. Voorspelfase: Zodra het budget is uitgeput of een maximale tijd $T_{max}$ is bereikt, moet de agent de onderliggende natuurwet afleiden en de toestand van het systeem voorspellen op een toekomstige querytijd $T_{query} > T_{max}$ .
Implementatie van Agenten: De auteurs evalueren vier Gemini-modellen (2.5 Flash Lite, 2.5 Flash, 2.5 Pro en 3 Flash) met behulp van een minimale agent-scaffold met code-uitvoeringsmogelijkheden. Twee promptstrategieën worden getest: een 'Base'-prompt die algemene context biedt en een 'Strategy'-prompt, geïnspireerd op Bayesiaans experimenteel ontwerp, die de agent instrueert om de Verwachte Informatiewinst (EIG) per kostenunit te maximaliseren.

Belangrijkste Bijdragen

Nieuwe Benchmarkmethodologie: Het artikel introduceert een raamwerk voor het evalueren van informatieverwervende agenten in fysieke domeinen dat expliciet de afweging tussen kosten en fideliteit in experimenteel ontwerp benadrukt, en verder gaat dan statische redeneertaken.
Parametrische Omgevingen met Gewijzigde Wetten: De suite van drie omgevingen (Klassiek, Vloeistof, Kwantum) bevat specifieke, gedocumenteerde wijzigingen in standaard natuurwetten. Dit zorgt ervoor dat agenten actief moeten ontdekken in plaats van uit het hoofd geleerde kennis op te halen.
Uitgebreide Benchmarking van Frontier-modellen: De auteurs benchmarken meerdere Gemini-modellen op MaD Physics, analyseren de prestaties over verschillende gradaties van wetwijziging en tonen de impact van strategische prompting aan bij het navigeren door wetenschappelijke onzekerheid.

Empirische Resultaten

Modelprestaties: Over het algemeen verbeteren de prestaties met het modelvermogen (van Flash Lite naar Pro naar 3 Flash). Zelfs de meest capabele modellen hebben echter moeite met gewijzigde configuraties.
Voorspelnauwkeurigheid: Agenten produceren vaak voorspellingen die buiten de grenzen vallen of onnauwkeurig zijn, zelfs in configuraties met normale fysica. Hoewel de 'Strategy'-prompt de prestaties over het algemeen verbetert door systematische datacollectie af te dwingen, blijven significante fouten bestaan.
Symbolische versus Voorspellende Nauwkeurigheid: Een belangrijke bevinding is het gebrek aan correlatie tussen voorspellende nauwkeurigheid en symbolisch herstel. Agenten falen vaak om de juiste symbolische vorm van de onderliggende natuurwet te identificeren (bijvoorbeeld het niet kunnen onderscheiden tussen $1/r^2$ en $1/r$ zwaartekracht), zelfs wanneer ze redelijke voorspellingen kunnen doen.
Multimodaliteit en In-Context Learning:
- Visuele Observaties: Wanneer agenten visuele weergaven krijgen in plaats van numerieke data, nemen voorspelfouten significant toe, hoewel trends met betrekking tot modelvermogen consistent blijven.
- In-Context Learning: Over meerdere trials toont Gemini 3 Flash het vermogen om voorspelfouten te verminderen, terwijl Gemini 2.5 Pro faalt om te leren in gewijzigde configuraties.
Parameterinferentie: In een variant waarbij de structurele vorm bekend is en het doel is om een enkele parameter ( $\kappa$ ) af te leiden, neigen agenten om de parameter te onderschatten, wat een bias naar standaardfysica aantoont.

Betekenis en Claims
Het artikel positioneert MaD Physics als een stap in de richting van benchmarks die het verkennende en ongestructureerde karakter van wetenschappelijke ontdekking vastleggen. De auteurs claimen dat MaD Physics effectief tekortkomingen in frontier-level modellen identificeert met betrekking tot dynamische informatieverwervingstaken. Specifiek benadrukt de benchmark:

Slechte downstream voorspellende prestaties wanneer agenten niet kunnen vertrouwen op uit het hoofd geleerde wetten.
Moeite met het herstel van accurate symbolische expressies voor natuurwetten, zelfs wanneer data beschikbaar is.
De noodzaak van strategische planning onder beperkingen, een vaardigheid waarbij huidige modellen aanzienlijke ruimte voor verbetering tonen.

De auteurs concluderen dat hoewel huidige modellen veelbelovend zijn in redeneren, ze worstelen met de praktische realiteiten van wetenschappelijk onderzoek: het toewijzen van beperkte middelen om informatiewinst te maximaliseren en het afleiden van nieuwe dynamiek uit beperkte, ruisige data. Voor toekomstig werk wordt voorgesteld om geavanceerdere agent-scaffolds, geoptimaliseerde prompting en uitbreidingen naar complexere fysieke systemen te onderzoeken.