🤖 AI

PACE-Bench: Benchmarking Physics Adaptation via Code Evolution in Dynamic Environments

Het artikel introduceert PACE-Bench, een simulator-gebaseerde benchmark ontworpen om het vermogen van zelfevoluerende agenten te evalueren om code-gebaseerde gedragingen aan te passen wanneer fysieke omgevingen veranderen, waarbij wordt onthuld dat huidige methoden moeite hebben met het herontwerpen van mechanismen en dat simulator-gebaseerde reflectie beter presteert dan ongeverifieerde zelfrevisie.

Oorspronkelijke auteurs: Yuhao Zhan, Bingxiang He, Zecong Tang, Chaojun Xiao

Gepubliceerd 2026-08-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuhao Zhan, Bingxiang He, Zecong Tang, Chaojun Xiao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert een brug te bouwen. Je laat hem zien hoe hij er een bouwt die perfect werkt op droge, vaste grond. De robot leert de regels, schrijft de code en bouwt een stevige structuur. Stel je nu voor dat je de grond stiekem vervangt door een ijslaag. De brug die gisteren nog perfect werkte, stort vandaag direct in. Dit is de dagelijkse realiteit voor veel slimme computerprogramma's: ze zijn geweldig in het opvolgen van instructies in een statische wereld, maar ze bevriezen vaak wanneer de regels van het spel plotseling veranderen.

Wetenschappers proberen "zelf-evoluerende agenten" te bouwen — AI-systemen die kunnen leren van hun fouten en zichzelf kunnen repareren zonder dat een mens op de "reset"-knop hoeft te drukken. Denk aan deze agenten als een videogame-personage dat niet alleen een kaart uit het hoofd leert, maar ook zijn eigen karakterblad herschrijft nadat het in een kuil is gevallen. De grote vraag is: als de fysica van de wereld verandert (zoals wanneer de zwaartekracht sterker wordt of de wrijving verdwijnt), kunnen deze agenten dan begrijpen waarom hun oude oplossing faalde en een compleet nieuwe uitvinden? Het gaat niet alleen om het weten van het antwoord; het gaat om weten hoe je de motor moet herbouwen wanneer de brandstof verandert.

Dit is precies wat het nieuwe paper, PACE-Bench, wil testen. De onderzoekers hebben een enorme digitale speeltuin gebouwd, een "benchmark", om te zien hoe goed deze zelf-reparerende robots omgaan met plotselinge veranderingen in de natuurkunde. Ze vroegen de AI niet alleen om een puzzel op te lossen; ze gaven het een puzzel die de AI al eerder had opgelost, veranderden vervolgens stiekem de regels van het universum en vroegen: "Kun je je oplossing repareren?"

Het Spel: PACE-Bench

De onderzoekers bouwden 144 verschillende uitdagingen verspreid over zes verschillende "fysica-werelden", variërend van eenvoudige statische structuren (zoals een brug) tot complexe, wiebelende dynamica (zoals een zwaaiende pendel of een voertuig dat door modder rijdt).

Zo werkt het spel:

De Bron: Een AI-agent krijgt een taak en een "bronomgeving" (bijv. bouw een brug over een gat van 10 meter). Het schrijft een computerprogramma om een brug te bouwen die werkt.
De Twist: De omgeving wordt gemuteerd. Het gat wordt plotseling 20 meter breed, de wind begint zijwaarts te waaien, of de materialen worden broos. De oude brugcode faalt nu.
De Uitdaging: De agent heeft 20 pogingen om naar de fout te kijken, te raden wat er is veranderd, en de code te herschrijven om een nieuwe brug te bouwen die werkt in de nieuwe omstandigheden. Cruciaal is dat de agent niet precies verteld krijgt wat er is veranderd. Het moet de nieuwe fysica afleiden uit de feedback die het krijgt (zoals: "je brug brak omdat de verbinding bezweek onder te veel kracht").

De Resultaten: Wie slaagde voor de test?

De onderzoekers testten 10 verschillende zelf-evoluerende methoden (verschillende strategieën voor hoe de AI zichzelf probeert te repareren) met diverse AI-modellen. De resultaten waren oogopenend:

De Benchmark is moeilijk: Zelfs de slimste AI-modellen hadden moeite. De beste combinatie (een methode genaamd Reflexion gekoppeld aan een groot model) slaagde slechts in ongeveer 35,9% van de uitdagingen. Zelfs een topmodel genaamd GPT-5.5 loste slechts 66,7% van de makkelijkere "Statics"-subset op. Dit betekent dat de benchmark verre van "opgelost" is; er is nog steeds een enorme kloof in hoe goed AI kan zich aanpassen aan nieuwe fysieke realiteiten.
Reflectie wint, blinde revisie verliest: De meest succesvolle strategie was Reflexion. Deze methode dwingt de AI om even stil te staan en na te denken: "Ik faalde omdat X, dus ik moet Y proberen." Het is alsof een student een toets nabewerkt om te zien wa waarom hij een vraag fout had voordat hij het opnieuw probeert. In contrast hiermee stonden methoden die simpelweg code bleven herschrijven zonder te controleren of het nieuwe idee wel zin maakte (genaamd Self-Refine), wat vaak de situatie verergerde door fouten op te stapelen.
Geheugen kan een valstrik zijn: Sommige methoden probeerden eerdere successen te onthouden om te helpen bij nieuwe problemen. Echter, het paper stelde vast dat dit de AI vaak "verankerde" aan zijn oude, gebrekkige ideeën. In plaats van nieuwe oplossingen te verkennen, bleef de AI proberen de oude brug aan te passen die al gedoemd was, een gedrag dat de auteurs Design Fixation noemen.
Zoeken zonder te convergeren: Andere methoden probeerden veel verschillende ideeën tegelijk te verkennen (zoals een boom die veel takken vormt). Hoewel dit goed was in het vinden van enkele oplossingen, slaagden ze er vaak niet in om binnen de limiet van 20 pogingen uit te komen op de beste oplossing, waardoor ze vast kwamen te zitten in een lus van eindeloos experimenteren.

De Grote Ontdekking: "Weten wat" versus "Weten hoe"

Misschien wel de meest verrassende bevinding kwam uit een specifiek experiment. De onderzoekers probeerden de AI te helpen door precies te vertellen wat er was veranderd (bijv. "De wrijving is nu 0,5"). Je zou denken dat dit de taak makkelijk zou maken.

Dat deed het niet. Zelfs toen de AI de exacte getallen van de nieuwe fysica kende, kon het het probleem nog steeds niet oplossen. Dit suggereert dat de echte flessenhals niet parameter-inferentie is (uitzoeken wat de getallen zijn), maar mechanisme-redesign (uitzoeken hoe je de structuur moet herbouwen om met die getallen te werken). Weten dat de windsnelheid 50 mph is, helpt niet als je niet weet hoe je de brug moet hervormen om die wind te weerstaan.

Waarom dit ertoe doet

Het paper concludeert dat hoewel AI steeds beter wordt in het oplossen van statische problemen, het nog steeds erg onhandig is bij het aanpassen wanneer de wereld verandert. De huidige "zelf-evoluerende" tools zijn vaak te rigide, te gehecht aan hun eerste ideeën, of te chaotisch om een stabiele oplossing te vinden.

De auteurs suggereren dat voor AI om echt een "lifelong learner" te worden, het beter moet worden in het herontwerpen van mechanismen, en niet alleen in het aanpassen van parameters. PACE-Bench biedt een reproduceerbare manier om dit te testen, als een "stress-test" voor de volgende generatie AI die hoopt te opereren in onze rommelige, voortdurend veranderende echte wereld. Voor nu suggereert het paper dat we nog lang niet op het punt staan dat een AI naar een ingestorte brug op het ijs kan kijken en direct weet hoe hij een betere moet bouwen.

Technische Samenvatting: PACE-Bench

Probleemstelling

Bestaande benchmarks voor zelfevoluerende agenten evalueren primair de prestaties onder vaste executiecondities of meten de transfer van geleerde vaardigheden naar nieuwe, onafhankelijke taken. Ze falen echter in het testen van het vermogen van een agent om een eerder succesvol uitvoerbaar ontwerp aan te passen wanneer de onderliggende fysieke omgeving verandert, terwijl het doel en de interface constant blijven. Bij echte implementaties veranderen operationele condities (bijv. wrijving, materiaalkracht, dynamiek) frequent, waardoor eerdere oplossingen verouderd raken. Huidige agenten hebben moeite met het identificeren van verouderde aannames, het behouden van nuttige componenten en het herontwerpen van mechanismen om onder deze nieuwe fysieke beperkingen te functioneren zonder expliciete instructie over wat er is veranderd.

Methodologie

De auteurs introduceren PACE-Bench (Physics Adaptation via Code Evolution), een simulator-gebaseerde benchmark ontworpen om de zelfevoluerende adaptatie in dynamische fysieke omgevingen te evalueren.

Constructie van de Benchmark

Reikwijdte: De benchmark bestaat uit 144 bron-naar-doel adaptatieparen verspreid over zes fysica-domeinen: Statica, Kinematica, Dynamica, Granulair/Fluïdum Interactie, Cybernetica/Regeling, en Exotische Fysica.
Taakstructuur: Elke basistaak definieert een vaste context (doel, beperkingen en primitieve API's) en vijf omgevingen ( $E_0$ $E_{0}$ tot $E_4$ $E_{4}$ ).
- $E_0$ is de bronomgeving waar een referentie-oplossing slaagt.
- $E_1$ tot en met $E_4$ zijn gemuteerde doelomgevingen waar fysieke parameters (bijv. zwaartekracht, wrijving, gewrichtslimieten, windkrachten) systematisch zijn gewijzigd.
- De bronoplossing is gegarandeerd een mislukking in alle doelomgevingen, terwijl een geverifieerd referentieontwerp voor elk doel aanwezig is.
Evaluatieprotocol: Agenten krijgen een bronoplossing ( $x_0$ $x_{0}$ ) en een doelomgeving ( $E_k$ $E_{k}$ ). Ze hebben een budget van 20 pogingen om de door code gedreven het ontwerp iteratief te herzien.
- Agenten ontvangen diagnostische sandbox-feedback (bijv. piekgewrichtskrachten, tijdstempels van falen, marge van beperkingen) maar krijgen niet verteld welke specifieke fysieke parameters zijn veranderd (Change-Hidden instelling).
- De agent moet de verborgen veranderingen afleiden en het mechanisme herontwerpen om de doelomgeving te passeren.
Dataset Pipeline: De dataset wordt geconstrueerd via een driefasig proces dat automatische auditing voor kruis-module consistentie, moeilijkheidsgraad-escalatie (waarbij Qwen3-4B twee onafhankelijke runs faalt) en menselijke verificatie door experts in fysica/techniek omvat.

Experimentele Opzet

De auteurs evalueerden tien zelfevoluerende methoden over vier paradigma's met behulp van diverse modelgroottes (Qwen3-4B/8B/14B/32B, DeepSeek-V4-Pro, GPT-5.5, etc.):

Context-gebaseerd: Reflexion, Self-Refine.
Geheugen-geaugmenteerd: ACE, ExpeL, ReasoningBank.
Inference-time Zoektocht: Tree-of-Thoughts (ToT), CodeEvolve.
Parameter-gebaseerd: SEAL, RAGEN, TTT-Discover.

Metrics: Pass@2 (fractie van paren waarbij ten minste één van de twee runs slaagt) en Score@2 (gemiddelde van de beste scores van twee runs).
Analyse: De studie bevat code-gelijkenis analyse (om fixatie versus exploratie te detecteren), fout-taxonomie (categorisering van falen zoals catastrofale instorting of stagnatie) en ablatie-studies op informatie-onthulling (Change-Exposed) en visuele feedback (VLM video).

Belangrijkste Resultaten

Benchmark Verzadiging: De benchmark is nog lang niet verzadigd. De sterkste configuratie, Reflexion + Qwen3-14B, slaagt op slechts 35,9% van de volledige benchmarkparen. Zelfs GPT-5.5 lost slechts 66,7% van de Statica subset op onder het volledige budget.
Paradigma Prestaties:
- Reflexion (Context-gebaseerd) presteert consequent beter dan Vanilla en andere methoden, wat aantoont dat simulator-gegronde reflectie betrouwbaarder is dan ongeverifieerde zelf-revisie.
- Tree-of-Thoughts (ToT) vertoont een hoge efficiëntie (Score/Hr) maar heeft moeite om binnen het budget van 20 pogingen te convergeren, waarbij het vaak exploreert zonder een oplossing te vinden.
- Geheugen-geaugmenteerde methoden (bijv. ACE) houden agenten vaak vast aan vroege ontwerpen, wat leidt tot "Design Fixation" waarbij opgehaalde ervaringen sterkere modellen beperken in het verkennen van noodzakelijke herontwerpen.
- Self-Refine presteert slecht, omdat de ongeverifieerde interne revisielussen fouten cumulatief versterken.
Falen: Agenten falen voornamelijk door Design Fixation (het vastlopen op een smalle ontwerpfamilie) of Stagnation/Exploration (het maken van ongerichte wijzigingen zonder vooruitgang). Model-scaling verbetert de redeneerkracht meer dan het de benodigde combinatorische zoektocht voor complexe fysieke herontwerpen oplost.
Informatie-asymmetrie: Het onthullen van de exacte veranderde fysieke parameters (Change-Exposed) verhoogt de prestatieplafond voor topmodellen niet significant. Dit suggereert dat de primaire bottleneck mechanisme-herontwerp ("know how") is in plaats van parameter-inferentie ("know what").
Visuele Feedback: Het toevoegen van video-feedback van een VLM helpt geheugen-gebaseerde methoden (door verouderde herinneringen tegen te gaan) maar kan context-gebaseerde methoden hinderen (door gefocuste redenering te versnipperen).

Betekenis en Claims

Het artikel positioneert PACE-Bench als een reproduceerbare testomgeving voor het diagnosticeren en verbeteren van zelfevoluerende agenten in veranderende omgevingen. De primaire bijdragen zijn:

Een Nieuw Evaluatieparadigma: Het verschuift de focus van generalisatie naar nieuwe taken naar de adaptatie van bestaande uitvoerbare ontwerpen onder fysieke verschuivingen, een cruciale capaciteit voor real-world deployment.
Diagnostische Inzichten: De benchmark onthult dat huidige zelfevoluerende agenten worstelen met de spanning tussen exploratie en exploitatie. Het benadrukt dat "weten wat er veranderd is" onvoldoende is zonder het vermogen om te "weten hoe" men het mechanisme moet herontwerpen.
Methodologische Begeleiding: De resultaten suggereren dat simulator-gegronde reflectie een robuuste strategie is, terwijl geheugenmechanismen sterke modellen onbedoeld kunnen beperken. Het geeft ook aan dat het simpelweg schalen van de modelgrootte niet de fundamentele moeilijkheid van fysiek mechanisme-herontwerp oplost.

De auteurs concluderen dat PACE-Bench een noodzakelijke basis biedt voor het ontwikkelen van agenten die in staat zijn tot levenslange adaptatie in dynamische fysieke werelden, waarbij zij opmerken dat huidige frontier-modellen nog steeds aanzienlijke uitdagingen ervaren in dit domein.