💻 computer science

Coding Agent Is Good As World Simulator

Dit artikel introduceert een agentiek framework dat fysiek plausibele wereldmodellen construeert door iteratief uitvoerbare simulatiecode te genereren en te verfijnen via gecoördineerde planning, codering, visuele beoordeling en fysieke analyse, waarbij superieure prestaties worden aangetoond ten opzichte van op video gebaseerde benaderingen op het gebied van fysieke nauwkeurigheid, instructietrouw en visuele kwaliteit.

Oorspronkelijke auteurs: Hongyu Wang, Jingquan Wang, Bocheng Zou, Radu Serban, Dan Negrut

Gepubliceerd 2026-05-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Hongyu Wang, Jingquan Wang, Bocheng Zou, Radu Serban, Dan Negrut

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een realistische filmscène wilt maken waarin een auto over een drijvende brug op water rijdt, of een robot een rommelig kantoor navigeert.

De oude manier (videomodellen):
Beschouw huidige AI-videogeneratoren als uitzonderlijk getalenteerde schilders. Als je hen vraagt om een auto te schilderen die over water rijdt, kijken ze naar miljoenen foto's en video's van auto's en water. Ze raden op basis van patronen hoe het volgende frame eruit zou moeten zien.

Het probleem: Ze kennen de natuurkunde niet echt. Ze raden alleen de kleuren en vormen. Als de auto over een hobbel rijdt, kan de schilder per ongeluk de auto door de hobbel laten zweven, of kan de brug zich verdraaien tot een rare vorm omdat de AI "vergeten" is hoe de zwaartekracht werkt. Het ziet er even cool uit, maar de natuurkundige wetten breken snel af.

De nieuwe manier (de aanpak van dit paper):
De auteurs stellen een andere methode voor: in plaats van de film frame voor frame te schilderen, vragen ze de AI om het handleiding (code) te schrijven voor een natuurkundemotor.

Stel je het zo voor:

De oude manier is als een goochelaar die probeert de volgende truc te raden.
De manier van dit paper is als het inhuren van een ingenieur om een echt, werkend model in een lab te bouwen.

Hoe de "coderingsagent" werkt

Het paper beschrijft een team van AI-"agenten" (gespecialiseerde assistenten) die samenwerken om deze simulatie te bouwen. Ze fungeren als een bouwteam:

De planner (de architect): Je vertelt het team: "Ik wil een robot in een kantoor." De planner breekt dit af tot een blauwdruk: "We hebben een vloer, twee tafels, zeven stoelen en een robot nodig. De robot moet tussen hen door kunnen lopen."
De coder (de bouwer): Deze agent neemt de blauwdruk en schrijft daadwerkelijke computercode (met behulp van een tool genaamd Project Chrono) die de computer precies vertelt hoe de kamer te bouwen, waar het meubilair te plaatsen en hoe zwaar alles is.
De visuele reviewer (de inspecteur): De code wordt uitgevoerd en er wordt een video gegenereerd. De reviewer bekijkt de video en zegt: "Wacht, de robot zweeft door de tafel. Dat is fout."
De natuurkundeanalist (de ingenieur): Deze agent controleert de wiskunde. Hij zegt: "De tafel is te licht, of de robot is te zwaar. De code moet worden gerepareerd."
De lus: De coder repareert de code en ze draaien het opnieuw. Ze blijven dit doen totdat de simulatie perfect werkt en de natuurkundige wetten naleeft.

Waarom dit belangrijk is

Het paper beweert dat door de wereld te bouwen via uitvoerbare code in plaats van alleen videoframes te voorspellen, de simulatie wordt:

Natuurkundig accuraat: Objecten botsen, vallen en stuitten precies zoals ze zouden moeten, omdat de code echte natuurkunderegels afdwingt.
Repareerbaar: Als er iets misgaat, kun je naar de code kijken, de fout vinden en deze repareren. Je kunt een video niet makkelijk "repareren" als de natuurkunde fout is; je moet het gewoon opnieuw proberen te schilderen.
Betrouwbaar voor complexe taken: Het team heeft dit getest met een robot in een kantoor, een militair voertuig dat over ruw terrein rijdt, en een auto die over een drijvende brug op water rijdt (een complexe mix van vaste en vloeibare natuurkunde).

De resultaten

Toen ze hun "coderingsagent"-methode vergeleken met geavanceerde videogeneratiemodellen (met behulp van een benchmark genaamd WorldModelBench), scoorde hun methode hoger op:

Opdrachtgetrouwheid: deed het precies wat je vroeg? (Ja, omdat de code expliciet bouwt wat je vraagt).
Natuurkundige wetten: viel de auto door de vloer? (Nee, omdat de code het verhindert).

De haken en ogen

Het paper geeft toe dat dit systeem nog niet perfect is. Het kan traag en duur zijn (in termen van rekenkracht) omdat het code moet schrijven, uitvoeren, controleren en herhaaldelijk repareren. Ook, als de AI geen specifiek 3D-model van een object in zijn bibliotheek heeft, moet het dit benaderen met een eenvoudige vorm.

Kortom: In plaats van de AI te vragen om te raden hoe een realistische wereld eruit ziet, leert dit paper de AI om een realistische wereld te bouwen met code, zodat de natuurkunde echt is en niet slechts een illusie.

Technische Samenvatting: Een Coderingsagent Is Even Goed Als Wereldsimulator

Probleemstelling

Wereldmodellen zijn opgekomen als een paradigma voor het bouwen van interactieve simulatieomgevingen, waarbij recente video-gebaseerde benaderingen vooruitgang tonen in het genereren van visueel geloofwaardige dynamiek. Deze modellen leiden dynamiek echter doorgaans af uit video en vertegenwoordigen deze in latente toestanden, in plaats van fysieke beperkingen expliciet af te dwingen. Als gevolg daarvan ontberen de gegenereerde video-rollouts vaak fysieke plausibiliteit, met onstabiele contacten, vervormde vormen of inconsistente beweging. Er blijft een kritieke kloof bestaan in het construeren van werelden waar mechanica kan worden geïnspecteerd, uitgevoerd en gerepareerd, met name voor interacties op lange termijn waarbij het behoud van de fysieke toestand even belangrijk is als het renderen van het volgende frame. Bestaande fysische simulators (bijv. MuJoCo, Project Chrono) bieden expliciete toestanden en diagnostiek, maar vereisen dat gebruikers handmatig activa kiezen, lichamen instantiëren, code schrijven en parameters afstemmen, wat een knelpunt creëert in de wereldconstructie.

Methodologie

De auteurs stellen een multi-agent framework voor dat op fysische principes gebaseerde wereldmodellen construeert via uitvoerbare simulatiecode in plaats van directe framevoorspelling. Het systeem behandelt gegenereerde code als de wereldrepresentatie, en specificeert geometrie, lichamen, gewrichten, contacten, materialen, sensoren en numerieke instellingen binnen een fysische engine (Project Chrono). Het framework werkt via een gesloten-lus agentworkflow:

Activa Bibliotheek en Botsingsrepresentatie: Het systeem maakt gebruik van een geünificeerde activa bibliotheek die externe 3D-activa (voor semantische/visuele diversiteit) combineert met simulator-natieve activa (voor fysieke componenten). Om rekentkosten te beheersen, wordt visuele geometrie gescheiden van botsingsgeometrie; hoogresolutiemeshes worden gebruikt voor rendering, terwijl fysieke interacties vertrouwen op gedeconstrueerde convexe hulzen die worden gegenereerd via het Approximate Convex Decomposition (CoACD) algoritme.
Multi-Agent Workflow:
- Plan Agent: Converteert ondergespecificeerde natuurlijke taalprompts (en optionele referentieafbeeldingen) naar een gestructureerd simulatieplan. Deze agent extrahert fysieke entiteiten, leidt scenes topologie af met behulp van een gedefinieerde predicat algebra (bijv. PLACE-ON, FLOATS-AT-SURFACE, FACING-TO), en vertaalt ruimtelijke relaties naar concrete simulatorposities. Hij maakt dit plan beschikbaar voor gebruikersbevestiging om ervoor te zorgen dat concrete keuzes (afmetingen, tijdstappen, cameraplatage) worden gevalideerd voordat er wordt gecodeerd.
- Code Agent: Vertaalt het goedgekeurde plan naar uitvoerbare PyChrono-code. De generatie wordt gekonditioneerd op een gecureerde vaardigheidsbibliotheek (implementatiepatronen voor starre lichamen, gewrichten, voertuigen, enz.), een tool-interface voor het opvragen van bronnen, en een versiespecifieke API-index om API-drift te voorkomen.
- Uitvoering en Beoordelingslus: De gegenereerde code wordt uitgevoerd in de Chrono-engine.
  - Visuele Beoordelingsagent: Analyseert simulatievideo's om de scene-indeling, dynamiek en visuele inconsistenties te beschrijven.
  - Simulatiebeoordelaar: Combineert diagnostische logs, fysieke trajectgegevens en visueel bewijs om de geldigheid te bepalen. Als de simulatie faalt (bijv. fysieke fouten, visuele mismatches), retourneert de beoordelaar een gestructureerd foutrapport.
  - Iteratief Reparatie: De Code Agent repareert het huidige programma op basis van feedback in plaats van het vanaf nul te regenereren. Deze lus gaat door totdat de simulatie voldoet aan het plan en de fysieke beperkingen.

Belangrijkste Bijdragen

Multi-Agent Framework voor Wereldsimulatie: De auteurs stellen een systeem voor waarbij agenten collaboratief uitvoerbare fysieke werelden construeren via simulatorbewuste planning, vaardigheidsgedreven codegeneratie, uitvoeringsfeedback, visuele beoordeling en iteratieve reparatie.
Uitvoerbare Wereldrepresentatie: Het framework integreert fysische simulatie direct in het wereldconstructieproces. Objecten, gewrichten, contacten en numerieke instellingen worden vertegenwoordigd als uitvoerbare simulatorprogramma's, wat expliciete fysieke toestanden, controleerbare dynamiek en onderbouwde interactie mogelijk maakt die verder gaat dan visuele voorspelling op frame-niveau.
Gedemonstreerde Effectiviteit en Generaliteit: Het framework wordt geëvalueerd over diverse taken, waaronder robotinteractie in binnenomgevingen, voertuigdynamiek buiten, en hoogwaardige vloeistof-vaste stof interactie (FSI).

Experimentele Resultaten

Het framework werd geëvalueerd aan de hand van drie scenario's: een Go2-robot die een kantoor patrouilleert, een HMMWV die over buiten terrein rijdt, en een Polaris-voertuig dat een drijvend blok oversteekt op water (FSI).

Robuustheid van Planning: Een ablatiestudie op de Plan Agent toonde hoge successpercentages (100% Pass@1) voor het genereren van gestructureerde plannen, zowel met als zonder referentieafbeeldingen.
Resourcegebruik: End-to-end runs voor succesvolle simulaties duurden tussen 24 en 30 minuten, met tokengebruik variërend van ongeveer 1,68 miljoen tot ongeveer 6,34 miljoen tokens, afhankelijk van de complexiteit van het scenario.
Benchmarks Evaluatie (WorldModelBench): Het framework werd vergeleken met een state-of-the-art video-generatie baseline (Wan2.2-TI2V-5B) op de WorldModelBench, die instructievolging, natuurwetten en gezond verstand beoordeelt.
- Het multi-agent framework behaalde hogere totaalscores in alle drie de scenario's.
- De verbetering was statistisch significant ( $p=0,0012$ ) in het FSI-voertuigscenario.
- Op metrisch niveau toonde het framework een significante winst in instructievolging ( $p=0,000059$ ), wat wijst op een superieur behoud van gevraagde entiteiten en scenes beperkingen.
- Scores voor natuurwetten en gezond verstand waren vergelijkbaar met de baseline, hoewel het framework een licht numeriek voordeel behield.

Betekenis en Beperkingen

Het artikel stelt dat een coderingsagent effectief kan fungeren als wereldsimulator door uitvoerbare programma's te construeren die de fysieke wereld zelf definiëren. Deze benadering verschuift het probleem van framevoorspelling naar simulatorbewuste wereldconstructie, waardoor fouten kunnen worden terugvervolgd via uitvoeringslogs en kunnen worden gerepareerd via code-modificatie in plaats van hertraining of het regenereren van latente toestanden.

De auteurs erkennen verschillende beperkingen:

Monotonie van Reparatie: Het reparatieproces is niet gegarandeerd monotoon verbeterend en kan door verschillende faalmodi cycleren.
Activa Beperkingen: De beperkte activa bibliotheek vereist dat ontbrekende objecten worden benaderd door geometrische proxies.
Code Beperkingen: Generatie wordt beperkt door de vaardigheidsbibliotheek en API-index, waardoor het instantiëren van niet-ondersteunde sensoren of aangepaste solvers moeilijk is.
Evaluatie Scope: De huidige evaluatie bestrijkt een klein aantal scenario's en is deels afhankelijk van menselijke oordelen voor planacceptatie.

Toekomstige werkrichtingen omvatten het integreren van 3D-activa generatiepijplijnen om long-tail elementen te hanteren, het optimaliseren van tokengebruik door betere staatrepresentaties en caching, en het verkennen van parallelle uitvoering om huidige hardwareknelpunten te overwinnen.