🤖 machine learning

Training and Benchmarking Code Generation for Physics-Inspired Animations

Dit artikel introduceert SimuScene, een uitgebreide dataset en benchmark voor het trainen en evalueren van grote taalmodellen op het genereren van uitvoerbare code voor natuurkundig geïnspireerde animaties, waarbij wordt aangetoond dat zelfs de beste modellen moeite hebben met deze taak maar aanzienlijk kunnen worden verbeterd door een nieuwe reinforcement learning-pipeline die gebruikmaakt van visuele beloningen.

Oorspronkelijke auteurs: Yanan Wang, Renxi Wang, Yongxin Wang, Xuezhi Liang, Fajri Koto, Timothy Baldwin, Xiaodan Liang, Haonan Li

Gepubliceerd 2026-08-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yanan Wang, Renxi Wang, Yongxin Wang, Xuezhi Liang, Fajri Koto, Timothy Baldwin, Xiaodan Liang, Haonan Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super slimme robotvriend hebt die een verhalenboek kan lezen en direct de computercode kan schrijven om een film van dat verhaal te maken. Je zegt tegen hem: "Een bal rolt een heuvel af en stuitert tegen een muur aan," en je verwacht een video te zien van een bal die een heuvel afrolt en tegen een muur stuitert. Dit is de droom van Large Language Models (LLM's): computers die menselijke taal kunnen begrijpen en deze kunnen omzetten in actie. Maar er is een lastig deel. Alleen omdat de robot code schrijft, betekent dit niet dat de film die hij maakt er ook echt zo uitziet als het verhaal. De code kan weliswaar draaien, maar de bal kan als een spook rondzweven, een heuvel oprollen, of veranderen in een vierkant. Dit artikel verkent een specifiek hoekje van de wetenschap waar we de vraag stellen: kunnen deze AI-robots niet alleen het script schrijven, maar ook de fysica van de film regisseren zodat het echt aanvoelt? Het is alsof je een chef vraagt om niet alleen een recept voor een cake te schrijven, maar ook daadwerkelijk een cake te bakken die smaakt als een cake, en niet als een baksteen.

De onderzoekers achter deze studie, geleid door een team van de Mohamed bin Zayed University of Artificial Intelligence en de Sun Yat-sen University, besloten deze AI-robots de ultieme test voor te leggen. Ze creëerden een nieuw spel genaamd SimuScene. Denk aan een gigantische, geautomatiseerde speeltuin met 52 verschillende fysica-thema's, zoals zwaartekracht, licht, elektriciteit en hoe vloeistoffen stromen. Ze bouwden een systeem dat duizenden unieke scenario's genereert — zoals "een draaiende schijf op een gladde tafel" of "licht dat buigt door een lens" — en vraagt de AI vervolgens om Python-code te schrijven om deze te animeren. Maar hier komt de crux: de AI krijgt niet simpelweg een voldoende als de code gewoon draait. De code moet een video produceren die ook daadwerkelijk lijkt op de beschreven fysica. Om dit te controleren, gebruikten ze een speciale "scheidsrechter" (een Vision-Language Model) die de gegenereerde video bekijkt en vragen beantwoordt zoals: "Is de bal gestuiterd?" of "Is het licht op de juiste manier gebogen?". Als de video de vragen niet goed beantwoordt, faalt de AI de test.

De resultaten waren een broodnodige realiteitscheck. Zelfs de slimste, meest geavanceerde AI-modellen van dit moment hadden enorme moeite. Wanneer de onderzoekers 10 van de beste AI-modellen vroegen om deze animaties te genereren, slaagde het beste model gemiddeld slechts voor ongeveer 21,5% van de scenario's. Dat betekent dat voor elke 100 pogingen de AI slechts ongeveer 21 keer succesvol een video heeft gemaakt die overeenkomt met de fysica-beschrijving. Meestal draaide de code wel, maar was de animatie vreemd: objecten konden door muren heen bewegen, de verkeerde kant op bewegen, of de zwaartekracht volledig negeren. Het blijkt dat een AI leren om code te schrijven het ene is, maar het leren begrijpen van de onzichtbare regels van hoe de wereld beweegt en het visualiseren van die regels, een veel moeilijkere puzzel is.

Echter, dit artikel stopt niet bij de constatering dat het "moeilijk is". Het team probeerde ook een slimme truc om de AI's beter te maken. Ze gebruikten een methode genaamd Reinforcement Learning, wat vergelijkbaar is met het trainen van een hond met snoepjes. In plaats van de AI alleen op basis van de tekst "goed gedaan" of "fout gedaan" te vertellen, lieten ze de AI een video genereren, bekeken ze de video en gaven ze een "snoepje" (een beloning) alleen als de video er ook daadwerkelijk goed uitzag. Ze gebruikten een visuele rechter om deze beloningen te geven. Na deze training verbeterden de AI-modellen aanzienlijk. Een kleiner model dat begon met een succespercentage van 0%, bereikte na training een slagingspercentage van 11,1%, en een groter model sprong van 18,3% naar 34,4%. Dit suggereert dat hoewel de AI's nog geen perfecte natuurkundige motoren zijn, ze wel beter kunnen worden als je ze de daadwerkelijke films laat zien die ze maken en ze hun eigen fouten laat zien.

Kortom, dit artikel laat zien dat hoewel onze AI-vrienden steeds beter worden in het schrijven van code, ze nog steeds aan het leren zijn om goede regisseurs van de fysica te zijn. Ze kunnen het script schrijven, maar het maken van een film die echt aanvoelt, is nog steeds een werk in uitvoering. Het team bouwde een enorme dataset van meer dan 7.600 fysica-scenario's om hen bij te trainen, en hun experimenten bewijzen dat het bekijken van de resultaten (de video's) en het leren van deze resultaten een krachtige manier is om deze modellen te onderwijzen. Het is een hoopvol teken dat we, met de juiste training, binnenkort AI kunnen hebben die onze meest wilde fysieke beschrijvingen kan omzetten in nauwkeurige, bewegende beelden.

Technische Samenvatting: SimuScene – Training en Benchmarking van Codegeneratie voor Natuurkundig Geïnspireerde Animaties

Probleemstelling

Hoewel Large Language Models (LLM's) sterke capaciteiten hebben getoond in wiskundige redenering, complexe codering en wetenschappelijke probleemoplossing, blijft hun vermogen om uitvoerbare code te genereren die fysieke scenario's en hun kwalitatieve dynamiek visueel weergeeft onderbelicht. Bestaande benchmarks evalueren doorgaans symbolische redenering, statische programmeertaken of perceptueel begrip in isolatie. Ze vereisen niet dat modellen code produceren waarvan de gerenderde animaties visueel overeenstemmen met dynamische fysieke beschrijvingen.

De kernuitdaging ligt op het snijvlak van begrip van fysieke scenario's en animatie-georiënteerde codegeneratie. Het produceren van dergelijke animaties vereist niet alleen een kwalitatief fysiek begrip (bijv. bewegingspatronen, temporele evolutie, interacties tussen objecten), maar ook het programmeervaardigheid om deze concepten in een uitvoerbare visuele vorm te representeren. Het papier stelt dat het doel niet numerieke precisie in simulatie is, maar het genereren van code die visueel interpreteerbare animaties produceert die consistent zijn met kwalitatieve fysieke beschrijvingen.

Methodologie

1. Constructie van de SimuScene Dataset

De auteurs introduceren SimuScene, een nieuwe taak, dataset en benchmark die ontworien is om LLM's te evalueren op het gebied van natuurkundig geïnspireerde animatiegeneratie.

Reikwijdte: De dataset beslaat 52 concepten binnen vijf klassieke natuurkundige domeinen: Mechanica, Elektromagnetisme, Optica, Stromingsleer en Thermodynamica.
Pipeline: Een meerfasige geautomatiseerde pipeline werd ontwikkeld om de datakwaliteit te waarborgen:
1. Scenario Generatie: Vertrekkend vanuit 52 concepten, genereert GPT-4o basis fysieke scenario's en aanvullende condities (bijv. "Rekening houdend met luchtweerstand") om de moeilijkheidsgraad te controleren.
2. Plausibiliteitsfiltering: Scenario's worden automatisch gecontroleerd op fysieke plausibiliteit.
3. Generatie van Verificatievragen: Voor geldige scenario's genereert GPT-4o visuele verificatievragen die de verwachte kwalitatieve dynamiek beschrijven.
4. Vraagvalidatie: Een tweede beoordelingsfase (met behulp van DeepSeek-R1-0528) beoordeelt of de set vragen voldoende is om de volledige beschreven beweging te kunnen beoordelen.
5. Menselijke Verificatie: Een testset van 334 voorbeelden is handmatig geverifieerd om duidelijke beschrijvingen, plausibele scenario's en uitgebreide verificatievragen te garanderen.
Statistieken: De uiteindelijke dataset bevat 7.659 gevalideerde scenario's (7.325 voor training, 334 voor testen). De trainingsdata bevat 12.556 correcte antwoorden (visueel geverifieerd) en 4.325 scenario's gebruikt voor Reinforcement Learning (RL).

2. Evaluatie Pipeline

Het evaluatieproces bestaat uit drie stappen:

Code Generatie: De LLM genereert Python-code op basis van een scenariobeschrijving.
Video Rendering: De code wordt uitgevoerd om een video te renderen die de kwalitatieve dynamiek weergeeft.
VLM-gebaseerde Verificatie: Een Vision-Language Model (VLM) evalueert de gerenderde video aan de hand van de verificatievragen. Een antwoord wordt pas als correct beschouwd als alle verificatievragen als "True" zijn beantwoord.

Betrouwbaarheid: De VLM-beoordelaar (Qwen2.5-VL-72B-Instruct) werd gevalideerd tegen menselijke annotatoren en behaalde een overeenstemming van 87,8%, wat de betrouwbaarheid van de geautomatiseerde evaluatie bevestigt.

3. Trainingsaanpak: Code-Video-Judge RL

Om de prestaties te verbeteren, stellen de auteurs een trainingspipeline voor die Supervised Fine-Tuning (SFT) combineert met Reinforcement Learning (RL) met visuele beloningen.

Beloningssignaal: Een Code-Video-Judge beloning wordt berekend door de scores van meerdere verificatievragen te aggregeren die door VLMs zijn beantwoord over de door code gegenereerde video's.
Binaire Beloning: De standaardbeloning is binair ( $r_{binary}$ ), waarbij alleen een 'pass' wordt toegekend als alle verificatievragen waar zijn.
RL Algoritme: Group Relative Policy Optimization (GRPO) wordt gebruikt om het beleid te optimaliseren op basis van deze visuele beloningen.
Mitigatie van Reward Hacking: Strategieën omvatten aggregatie van meerdere vragen, ensemble VLM-stemmen en het scheiden van trainings- en evaluatie-VLMs. Menselijke evaluatie bevestigde geen bewijs van systematische reward hacking.

Belangrijkste Bijdragen

SimuScene Benchmark: De eerste systematische studie en dataset voor het evalueren van LLM's bij het genereren van uitvoerbare code voor natuurkundig geïnspireerde animaties, voorzien van een strikt door mensen geverifieerde testset van 334 scenario's en kwaliteitsgecontroleerde trainingsdata.
Uitgebreide Benchmarking: Evaluatie van 10 frontier LLM's (inclusief GPT-5, DeepSeek-R1, Qwen3 en Gemini) onthult significante beperkingen, waarbij het sterkste model slechts een 21,5% Avg@8 nauwkeurigheid behaalt.
Visuele Beloningstraining: Introductie van een reinforcement learning pipeline die gebruikmaakt van visuele beloningen uit door code gegenereerde video's om tekst-gebaseerde LLM's te trainen. Deze aanpak levert aanzienlijke winst op, waarbij een getraind 7B-model een pass rate van 11,1% bereikt (vergeleken met 0% voor de baseline) en een 32B-model een 72,2% Pass@8 bereikt.

Resultaten

Baseline Prestaties

Lage End-to-End Nauwkeurigheid: Zelfs de sterkste modellen hebben moeite met het genereren van animaties die zowel uitvoerbaar als visueel in lijn met de beschrijvingen zijn. DeepSeek-R1-0528 behaalde slechts 21,5% Avg@8 nauwkeurigheid.
Hoge Executie, Lage Alignment: Modellen behalen over het algemeen hoge Executable Rates (E.R.) en Render Rates (R.R.), maar lagere Playable Rates (P.R.) en Accuracy (Acc.), wat wijst op moeilijkheden bij het vertalen van scènebeschrijvingen naar plausibele kwalitatieve dynamiek.
Domein Variantie: Prestaties variëren per domein. Mechanica (27,7% Avg@8) en Thermodynamica (26,0%) presteren beter dan Optica (8,4%), waarschijnlijk door datatekort in dat laatste gebied.

Verbeteringen door Training

Impact van SFT: Supervised Fine-Tuning verbetert alle metrieken aanzienlijk ten opzichte van het basemodel.
Winst door RL: RL verhoogt de prestaties verder, met name in het omzetten van gerenderde video's naar speelbare video's en het verbeteren van de uiteindelijke nauwkeurigheid.
- Het 7B-model verbeterde van 0,0% naar 34,4% Pass@8 nauwkeurigheid na RL.
- Het 32B-model bereikte 72,2% Pass@8, waarmee het ongetrainde frontier-modellen zoals DeepSeek-R1 overtrof.
Ablatie van Beloning: Visuele feedback (VLM-als-beoordelaar) bleek superieur aan tekst-alleen LLM-als-beoordelaar beloningen, omdat het een troudere supervisie biedt door daadwerkelijke beweging en interacties te observeren in plaats van ze enkel af te leiden uit statische code.

Betekenis en Claims

Het papier claimt dat SimuScene een kritiek gat vult in de evaluatie van LLM's op het snijvlak van fysiek redeneren en codegeneratie. Het benadrukt dat huidige modellen een gebrek aan consistentie vertonen bij het genereren van animaties die kwalitatieve fysieke dynamiek getrouw weergeven, zelfs wanneer zij syntactisch correcte code kunnen genereren.

Het werk demonstreert dat training met gecureerde natuurkundige data en visuele beloningen effectief het vermogen van een model verbetert om text-to-code-to-video pipelines te genereren die visueel consistent zijn. De auteurs benadrukken dat dit een van de eerste werken is die visuele beloningen gebruikt om tekst-gebaseerde modellen voor dergelijke taken te trainen, waarbij de betrouwbaarheid van VLM-gebaseerde beoordeling zonder bewijs van reward hacking wordt gevalideerd.

De studie suggereert dat hoewel huidige modellen aanzienlijke uitdagingen ervaren, gerichte training de kloof tussen tekstuele fysieke beschrijvingen en uitvoerbare visuele simulaties kan overbruggen, wat ondersteuning biedt voor downstream toepassingen in educatieve visualisatie en controleerbare animatie-prototypering.