World Simulation with Video Foundation Models for Physical AI

Dit artikel introduceert Cosmos-Predict2.5 en Cosmos-Transfer2.5, geavanceerde wereldsimulatiemodellen voor fysische AI die door middel van een flow-architectuur en versterkte leertraining hoogwaardige synthetische data genereren en wereldtranslatie mogelijk maken voor robuustere robotica en autonome systemen.

De kern

De Digitale Regisseur: Hoe NVIDIA's Nieuwe AI de Wereld voor Robots Nalat

Stel je voor dat je een robot wilt bouwen die een auto kan besturen of een banaan kan schillen. Het grootste probleem? Je kunt die robot niet zomaar in de echte wereld gooien om te oefenen. Dat is te gevaarlijk (denk aan crashende auto's) en te duur (denk aan kapotte robots).

NVIDIA heeft een oplossing bedacht: Cosmos-Predict2.5 en Cosmos-Transfer2.5. In dit artikel leggen we uit wat dit is, alsof we het uitleggen aan een vriendje over de koffie, met een paar leuke vergelijkingen.

1. De "Droomwereld" voor Robots (Cosmos-Predict2.5)

Stel je een video-game voor, maar dan zo realistisch dat je het niet van de echte wereld kunt onderscheiden. Dat is wat Cosmos-Predict2.5 doet. Het is een enorme "droommachine" die video's kan maken van hoe de wereld eruitziet als er iets gebeurt.

• De Oude Versie: De vorige versie (Cosmos-Predict1) was als een beginnende regisseur. Hij kon een film maken, maar soms verdween een auto ineens, liep een robot door een muur, of veranderde de zon plotseling van kleur.
• De Nieuwe Versie (2.5): De nieuwe versie is als een Hollywood-regisseur met een magisch script. Hij is getraind op 200 miljoen video's van echte dingen (auto's, robots, mensen, natuur).
  • Hoe werkt het? Je geeft de AI een opdracht: "Laat een robot een appel oppakken" of "Laat een auto door een regenachtige stad rijden". De AI "droomt" dan een video die eruitziet alsof het echt gebeurt.
  • De Superkracht: Deze AI begrijpt de fysica. Als een bal valt, weet hij dat hij moet stuiteren. Als een auto remt, weet hij dat er bandensporen moeten komen. Hij maakt geen "droom" meer, maar een voorspelling van hoe de echte wereld zich gedraagt.

Waarom is dit cool? Robots kunnen nu "in hun hoofd" oefenen. Ze kunnen duizenden keren een taak proberen in deze digitale droomwereld, fouten maken en leren, zonder dat er ook maar één echte robot of auto beschadigd raakt. Pas als ze perfect zijn in de droom, gaan ze naar de echte wereld.

2. De "Kleurpotlood" voor Bestaande Video's (Cosmos-Transfer2.5)

Als Cosmos-Predict2.5 de regisseur is die een hele nieuwe film bedenkt, dan is Cosmos-Transfer2.5 de magische schilder.

Stel je hebt een saaie, grijze tekening van een straat (zoals een simpele computer-simulatie) of een echte video die er een beetje saai uitziet.

• De Oude Versie: De vorige versie kon de tekening wel wat mooier maken, maar soms verloor hij de details of werd het beeld wazig.
• De Nieuwe Versie (2.5): Deze is 3,5 keer kleiner (dus sneller en goedkoper) maar veel beter.
  • Je kunt een simpele lijntekening van een straat geven, en de AI maakt er een fotorealistische video van.
  • Je kunt een video geven en zeggen: "Maak het regenen" of "Verander de auto's in vrachtwagens". De AI past dit toe alsof het echt gebeurt, zonder dat de auto's door de grond zakken.

De Analogie: Het is alsof je een zwart-wit foto hebt en je vraagt aan een kunstenaar: "Maak hier een kleurrijke, 3D-film van". De nieuwe AI doet dit zo snel en nauwkeurig dat je het verschil met de realiteit nauwelijks ziet.

3. Wat kunnen ze allemaal doen? (De Praktijk)

De auteurs laten zien hoe deze tools de wereld veranderen in drie belangrijke gebieden:

1. Robots die leren werken:

   • Stel je een robot voor die een keuken moet opruimen. In de echte wereld is het lastig om elke mogelijke situatie te oefenen (wat als de borden anders staan? Wat als het licht anders is?).
   • Met Cosmos kunnen ze duizenden variaties van die keuken genereren. De robot oefent in deze "droomkeukens" en wordt zo slim dat hij de echte keuken aankan, zelfs als er een vreemd object op tafel staat.

2. Autonome Auto's:

   • Auto's moeten leren rijden in sneeuw, regen, en op drukke wegen. Je kunt niet zomaar duizenden auto's in de sneeuw laten crashen om ze te trainen.
   • Met deze AI kunnen ze een "virtuele winter" creëren. De auto's rijden in de simulatie duizenden kilometers door de sneeuw, leren hoe ze moeten remmen en sturen, en zijn dan klaar voor de echte winter.

3. Meerdere Camera's tegelijk:

   • Een robot heeft vaak meerdere "ogen" (camera's op zijn hoofd, handen, enz.). Vroeger was het lastig om te voorspellen wat al die camera's tegelijk zouden zien.
   • De nieuwe AI kan een video van één camera nemen en er direct drie andere perspectieven bij maken (links, rechts, boven), zodat de robot een perfect 3D-beeld heeft van wat er gebeurt.

4. Waarom is dit zo belangrijk?

Vroeger moesten robots leren door duizenden keren te vallen en te breken in de echte wereld. Dat is traag en gevaarlijk.

Met Cosmos-Predict2.5 en Transfer2.5 heeft NVIDIA een veilige, oneindige oefenplaats gecreëerd.

• Het is als een tijdreismachine voor robots: ze kunnen de toekomst "voorspellen" en oefenen voordat het gebeurt.
• Het is gratis en veilig: je kunt duizenden auto-ongelukken simuleren zonder dat er ook maar één auto beschadigt.

Conclusie:
NVIDIA heeft de deuren geopend voor iedereen. Ze hebben de code en de modellen gratis beschikbaar gesteld. Dit betekent dat niet alleen grote bedrijven, maar ook onderzoekers en studenten nu deze "droomwereld" kunnen gebruiken om de robots van de toekomst te bouwen. Het is alsof ze de blauwdrukken voor een nieuwe dimensie van intelligentie hebben gedeeld, zodat we allemaal samen kunnen bouwen aan een wereld waar robots en auto's veilig en slim met ons meewerken.

Technische samenvatting

Titel: Wereldsimulatie met Video Foundation Models voor Physical AI

Datum: 26 februari 2026
Auteurs: NVIDIA Research Team

---

1. Het Probleem

Fysieke AI-systemen (embodied agents zoals robots en autonome voertuigen) moeten leren interageren met de fysieke wereld. Het trainen van deze systemen in de echte wereld is echter vaak traag, kostbaar en riskant, vooral in de vroege fasen waar fouten kunnen leiden tot schade aan de agent of de omgeving.

Bestaande wereldsimulatoren missen vaak de noodzakelijke kwaliteit, diversiteit en fysieke consistentie om als een betrouwbaar proxy te fungeren voor de realiteit. Er is een dringende behoefte aan hoogwaardige wereldmodellen die:

• Realistische, diverse visuele omgevingen kunnen genereren op basis van acties.
• Fysiek plausibel gedrag simuleren (bijv. objectinteracties, dynamica).
• Nauwkeurige synthetische data kunnen leveren voor het trainen van Vision-Language-Action (VLA) modellen en beleidsstrategieën (policy learning).
• Controleerbaar zijn via tekst, afbeeldingen, video en specifieke acties.

2. Methodologie

Het paper introduceert twee kernmodellen: [Cosmos-Predict2.5] en [Cosmos-Transfer2.5].

A. Cosmos-Predict2.5 (De Basis Wereldmodel)

Dit is de nieuwste generatie van het Cosmos World Foundation Model, gebaseerd op Flow Matching in plaats van diffusion.

• Architectuur: Het model unificeert Text2World, Image2World en Video2World generatie in één enkel model. Het gebruikt een Flow Matching-architectuur die de snelheid van de diffusietrajectorie voorspelt, wat zorgt voor soepelere optimalisatie.
• Encoder: In plaats van de T5-encoder uit de vorige versie, maakt het gebruik van [Cosmos-Reason1], een moderne decoder-only Vision-Language Model (VLM). Dit biedt rijkere tekstrepresentaties en fijnere controle over de wereldgeneratie.
• Data Curation: Het model is getraind op 200 miljoen zorgvuldig geselecteerde videoclips (uit een oorspronkelijke dataset van 35 miljoen uur ruwe video). De pijplijn omvat strenge filtering (aesthetische kwaliteit, beweging, OCR, perceptuele kwaliteit) en semantische deduplicatie.
• Training:
  • Pre-training: Progressieve training van 256p naar 720p, met taken variërend van Text2Image tot Video2World.
  • Post-training: Supervised Fine-tuning (SFT) op domeinspecifieke data (robotica, autonoom rijden, fysica) gevolgd door Reinforcement Learning (RL) met een VLM-based reward model (VideoAlign) om de uitlijning met menselijke voorkeuren en instructies te verbeteren.
  • Model Merging: Verschillende domein-specifieke modellen worden samengevoegd (via "Model Soup") om een universeel model te creëren dat goed presteert in alle domeinen.
• Schaal: Beschikbaar in 2B en 14B parametergroottes.

B. Cosmos-Transfer2.5 (Controle en Vertaling)

Dit is een Control-Net-stijl framework dat is gebouwd bovenop Cosmos-Predict2.5 voor wereldvertaaltaken (bijv. Sim2Real, Real2Real).

• Functie: Het genereert wereldsimulaties gebaseerd op ruimtelijke controle-inputs zoals randen (edges), onscherpte, segmentatiekaarten en dieptekaarten.
• Efficiëntie: Het is 3,5x kleiner dan zijn voorganger (Cosmos-Transfer1-7B) maar levert hogere kwaliteit en robuustheid op lange termijn.
• Toepassingen: Het kan fysieke simulaties realistischer maken, echte video's verrijken en semantische scenario's omzetten in realistische multi-view inputs.

3. Belangrijkste Bijdragen

1. Unificatie van Generatiemodi: Het eerste model dat Text2World, Image2World en Video2World naadloos combineert in één architectuur, ondersteund door een geavanceerde VLM-encoder.
2. Verbeterde Data Pijplijn: Een schaalbare, multi-stadia filtering-pijplijn die 200 miljoen hoogwaardige clips produceert, inclusief domeinspecifieke data voor robotica, rijden en fysica.
3. Reinforcement Learning voor Wereldmodellen: Een innovatieve toepassing van RL op flow-based wereldgeneratie om de kwaliteit van video's en instructie-uitlijning te verbeteren zonder reward hacking.
4. Domeinspecifieke Specialisatie: Het openbaren van gespecialiseerde modellen voor:
   • Robotica: Actie-geconditioneerde generatie en multi-view (grijper/head-view) synchronisatie.
   • Autonoom Rijden: Multi-view generatie (7 camera's) geconditioneerd op "world scenario maps" (HD-kaarten).
   • Synthetische Data: Generatie van VLA-trainingdata voor robotbeheersing.
5. Open Source: Het vrijgeven van code, checkpoints en benchmarks onder de NVIDIA Open Model License om de drempel voor Physical AI-onderzoek te verlagen.

4. Resultaten

• Benchmark Prestaties (PAI-Bench):
  • Cosmos-Predict2.5-2B presteert vergelijkbaar met of beter dan veel grotere modellen (zoals Wan 2.2 27B) op Text2World en Image2World taken, ondanks dat het aanzienlijk kleiner is.
  • Op menselijke evaluaties wordt het 14B-model verkiest boven het 14B-parameter model van Wan 2.1 en scoort het gelijk aan het 27B-parameter model van Wan 2.2.
• Kwaliteitsverbetering: RL-post-training leidt tot significante verbeteringen in tekstuitlijning, bewegingskwaliteit en visuele kwaliteit (gemeten via VideoAlign-rewards).
• Robotica Experimenten:
  • Een beleid getraind met synthetische data gegenereerd door Cosmos-Transfer2.5 behaalde 24/30 successen in uitdagende testscenario's (nieuwe objecten, verlichting, achtergronden), vergeleken met slechts 5/30 voor een baseline met standaard beeldaugmentatie.
  • Het model toont superieure generalisatie naar "out-of-distribution" scenario's.
• Autonoom Rijden: Het multi-view model toont een verbetering van tot 60% in detectiemetrics (3D-bounding boxes en rijbanen) vergeleken met eerdere modellen, met minder hallucinaties en betere consistentie tussen camera's.
• Lange Video Generatie: Cosmos-Transfer2.5 vertoont minder foutaccumulatie over lange video's (gemeten via RNDS) dan eerdere versies, wat essentieel is voor gesloten-lus simulaties.

5. Betekenis en Impact

Deze paper markeert een belangrijke stap in de evolutie van Physical AI. Door hoogwaardige, controleerbare en fysiek plausibele wereldsimulaties te bieden, stelt Cosmos-Predict2.5 en Cosmos-Transfer2.5 onderzoekers en ontwikkelaars in staat om:

• Veilig te trainen: Robots en autonome systemen kunnen miljarden simulatiestappen doorlopen zonder risico op fysieke schade.
• Data Schaarste Oplossen: Het genereert onbeperkte, gevarieerde synthetische data voor het trainen van complexe VLA-modellen, wat een knelpunt in het veld is.
• Sim2Real Kloof Dichtnemen: De hoge kwaliteit en controleerbaarheid van de simulaties helpen de overgang van simulatie naar de echte wereld (Sim2Real) te versnellen.
• Open Innovatie: Door de modellen en tools openbaar te maken, stimuleert NVIDIA een ecosysteem van reproduceerbaar onderzoek en snellere innovatie in robotica en autonome systemen.

Kortom, dit werk positioneert NVIDIA's Cosmos-reeks als een fundamenteel platform voor de volgende generatie van ingebouwde intelligentie (embodied intelligence), waarbij simulatie de drijvende kracht wordt achter veilige en schaalbare AI-ontwikkeling.