Technische Samenvatting: Cosmos Policy

Probleemstelling

Recente ontwikkelingen in videogeneratiemodellen hebben een indrukwekkend vermogen aangetoond om complexe fysieke interacties, temporele causaliteit en scène-evolutie te vangen. Het aanpassen van deze modellen voor robotbesturing vereist echter traditioneel complexe, meerfasige trainingspipelines en de introductie van nieuwe architecturale componenten (bijv. aparte action diffusers of inverse dynamics modellen). Bestaande verenigde video-actie modellen falen vaak in het benutten van de krachtige spatiotemporele priors van grootschalige, vooraf getrainde videomodellen vanwege aangepaste ontwerpen die vanaf nul worden getraind. Bovendien, hoewel Vision-Language-Action (VLA) modellen populaire backbones zijn geworden, zijn ze primair getraind op statische beeld-tekst paren, wat hun begrip van temporele dynamiek en impliciete fysica kan beperken in vergelijking met videomodellen.

De kernuitdaging die door dit werk wordt geadresseerd, is hoe men een groot, vooraf getraind videomodel effectief kan aanpassen tot een robotbeleid via een eenvoudig, enkelvoudig proces zonder architecturale wijzigingen, terwijl tegelijkertijd de beleid in staat wordt gesteld om modelgebaseerde planning uit te voeren met behulp van geleerde wereldmodellen en waardefuncties.

Methodologie

Cosmos Policy Architectuur

De auteurs introduceren Cosmos Policy, een robotbeleid dat is gefinetuned van het NVIDIA Cosmos-Predict2-2B video foundation model. De aanpak onderscheidt zich door het ontbreken van architecturale wijzigingen; in plaats daarvan maakt het gebruik van het natuurlijke latente diffusieproces van het model om multimodale inputs en outputs te verwerken.

1. Latente Frame Injectie:
Om modaliteiten te incorporeren die oorspronkelijk niet door het videomodel worden ondersteund (robot proprioceptie, acties, staatswaarden en multi-view camera's), stellen de auteurs Latent Frame Injection voor.

• Mechanisme: Aanvullende modaliteiten worden gecodeerd als nieuwe latente frames en direct tussen de latente diffusiesequentie van het videomodel ingevoegd.
• Sequentiestructuur: Voor een robotopstelling met meerdere camera's en proprioceptie is de latente sequentie gestructureerd als $(s, a, s', V(s'))$, waarbij:
  • $s$: Huidige staat (robot proprioceptie + huidige camerabeelden).
  • $a$: Action chunk (gecodeerd als een latent frame).
  • $s'$: Toekomstige staat (toekomstige proprioceptie + toekomstige camerabeelden).
  • $V(s')$: Toekomstige staatswaarde (verwachte cumulatieve beloning, gecodeerd als een latent frame).
• Flexibiliteit: Deze methode maakt willekeurige robotconfiguraties mogelijk (bijv. variërende aantallen camera's) door simpelweg latente frames toe te voegen of te verwijderen uit de sequentie zonder de modelgewichten of structuur te wijzigen.

2. Gezamenlijke Trainingsdoelstellingen:
Het model wordt gefinetuned op robotdemonstratiedata met behruik van een enkelvoudige doelstelling die gezamenlijk drie functies leert:

• Beleid (Policy): Voorspelt acties, toekomstige staten en waarden geconditioneerd op de huidige staat ($p(a, s', V(s') | s)$).
• Wereldmodel (World Model): Voorspelt toekomstige staten en waarden geconditioneerd op staat en actie ($p(s', V(s') | s, a)$).
• Waardefunctie (Value Function): Voorspelt toekomstige waarden geconditioneerd op staat, actie en toekomstige staat ($p(V(s') | s, a, s')$).

De trainingsdata bestaat uit een mix van expertdemonstraties (50% van de batch) en policy rollouts (50% van de batch). De rollout-data wordt gebruikt om het wereldmodel en de waardefunctie te trainen, waardoor het systeem kan leren van zowel succesvolle als mislukte trajecten.

3. Planning met Modelgebaseerde Zoektocht:
Cosmos Policy ondersteunt twee modus voor implementatie:

• Direct Beleid (Direct Policy): Gebruikt parallel decoding om acties direct vanuit de huidige staat te genereren.
• Modelgebaseerde Planning (Model-Based Planning): Maakt gebruik van het geleerde wereldmodel en de waardefunctie om te zoeken naar optimale acties.
  • Proces: Het systeem neemt meerdere actievoorstellen, gebruikt het "planning model" (een verfijnd checkpoint dat zwaar is getraind op rollout-data) om de resulterende toekomstige staten en waarden te voorspellen, en selecteert de actie die leidt tot de hoogste voorspelde waarde.
  • Ensemble Strategie: Om multimodale distributies en variantie op te vangen, vormt het systeem voorspellingen tot een ensemble door de wereldmodel en waardefunctie meerdere keren per actie te bevragen, waarbij resultaten worden geaggregeerd via "majority mean" om de succeswaarschijnlijkheid te bepalen.

Belangrijkste Bijdragen

1. Eenvoudige Adaptatie van Videomodellen: Het artikel toont aan dat een groot vooraf getraind videomodel kan worden aangepast tot een state-of-the-art robotbeleid via een enkele fase van post-training met geen architecturale wijzigingen, waarbij latent frame injectie wordt gebruikt om acties en waarden te coderen.
2. Verenigd Beleid, Wereldmodel en Waardefunctie: De aanpak verenigt beleidsleren, wereldmodellering en waarde-estimatie binnen één enkel latent diffusiekader, waarbij gebruik wordt gemaakt van de vooraf getrainde priors van het videomodel om complexe actiedistributies en temporele dynamiek te vangen.
3. Planning via Rollout Verfijning: De auteurs tonen aan dat door het verzamelen van policy rollout-data en het finetunen van de waarde- en wereldmodelcomponenten, het systeem effectieve modelgebaseerde planning (best-of-N sampling) kan uitvoeren om succespercentages te verbeteren in uitdagende taken.
4. State-of-the-Art Prestaties: De methode bereikt nieuwe benchmarks in simulatie en real-world manipulatie, waarbij het presterende beleidsmodellen die vanaf nul zijn getraind, videobaserede beleidsmodellen en gefinetunede VLA's overtreft.

Experimentele Resultaten

De auteurs hebben Cosmos Policy geëvalueerd over drie benchmarks:

• LIBERO Simulatie: Behaalde een gemiddeld succespercentage van 98,5%, waarmee het sterke baselines verslaat zoals Diffusion Policy, Dita, $\pi_0$, OpenVLA-OFT en CogVLA.
• RoboCasa Simulatie: Behaalde een gemiddeld succespercentage van 67,1% met slechts 50 menselijke demonstraties per taak (significant minder dan de 300+ die door veel concurrenten worden gebruikt), waarmee het methoden zoals GR00T-N1.5 en Video Policy overtreft.
• Real-World ALOHA Taken: In uitdagende bimanuele manipulatietaken (bijv. het vouwen van shirts, het hanteren van ziploc zakjes) behaalde Cosmos Policy de hoogste gemiddelde score (93,6%).
  • Het presteerde opvallend beter dan gefinetunde VLA's ($\pi_0.5$, OpenVLA-OFT+) in taken die hoge precisie bij het grijpen en het hanteren van hoge actie-multimodaliteit vereisen.
  • Impact van Planning: Wanneer het werd versterkt met modelgebaseerde planning met behulp van rollout-data, zag het beleid een gemiddelde stijging van 12,5% in de voltooiingsscores van de moeilijkste ALOHA-taken.

Ablatie-studies:

• Het verwijderen van aanvullende leerdoelen (het voorspellen van $s'$ en $V$ naast $a$) resulteerde in een daling van 1,5% in het succespercentage.
• Het trainen van het model vanaf nul (zonder vooraf getrainde videomodellen) resulteerde in een daling van 3,9%, wat het belang van de video model priors benadrukt.
• Modelgebaseerde planning met een $V(s')$ formulering (die een wereldmodel vereist) presteerde beter dan een model-vrije $Q(s, a)$ variant, wat de waarde van geleerde omgevingsdynamiek suggereert.

Betekenis en Claims

Het artikel claimt dat Cosmos Policy een belangrijke stap voorwaarts vertegenwoordigt in robotleren door aan te tonen dat de spatiotemporele priors van grootschalige videogeneratiemodellen een superieure fundering zijn voor low-level besturing vergeleken met statische beeldgebaseerde VLA-modellen.

Belangrijke claims zijn onder meer:

• Eenvoud en Efficiëntie: Het vermogen om een krachtig robotbeleid te creëren zonder architecturale wijzigingen of meerfasige trainingstrajecten.
• Data-efficiëntie: De methode bereikt hoge prestaties met minder demonstraties (50 vs. 300+) vergeleken met andere state-of-the-art methoden, waarschijnlijk door de sterke initialisatie vanaf het video foundation model.
• Planning-capaciteit: De verenigde architectuur ondersteunt van nature modelgebaseerde planning, waardoor de robot toekomstige staten en waarden kan "voorstellen" om betere acties te selecteren, een capaciteit die de prestaties verbetert in precisie- en multimodale taken waar directe beleidsmodellen moeite mee hebben.
• Generalisatie: De aanpak vertoont sterke generalisatie in zowel in-distributie als out-of-distributie scenario's over simulatie- en real-world omgevingen.

De auteurs erkennen beperkingen, specifificamente de inferentiesnelheid van modelgebaseerde planning (ongeveer 5 seconden per actiechunk) en de huidige noodzaak voor substantiële rollout-data om het wereldmodel te verfijnen, en identificeren dit als gebieden voor toekomstige verbetering.