Technische Samenvatting: WorldArena 2.0: Uitbreiding van Benchmarking voor Ingebedde Wereldmodellen op het Gebied van Modaliteit, Functionaliteit en Platform

Probleemstelling

Wereldmodellen zijn uitgegroeid tot een centraal paradigma voor ingebedde intelligentie, waardoor agenten in staat zijn actie-geconditioneerde toekomstige situaties te voorspellen en te redeneren over omgevingsdynamiek. Echter, bestaande benchmarks voor ingebedde wereldmodellen (EWM's) lijden onder drie kritieke beperkingen die de beoordeling van steeds uitgebreidere modellen belemmeren:

1. Modaliteitsbeperking: Heersende benchmarks zijn beperkt tot visuele omgevingen alleen, waarbij de multimodale aard van ingebedde interacties wordt over het hoofd gezien, waarbij tactiele feedback essentieel is voor het oplossen van dynamiek met veel contact en fysieke wrijving.
2. Functionele beperking: downstream-evaluaties zijn grotendeels beperkt tot open-lus planning of statische beleidsevaluatie. Ze onderzoeken zelden het vermogen van een wereldmodel om te dienen als een interactieve versterkingsleer (RL) omgeving die iteratieve beleidsverbetering ondersteunt via verbeelde rollouts.
3. Platformbeperking: Benchmarkresultaten worden bijna uitsluitend in simulatie verkregen. Het blijft onduidelijk of sterke prestaties in gecontroleerde virtuele omgevingen vertalen naar implementatie in de echte wereld, waardoor de sim-naar-real-kloof grotendeels ononderzocht blijft.

Methodologie

Om deze beperkingen aan te pakken, introduceren de auteurs WorldArena 2.0, een uitgebreide benchmark die de EWM-evaluatie systematisch verbreedt langs drie gecoördineerde dimensies: modaliteit, functionaliteit en platform.

1. Modaliteitsuitbreiding: Visuotactiele Evaluatie

WorldArena 2.0 breidt de evaluatie uit van visueel alleen naar visuotactiele modaliteiten.

• Gestandaardiseerde pijplijn: Gebaseerd op de UniVTAC-simulator, stellen de auteurs een gestandaardiseerde pijplijn voor om wereldmodellen die alleen visueel zijn, om te bouwen tot visuotactiele modellen zonder architecturale ingrepen. Dit omvat drie modules:
  • Een Tactiele VAE die tactiele vervormingskaarten encodeert en deze afstemt in de video-latente ruimte.
  • Een Visuotactiel Tweestromen Wereldmodel dat gesynchroniseerd ontdoening uitvoert voor zowel video- als tactiele voorspelling.
  • Een Actie Diffusie Hoofd dat toekomstige acties afleidt op basis van voorspelde visuotactiele latenten.
• Evaluatiemetingen: Modellen worden beoordeeld op de kwaliteit van tactiele voorspelling (PSNR, SSIM) en functionele successpercentages in downstream manipulatietaken (bijv. HDMI-invoegen, Fles optillen).

2. Functionele Uitbreiding: Wereldmodellen als RL-omgevingen

De benchmark gaat voorbij aan offline voorspelling om wereldmodellen te evalueren als online interactieve RL-omgevingen.

• Kader: De auteurs formaliseren een gesloten-lus RL-pijplijn waarbij het wereldmodel de overgangskern van de omgeving benadert ($\hat{P}_\phi$). Het kader bestaat uit vier componenten:
  • Wereldmodelomgeving: Voorspelt de volgende observatie gegeven de huidige staat en actie.
  • Beloningsmodel: Voorspelt directe beloningen (getest met Proxy-gebaseerde, VLM-gebaseerde en Op gelijkenis gebaseerde ontwerpen).
  • Beleidsmodel: Genereert acties geconditioneerd op observaties.
  • Optimalisatiemodule: Update beleidsparameters (bijv. via GRPO) om de verwachte opbrengst te maximaliseren.
• Proces: Het wereldmodel vervangt de simulator in traditionele RL-omgevingen. Beleid wordt getraind via iteratieve interactie met het wereldmodel, en de resulterende beleidsplannen worden ingezet om successpercentages te meten in taken in de echte wereld of in hoogwaardige simulatie.

3. Platformuitbreiding: Cross-Embodiment Sim-naar-Real

WorldArena 2.0 introduceert een gefaseerde evaluatiepijplijn die drie verschillende platformen bestrijkt om cross-embodiment generalisatie te beoordelen:

• RoboTwin 2.0: Een schaalbare bimanuele simulatieomgeving met uitgebreide domeinrandomisatie (taken: Fles aanpassen, Bel indrukken).
• LIBERO: Een gestructureerde benchmark voor manipulatie met één arm met procedurele kennisverschuivingen (taak: Kachel aanzetten).
• AgileX Split-Type ALOHA: Een robottentestbank in de echte wereld uitgerust met PiPER 6-DoF-armen (taken: Water inschenken, Tafel afvegen).
• Evaluatieprotocollen: Modellen worden getest als Ingebedde Data-engines (het genereren van synthetische data voor beleidstraining) en Ingebedde Actieplanners (het direct voorspellen van gesloten-lus actiesequenties).

Belangrijkste Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op 12 state-of-the-art ingebedde wereldmodellen over de gedefinieerde platformen.

• Visuotactiele Prestaties:
  • Wereldmodellen voor algemeen gebruik (bijv. Wan2.2) toonden superieure kwaliteit van tactiele voorspelling in vergelijking met gespecialiseerde ingebedde modellen, met een 100% succespercentage op de taak "HDMI invoegen".
  • Echter, taken met een lange horizon zoals "Fles optillen" onthulden beperkingen; terwijl een baseline ACT-model 80% succes behaalde, daalden wereldmodellen naar 0%, wat aangeeft dat huidige modellen moeite hebben met aanhoudende krachtscontrole over lange horizons, ondanks verbeterde tactiele waarneming.
• Nuttigheid van RL-omgeving:
  • Beleid getraind met wereldmodellen (bijv. WoVR, Ctrl-World) behaalde prestaties vergelijkbaar met training op grondwaarheidsimulatoren op taken met een korte horizon (Bel indrukken), maar toonde wisselende resultaten op taken met een lange horizon.
  • Onder beloningsmodellen bleken Proxy-gebaseerde beloningsmodellen (met ResNet-ruggengraten) het meest robuust, en presteerden ze beter dan VLM-gebaseerde en op gelijkenis gebaseerde benaderingen, die leden onder gebrek aan fijnafstemming of afhankelijkheid van voorspellingnauwkeurigheid.
• Cross-Platform Correlaties:
  • Perceptuele Kwaliteit: Visuele kwaliteit, bewegingskwaliteit en fysieke conformiteit toonden sterke correlaties over simulatieplatforms (RoboTwin en LIBERO).
  • Sim-naar-Real Kloof: Er werd een aanzienlijke disconnectie waargenomen tussen prestaties in simulatie en in de echte wereld. Hoewel simulatie-rangschikkingen matig correleerden, daalden successpercentages voor taken drastisch bij evaluaties in de echte wereld. Slechts een paar modellen behaalden niet-nul successpercentages op taken in de echte wereld, en allen bleven ver beneden de eisen voor praktische implementatie.
  • Functionele Overdracht: Taaksucces correleerde positief tussen simulatoren, maar daalde aanzienlijk bij vergelijking met prestaties in de echte wereld, wat bevestigt dat op simulatie gebaseerde metrieken geen betrouwbare proxies zijn voor inzetbaarheid in de echte wereld.

Betekenis en Claims

Het artikel claimt dat WorldArena 2.0 een rigoureuze, gestandaardiseerde testbank biedt die de voortgang volgt naar echt algemene ingebedde wereldmodellen. De primaire betekenis ligt in:

1. Standaardisatie: Het is een pionier in gestandaardiseerde protocollen voor het evalueren van visuotactiele wereldmodellen en het gebruik van wereldmodellen als online RL-omgevingen, gebieden die eerder ontbeerden van consistente benchmarks.
2. Realiteitscheck: Door evaluatie met robots in de echte wereld in te voeren, blootlegt de benchmark een aanzienlijke "sim-naar-real bruikbaarheidskloof", en toont aan dat prestaties in hoogwaardige simulatie geen garantie bieden voor competentie in de echte wereld.
3. Uitgebreide Beoordeling: Het verlegt het veld voorbij visuele realisme naar het beoordelen van fysische verankering, interactieve nuttigheid en cross-platform robuustheid, en biedt een realistischere basis voor het ontwikkelen van ingebedde intelligentie.

De auteurs concluderen dat hoewel huidige modellen veelbelovend zijn in het vastleggen van multimodale dynamiek en het ondersteunen van beleidsoptimalisatie, er aanzienlijke uitdagingen blijven in het overbruggen van de kloof tussen training in simulatie en fysieke uitvoering in de echte wereld.