💻 computer science

WorldArena 2.0: Extending Embodied World Model Benchmarking on Modality, Functionality and Platform

Dieser Beitrag stellt WorldArena 2.0 vor, einen erweiterten Benchmark, der verkörperte Weltmodelle systematisch entlang drei neuer Dimensionen bewertet – visuotaktile Modalität, interaktive Funktionalität zur Politikoptimierung sowie diverse reale und simulierte Plattformen –, um die Einschränkungen bestehender rein visueller und simulationsbasierter Bewertungen zu adressieren.

Ursprüngliche Autoren: Yu Shang, Yinzhou Tang, Yiding Ma, Zhuohang Li, Lei Jin, Weikang Su, Xin Jin, Zhaolu Wang, Ziyou Wang, Xin Zhang, Haisheng Su, Weizhen He, Wei Wu, Haoyi Duan, Gordon Wetzstein, Xihui Liu, Dhruv Shah

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yu Shang, Yinzhou Tang, Yiding Ma, Zhuohang Li, Lei Jin, Weikang Su, Xin Jin, Zhaolu Wang, Ziyou Wang, Xin Zhang, Haisheng Su, Weizhen He, Wei Wu, Haoyi Duan, Gordon Wetzstein, Xihui Liu, Dhruv Shah, Zhaoxiang Zhang, Zhibo Chen, Jun Zhu, Yonghong Tian, Tat-Seng Chua, Wenwu Zhu, Chen Gao, Yong Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, Hausarbeiten zu verrichten, wie etwa Wasser einzuschenken oder einen Tisch abzuwischen. Um dies sicher und effektiv zu tun, benötigt der Roboter ein „Weltmodell". Betrachten Sie ein Weltmodell als die innere Traummaschine des Roboters. Es ist eine Simulation im Gehirn des Roboters, in der er „vorstellen" kann, was als Nächstes passieren wird, wenn er seinen Arm auf bestimmte Weise bewegt, ohne dabei tatsächlich eine zerbrochene Vase oder verschüttetes Getränk zu riskieren.

Lange Zeit haben Wissenschaftler diese Traummaschinen getestet, doch ihre Tests waren ein wenig so, als würde man die Fähigkeiten eines Piloten nur anhand einer flachen, zweidimensionalen Zeichnung eines Flugzeugs beurteilen. Sie prüften lediglich, ob der Roboter die Zukunft klar „sehen" konnte, ignorierten dabei jedoch andere Sinne, wie gut er tatsächlich fliegen lernen konnte und ob er echtem Wind und Regen standhalten würde.

WorldArena 2.0 ist ein brandneuer, deutlich härterer „Flugsimulator" zum Testen dieser Roboterhirne. Die Forscher der Tsinghua-Universität und vieler anderer führender Institutionen haben den Test in drei wesentlichen Punkten verbessert:

1. Hinzufügen eines „Gefühls für Berührung" (Modalität)

Der alte Weg: Früher verfügte die Traummaschine des Roboters nur über Augen. Sie konnte vorhersagen, wie ein Video eines sich bewegenden Objekts aussehen würde, konnte aber nichts „fühlen".
Der neue Weg: WorldArena 2.0 gibt dem Roboter Augen und Hände. Es wird getestet, ob der Roboter nicht nur das Video, sondern auch das taktile Feedback (das Gefühl von Druck, Rutschen oder Textur) vorhersagen kann.

Die Analogie: Stellen Sie sich vor, Sie versuchen Jonglieren zu lernen, indem Sie nur ein Video von jemandem ansehen, der jongliert. Sie wissen vielleicht, wohin die Bälle aussehen, als würden sie gehen, aber Sie wissen nicht, wie fest Sie sie fangen müssen. WorldArena 2.0 zwingt den Roboter, das Gefühl des Balls, der auf seine Hand trifft, vorzustellen, was für Aufgaben wie das Einstecken eines USB-Kabels (wobei man das „Klicken" spüren muss) oder das Anheben einer Flasche, ohne sie zu zerdrücken, entscheidend ist.

2. Verwandlung der Traummaschine in ein „Trainingsstudio" (Funktionalität)

Der alte Weg: Zuvor baten Forscher den Roboter, eine Zukunft zu „träumen", und prüften dann, ob der Traum realistisch aussah. Es war eine Einbahnstraße: Der Roboter träumte, und die Menschen bewerteten das Bild.
Der neue Weg: Jetzt fungiert die Traummaschine des Roboters als virtuelles Trainingsstudio. Der Roboter kann seine Fähigkeiten innerhalb des Traums üben, Fehler machen, daraus lernen und sich verbessern, alles ohne die reale Welt zu berühren.

Die Analogie: Anstatt nur einen Film über einen Fußballspieler anzusehen, spielt der Roboter nun ein Videospiel, in dem er tatsächlich das Balltreten üben kann. Der Test prüft: „Wenn wir den Roboter 10 Stunden lang in diesem Traum trainieren lassen, wird er dann ein besserer Spieler, wenn er auf das echte Feld tritt?"

3. Testen in der „realen Welt" (Plattform)

Der alte Weg: Die meisten Tests fanden vollständig innerhalb einer Computersimulation statt. Es war, als würde man ein Auto nur auf einer perfekt glatten, ebenen Strecke in einem Videospiel testen.
Der neue Weg: WorldArena 2.0 testet die Roboter in drei verschiedenen Umgebungen:

RoboTwin 2.0: Eine komplexe Computersimulation mit zufälligen Hindernissen.
LIBERO: Eine strukturierte Simulation, die spezifische Arten des Lernens testet.
AgileX ALOHA: Ein echter physischer Roboter in einem echten Raum.

Die Analogie: Es ist der Unterschied zwischen dem Testen eines Autos in einem Videospiel, auf einer Teststrecke und schließlich dem Fahren auf einer holprigen, regnerischen Stadtstraße. Die Forscher stellten fest, dass viele Roboter zwar auf dem Videospiel-Niveau großartig waren, aber oft Schwierigkeiten hatten, wenn sie auf der echten, chaotischen Straße fahren mussten. Dies unterstreicht eine große Lücke zwischen perfektem „Träumen" und perfektem „Tun".

Was haben sie herausgefunden?

Die Forscher testeten 12 verschiedene Roboter-„Traummaschinen" unter Verwendung dieser neuen Regeln.

Die gute Nachricht: Einige Modelle lernten, die Welt recht gut zu „fühlen". Beispielsweise war ein Modell (Wan 2.2) so gut darin, taktile Empfindungen vorherzusagen, dass es eine heikle Aufgabe (Einstecken eines HDMI-Kabels) in der Simulation zu 100 % erfolgreich ausführen konnte.
Die schlechte Nachricht: Es besteht immer noch eine enorme Lücke zwischen Simulation und Realität. Ein Roboter, der in der Computersimulation wie ein Genie aussieht, scheitert oft, wenn er aufgefordert wird, Wasser auf einen echten Tisch zu gießen. Der „Traum" ist noch nicht genau genug, um die chaotische Physik der realen Welt zu bewältigen.

Das Fazit

WorldArena 2.0 ist ein ehrlicherer und umfassenderer Reportcard für Roboterintelligenz. Es hört auf, uns nur schöne Roboter-Videos bewundern zu lassen, und beginnt, die harten Fragen zu stellen: Kann der Roboter fühlen? Kann er in seinem eigenen Geist lernen? Und kann er die Aufgabe tatsächlich erledigen, wenn er draußen in der realen Welt ist?

Die Arbeit kommt zu dem Schluss, dass wir zwar Fortschritte machen, aber noch einen langen Weg vor uns haben, bevor Roboter zuverlässig aus ihren eigenen „Träumen" lernen und dieses Lernen auf reale Aufgaben anwenden können.

Technische Zusammenfassung: WorldArena 2.0: Erweiterung des Benchmarkings für embodied World Models hinsichtlich Modalität, Funktionalität und Plattform

Problemstellung

World Models haben sich zu einem zentralen Paradigma für embodied Intelligence entwickelt und ermöglichen es Agenten, zukünftige Zustände, die von Aktionen abhängen, vorherzusagen und über die Dynamik der Umwelt zu reasoning. Allerdings leiden bestehende Benchmarks für embodied World Models (EWMs) unter drei kritischen Einschränkungen, die die Bewertung zunehmend umfassender Modelle behindern:

Einschränkung der Modalität: Die vorherrschenden Benchmarks beschränken sich auf rein visuelle Settings und übersehen die multimodale Natur embodied Interaktionen, bei denen taktiles Feedback entscheidend ist, um dynamische Prozesse mit vielen Kontakten und physikalische Reibung zu lösen.
Einschränkung der Funktionalität: Nachgelagerte Evaluierungen beschränken sich weitgehend auf Open-Loop-Planung oder statische Policy-Bewertungen. Sie untersuchen selten die Fähigkeit eines World Models, als interaktive Reinforcement-Learning (RL)-Umgebung zu dienen, die eine iterative Verbesserung der Policy durch imaginierte Rollouts unterstützt.
Einschränkung der Plattform: Benchmark-Ergebnisse werden fast ausschließlich in Simulationen erzielt. Es bleibt unklar, ob eine starke Leistung in kontrollierten virtuellen Umgebungen auf den Einsatz in der realen Welt übertragbar ist, wodurch die Lücke zwischen Simulation und Realität (Sim-to-Real Gap) weitgehend unerforscht bleibt.

Methodik

Um diese Einschränkungen zu adressieren, stellen die Autoren WorldArena 2.0 vor, einen erweiterten Benchmark, der die EWM-Evaluierung systematisch entlang drei koordinierter Dimensionen erweitert: Modalität, Funktionalität und Plattform.

1. Erweiterung der Modalität: Visuotaktile Evaluierung

WorldArena 2.0 erweitert die Evaluierung von rein visuellen auf visuotaktile Modalitäten.

Standardisierte Pipeline: Basierend auf dem UniVTAC-Simulator schlagen die Autoren eine standardisierte Pipeline vor, um rein visuelle World Models ohne architektonische Eingriffe in visuotaktile Modelle zu überführen. Dies umfasst drei Module:
- Ein Taktiles VAE, das taktile Deformationskarten kodiert und in den latenten Raum des Videos ausrichtet.
- Ein Visuotaktiles Zwei-Stream-World-Model, das eine synchronisierte Denoisierung sowohl für die Videovorhersage als auch für die taktile Vorhersage durchführt.
- Ein Action Diffusion Head, der zukünftige Aktionen basierend auf vorhergesagten visuotaktilen latenten Variablen ableitet.
Evaluierungsmetriken: Die Modelle werden hinsichtlich der Qualität der taktilen Vorhersage (PSNR, SSIM) und der funktionalen Erfolgsraten in nachgelagerten Manipulationsaufgaben (z. B. HDMI einstecken, Flasche heben) bewertet.

2. Erweiterung der Funktionalität: World Models als RL-Umgebungen

Der Benchmark geht über die Offline-Vorhersage hinaus und bewertet World Models als online interaktive RL-Umgebungen.

Rahmenwerk: Die Autoren formalisieren eine Closed-Loop-RL-Pipeline, bei der das World Model den Übergangskernel der Umgebung ( $\hat{P}_\phi$ $\hat{P}_{ϕ}$ ) approximiert. Der Rahmenwerk besteht aus vier Komponenten:
- World Model Environment: Vorhersage der nächsten Beobachtung gegeben den aktuellen Zustand und die Aktion.
- Reward Model: Vorhersage unmittelbarer Belohnungen (getestet mit Proxy-basierten, VLM-basierten und Ähnlichkeits-basierten Designs).
- Policy Model: Generierung von Aktionen, die auf Beobachtungen konditioniert sind.
- Optimierungsmodul: Aktualisierung der Policy-Parameter (z. B. via GRPO), um den erwarteten Return zu maximieren.
Prozess: Das World Model ersetzt den Simulator in traditionellen RL-Settings. Policies werden durch iterative Interaktion mit dem World Model trainiert, und die resultierenden Policies werden eingesetzt, um die Erfolgsraten in Aufgaben der realen Welt oder hochfidelitäts Simulationen zu messen.

3. Erweiterung der Plattform: Cross-Embodiment Sim-to-Real

WorldArena 2.0 führt eine gestufte Evaluierungspipeline ein, die drei verschiedene Plattformen umfasst, um die Cross-Embodiment-Generalisierung zu bewerten:

RoboTwin 2.0: Eine skalierbare bimanuelle Simulationsumgebung mit umfangreicher Domain Randomization (Aufgaben: Flasche justieren, Glocke läuten).
LIBERO: Ein strukturierter Benchmark für einarmige Manipulation mit prozeduralen Wissensverschiebungen (Aufgabe: Herd einschalten).
AgileX Split-Type ALOHA: Ein Roboter-Testfeld in der realen Welt, ausgestattet mit PiPER 6-DoF-Armen (Aufgaben: Wasser einschenken, Tisch abwischen).
Evaluierungsprotokolle: Die Modelle werden als Embodied Data Engines (Generierung synthetischer Daten für das Policy-Training) und als Embodied Action Planner (direkte Vorhersage geschlossener Aktionssequenzen) getestet.

Wichtige Ergebnisse

Die Autoren führten umfangreiche Experimente an 12 state-of-the-art embodied World Models über die definierten Plattformen hinweg durch.

Leistung bei visuotaktilen Aufgaben:
- Allgemeine World Models (z. B. Wan2.2) zeigten eine überlegene Qualität der taktilen Vorhersage im Vergleich zu spezialisierten embodied Modellen und erreichten 100 % Erfolg bei der Aufgabe „HDMI einstecken".
- Allerdings offenbarten Langzeit-Aufgaben wie „Flasche heben" Einschränkungen; während ein Baseline-ACT-Modell 80 % Erfolg erreichte, sank die Leistung der World Models auf 0 %, was darauf hindeutet, dass aktuelle Modelle trotz verbesserter taktiler Wahrnehmung Schwierigkeiten mit der aufrechterhaltenen Kraftkontrolle über lange Zeiträume haben.
Nützlichkeit als RL-Umgebung:
- Policies, die mit World Models trainiert wurden (z. B. WoVR, Ctrl-World), erzielten bei Kurzzeit-Aufgaben (Glocke läuten) eine Leistung, die mit dem Training im Ground-Truth-Simulator vergleichbar war, zeigten jedoch bei Langzeit-Aufgaben unterschiedliche Ergebnisse.
- Unter den Reward-Modellen erwiesen sich Proxy-basierte Reward-Modelle (unter Verwendung von ResNet-Backbones) als am robustesten und übertrafen VLM-basierte und Ähnlichkeits-basierte Ansätze, die unter mangelnder Feinabstimmung oder Abhängigkeit von der Vorhersagegenauigkeit litten.
Korrelationen zwischen Plattformen:
- Wahrnehmungsqualität: Visuelle Qualität, Bewegungsqualität und physikalische Konformität zeigten starke Korrelationen über die Simulationsplattformen hinweg (RoboTwin und LIBERO).
- Sim-to-Real Gap: Es wurde eine signifikante Diskrepanz zwischen der Leistung in der Simulation und in der realen Welt beobachtet. Während die Rankings in der Simulation moderat korrelierten, sanken die Erfolgsraten bei Aufgaben in der realen Welt drastisch. Nur wenige Modelle erreichten bei Aufgaben in der realen Welt nicht-null Erfolgsraten, und alle blieben weit unter den Anforderungen für einen praktischen Einsatz.
- Funktionale Übertragung: Der Auftragserfolg korrelierte positiv zwischen den Simulatoren, sank jedoch signifikant beim Vergleich mit der Leistung in der realen Welt. Dies bestätigt, dass simulationsbasierte Metriken keine zuverlässigen Proxy für die Einsatzfähigkeit in der realen Welt sind.

Bedeutung und Behauptungen

Die Autoren behaupten, dass WorldArena 2.0 einen rigorosen, standardisierten Testbett bietet, der Fortschritte hin zu wirklich allgemeinen embodied World Models verfolgt. Seine primäre Bedeutung liegt in:

Standardisierung: Es führt standardisierte Protokolle für die Evaluierung visuotaktiler World Models und die Nutzung von World Models als online RL-Umgebungen ein, Bereiche, die zuvor konsistente Benchmarks vermissen ließen.
Realitätscheck: Durch die Einführung einer Evaluierung mit Robotern in der realen Welt legt der Benchmark eine erhebliche „Sim-to-Real-Nutzbarkeitslücke" offen und zeigt, dass eine hochfidelitäts Simulationsleistung keine Garantie für Kompetenz in der realen Welt ist.
Umfassende Bewertung: Es führt das Feld über visuelle Realismus hinaus, um physikalisches Grounding, interaktiven Nutzen und Cross-Plattform-Robustheit zu bewerten, und bietet eine realistischere Grundlage für die Entwicklung von embodied Intelligence.

Die Autoren schließen, dass zwar aktuelle Modelle vielversprechend darin sind, multimodale Dynamiken zu erfassen und die Policy-Optimierung zu unterstützen, erhebliche Herausforderungen bestehen bleiben, die Lücke zwischen dem Training in der Simulation und der physischen Ausführung in der realen Welt zu überbrücken.