RobotArena $\infty$: Scalable Robot Benchmarking via Real-to-Sim Translation

Dit paper introduceert RobotArena Infinity, een schaalbaar benchmarkkader dat real-world robotbeleid evalueert in gesimuleerde omgevingen door video-demonstraties automatisch om te zetten en gebruik te maken van online menselijke feedback voor reproduceerbare en robuuste prestatie-metingen.

De kern

RobotArena ∞: De Grote Robot-Olympiade in de Digitale Wereld

Stel je voor dat je wilt weten welke robot de beste is. Vroeger was dit een enorme gedoe. Je moest de robots fysiek bouwen, ze naar een laboratorium sturen, ze een taak laten uitvoeren (zoals een kopje opruimen), en dan moest een menselijke trainer de hele dag lang toekijken, de robots terugzetten als ze iets verkeerds deden, en beoordelen of het goed ging. Dit is duur, traag, gevaarlijk en moeilijk te herhalen. Het is alsof je elke keer als je een nieuw autootest wilt doen, de hele weg moet herleggen en een nieuwe brug moet bouwen.

De auteurs van dit paper, RobotArena ∞, hebben een slimme oplossing bedacht. Ze zeggen: "Waarom testen we ze niet in een perfecte digitale wereld die we automatisch maken?"

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Tijdmachine" (Van Video naar Simulatie)

Stel je voor dat je een video hebt van een menselijke robot die een taak uitvoert, zoals een tomaat in een pan doen.

• Het oude probleem: Je kunt die video niet zomaar in een computerspel spelen. De computer begrijpt niet hoe de wereld eruitziet.
• De nieuwe truc: RobotArena ∞ gebruikt slimme AI (zoals een superkrachtige camera en een 3D-ontwerper) om die video te "ontleden". Het kijkt naar de video en bouwt automatisch een exacte digitale kopie (een "tweeling") van die scène.
  • Het maakt een 3D-model van de tomaat, de pan en de robotarm.
  • Het berekent hoe zwaar de tomaat is en hoe de robotarm beweegt.
  • Het creëert een digitale achtergrond.

Het is alsof je een foto van een kamer maakt en de computer daar direct een volledig speelbaar 3D-gebouw van maakt, compleet met zwaartekracht en wrijving.

2. De "Gymzaal met Verrassingen" (Testen op Sterke Spieren)

In deze digitale wereld kunnen ze de robots nu duizenden keren laten oefenen, zonder dat er iemand hoeft te slapen of te eten. Maar ze doen meer dan alleen maar testen. Ze maken het moeilijker om te zien welke robot echt slim is.

Ze gooien "verrassingen" in de digitale wereld:

• Verander de achtergrond: Plotseling is de muur niet meer wit, maar roze of heeft hij een behang met bloemen.
• Verander de kleuren: De tomaat wordt plotseling blauw of groen.
• Verander de positie: De pan staat niet meer op de tafel, maar op de vloer.

Dit is als een sporter die niet alleen op een vlakke baan rent, maar ook op zand, in de regen en met een rugzak. Als de robot faalt bij een blauwe tomaat, betekent dat dat hij alleen maar heeft geleerd om naar rode tomaten te kijken, en niet echt begrijpt wat een tomaat is.

3. De "Scheidsrechters" (Mensen en AI)

Hoe weten ze of de robot het goed heeft gedaan? Ze gebruiken twee methoden:

• De AI-Scheidsrechter (VLM): Een super-slimme computer die naar de video kijkt en zegt: "Oké, de robot heeft de tomaat vastgepakt, maar hij heeft hem niet in de pan gedaan. Score: 70%." Dit gaat razendsnel.
• De Menselijke Scheidsrechter (Crowdsourcing): Dit is het leukste deel. Ze laten duizenden gewone mensen (via internet) twee video's naast elkaar zien. Ze vragen: "Welke robot deed het beter?"
  • Mens A: "Deze robot was rustiger."
  • Mens B: "Die andere gooide de tomaat per ongeluk op de grond."
  • Net zoals bij LMarena (waar mensen stemmen op welke AI-chatbot het beste praat), bouwen ze hierdoor een ranglijst op.

Wat hebben ze ontdekt?

Toen ze dit systeem gebruikten om verschillende robots uit de hele wereld te testen, kwamen ze tot een paar verrassende conclusies:

1. Ze zijn niet echt "algemeen" slim: Veel robots die goed zijn in het oefenen, zakken volledig als je de achtergrond verandert of de kleuren anders maakt. Ze hebben eigenlijk gewoon de "opdracht uit het hoofd geleerd" in plaats van het echt te begrijpen.
2. De beste modellen winnen: Sommige robots (zoals π0 en X-VLA) bleven het beste presteren, zelfs als de omgeving veranderde.
3. De "Ruimte-Paradox": De robots die het beste werkten, hadden vaak getraind met camera's die ook aan hun "pols" zaten (meerdere hoeken). Dit gaf hen een beter gevoel voor 3D-ruimte dan robots die alleen maar naar één camera keken.

Waarom is dit belangrijk?

Vroeger duurde het maanden om te testen of een nieuwe robot slim was. Met RobotArena ∞ kunnen onderzoekers nu duizenden tests per dag doen. Het is een oneindige arena waar robots kunnen groeien, falen en leren, zonder dat er een menselijke hand nodig is om de proefopstelling elke keer opnieuw in te stellen.

Kortom: Ze hebben de robotwereld veranderd van een dure, saaie testbaan in een dynamisch, automatisch en oneindig trainingscentrum, waar we eindelijk kunnen zien welke robots echt klaar zijn voor de echte wereld.

Technische samenvatting

1. Het Probleem

De ontwikkeling van universele robotbeheerders (generalist policies) die diverse taken in verschillende omgevingen kunnen uitvoeren, stuit op een fundamenteel evaluatieprobleem.

• Beperkingen van real-world testen: Evaluatie in de echte wereld is arbeidsintensief, traag, onveilig bij schaalvergroting en moeilijk reproduceerbaar. Het vereist menselijke operators voor het opzetten van scènes, het resetten van objecten en het toezicht houden op veiligheid.
• Gebrek aan standaardisatie: Bestaande benchmarks zijn vaak beperkt tot specifieke labs of hardware, wat vergelijkingen tussen verschillende instituten bemoeilijkt.
• Schaalbaarheid: Naarmate robotpolicies complexer worden, wordt het onmogelijk om ze handmatig te testen in voldoende variatie om generalisatie en robuustheid echt te meten.

2. Methodologie: RobotArena ∞

RobotArena ∞ is een nieuw benchmarkkader dat robot-evaluatie schaalt door het verplaatsen van de evaluatie naar grote, automatisch gegenereerde simulatieomgevingen, verrijkt met online menselijke feedback. De kern van de aanpak is een volledig geautomatiseerde "Real-to-Sim" conversiepiplijn.

A. Real-to-Sim Conversiepiplijn

Het systeem converteert video-demonstraties uit bestaande robotdatasets (zoals BridgeV2, RH20T, DROID) naar fysiek consistente simulaties zonder handmatige tussenkomst. Dit omvat vijf stappen:

1. Camera-Robot Kalibratie: Via differentieerbaar rendering (differentiable rendering) wordt de positie van de camera ten opzichte van de robot geschat. Dit gebeurt door een 3D-Gaussian-model van de robot te renderen en te optimaliseren tegen de echte video, met verliesfuncties voor RGB, optische stroom (flow) en features (DINOv2).
2. 3D Reconstructie en Completering:
   • Objecten worden gesegmenteerd met een Vision-Language Model (VLM, specifiek Gemini).
   • Beelden worden gesuper-resolved en omgezet in getextureerde 3D-meshes (met Hunyuan-3D).
   • De 3D-pose (positie en oriëntatie) wordt bepaald door corresponderende kenmerken tussen de gereconstrueerde mesh en de originele video te matchen (MINIMA algoritme), ondersteund door monocular diepteschatting.
3. Achtergrond Inpainting: De robot en objecten worden uit de eerste frame verwijderd en de achtergrond wordt "ingevuld" (inpainting) met LaMa om een schone, statische achtergrond te creëren.
4. Fysieke Eigenschappen: Massa, wrijving en andere materiaaleigenschappen worden geschat door het VLM.
5. Systeemidentificatie: De PD-regelaar gains ($K_p, K_d$) van de simulatie worden afgestemd om de end-effector trajecten van de simulatie te laten overeenkomen met de echte robotbewegingen.

B. Omgevingsperturbaties

Om robuustheid te testen, worden de gegenereerde omgevingen systematisch verstoord:

• Achtergrondverandering ($\Delta BG$): Vervanging van de achtergrondtextuur.
• Kleurverschuiving ($\Delta Color$): Manipulatie van RGB-kanaalconfiguraties (bijv. RGB naar BGR).
• Objectpose-verandering ($\Delta ObjPose$): Randomisatie van de locatie van objecten binnen de scène.

C. Evaluatiestrategie

De prestaties van Vision-Language-Action (VLA) modellen worden op twee manieren beoordeeld:

1. Automatische VLM-score: Een VLM (Gemini 2.5 Pro) kijkt naar de videoframes en de simulatiestatus om een voortgangs-score per frame te geven. De gemiddelde score van de laatste 30% van de trajecten wordt gebruikt als eindmeting.
2. Menselijke Voorkeursfeedback (Crowdsourcing): Menselijke beoordelaars (via crowdsourcing) vergelijken paren van uitvoeringsvideo's van verschillende robots die dezelfde taak uitvoeren. Ze kiezen de beste uitvoering en geven een natuurlijke taal-justificatie.
   • Een Bradley-Terry model wordt gebruikt om uit duizenden paarvergelijkingen een globale ranglijst (Elo-style ranking) van de policies af te leiden.

3. Belangrijkste Bijdragen

1. Schaalbaar Benchmarkkader: Een protocol dat fysieke engines, real-to-sim conversie en menselijke feedback koppelt om robot-evaluatie te automatiseren.
2. Volledig Geautomatiseerde Pipeline: Een systeem dat video's direct omzet in simulaties met behulp van geavanceerde generatieve modellen en differentieerbaar rendering, zonder handmatige kalibratie.
3. Grootschalige Evaluatie: De eerste evaluatie van zes VLA-modellen uit verschillende laboratoria in honderden omgevingen met meer dan 8.500 menselijke voorkeursvergelijkingen.
4. Inzichten in Generalisatie: Het blootleggen van de beperkingen van huidige modellen in termen van generalisatie en robuustheid.

4. Resultaten en Inzichten

De evaluatie van zes open-source policies (Octo, RoboVLM, SpatialVLA, CogAct, X-VLA, $\pi_0$) leverde de volgende inzichten op:

• Zwakke Cross-Dataset Generalisatie: Modellen presteren aanzienlijk slechter in omgevingen die niet in hun trainingsdata zitten (bijv. een model getraind op BridgeV2 faalt in DROIDSim). Dit suggereert dat huidige "generalist" modellen in feite gespecialiseerd zijn in hun trainingsdomein.
• Architectuurverschillen: Modellen zoals $\pi_0$ en X-VLA presteerden over het algemeen beter, waarschijnlijk door hun pre-training op multi-view data (waaronder pols-camera's), wat een robuustere ruimtelijke prior biedt dan expliciete 3D-bias (zoals bij SpatialVLA).
• Robuustheid tegen Perturbaties: Modellen met sterkere VLM-backbones waren beter bestand tegen kleurveranderingen. Echter, bijna alle modellen presteerden slechter bij achtergrondveranderingen of willekeurige objectposities, wat wijst op overfitting op specifieke visuele en ruimtelijke setups in de trainingsdata.
• Overeenkomst Mens vs. VLM: De ranglijst gegenereerd door menselijke voorkeursvergelijkingen kwam exact overeen met de scores van de geautomatiseerde VLM-evaluatie, wat de betrouwbaarheid van de automatische scoring bevestigt.
• Vergelijking met SIMPLER: RobotArena ∞ toonde aan dat eerdere benchmarks (zoals SIMPLER) prestaties mogelijk overschatten door een te beperkt aantal testomgevingen. De bredere dekking van RobotArena ∞ biedt een strengere test.

5. Betekenis en Toekomst

RobotArena ∞ vult een kritieke lacune in het landschap van robotica door een reproduceerbare, schaalbare en continue benchmark te bieden die niet afhankelijk is van dure fysieke tests.

• Impact: Het stelt onderzoekers in staat om de robuustheid en generalisatie van robotpolicies op een eerlijke en uitgebreide manier te testen.
• Toekomst: Het framework is ontworpen om mee te groeien met verbeteringen in fysica-engines en real-to-sim technologie. De auteurs plannen om de benchmark openbaar te maken en uit te breiden met meer taken en diverse databronnen.

Kortom, RobotArena ∞ transformeert robot-evaluatie van een handmatige, logistiek zware taak naar een geautomatiseerd, data-gedreven proces dat de ware generalisatiecapaciteit van moderne robotpolicies blootlegt.