💻 computer science

OpenEAI-Platform: An Open-source Embodied Artificial Intelligence Hardware-Software Unified Platform

Het artikel introduceert het OpenEAI-Platform, een volledig open-source hardware-software verenigd systeem met een goedkope, nauwkeurige 6+1-vrijheidsgraden robotarm en een reproduceerbaar vision-language-action model dat prestaties bereikt die vergelijkbaar zijn met commerciële armen en grootschalige baselines door uitsluitend open-source data te gebruiken.

Oorspronkelijke auteurs: Jinyuan Zhang, Luoyi Fan, Leiyu Wang, Yeqiang Wang, Yicheng Zhu, Cewu Lu, Nanyang Ye

Gepubliceerd 2026-06-03

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jinyuan Zhang, Luoyi Fan, Leiyu Wang, Yeqiang Wang, Yicheng Zhu, Cewu Lu, Nanyang Ye

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het bouwen van een "Doe-het-zelf" Robotbrein en -Lichaam

Stel je voor dat je een robot wilt leren om een shirt op te vouwen of thee te zetten. In het verleden was dit alsof je probeerde een Ferrari-motor te bouwen terwijl je ovenwanten droeg: de hardware (de robotarm) was te duur om te kopen, en de software (het brein) was een "black box" waar niemand in kon kijken of iets van kon kopiëren.

De auteurs van dit paper zeggen: "Laten we dat oplossen." Ze hebben de OpenEAI-Platform gebouwd, een volledig open-source systeem dat zowel de robotarm (hardware) als het AI-brein (software) bevat. Hun doel is om het goedkoop en gemakkelijk te maken voor iedereen om een robot te bouwen die kan leren om echte taken uit te voeren, precies zoals een mens dat doet.

Deel 1: Het Lichaam (OpenEAI-Arm)

Het Probleem:
De meeste robotarmen die in onderzoek worden gebruikt, zijn als luxe auto's. Ze kosten tussen de $7.000 en $40.000. Ze zijn ook vaak "black boxes", wat betekent dat je niet gemakkelijk kunt aanpassen hoe hun motoren werken of hoe ze bewegen. Het is alsof je een auto koopt waarbij je de motor of het stuur niet kunt aanraken; je drukt gewoon op een knop en hoopt dat het werkt.

De Oplossing:
Het team heeft de OpenEAI-Arm gebouwd.

De Analogie: Denk hierbij aan de "IKEA" van de robotarmen. Het kost slechts ongeveer $790 om te bouwen (vergeleken met duizenden dollars voor anderen).
Hoe het werkt: Ze hebben de arm niet zomaar gebouwd op basis van gokwerk. Ze gebruikten een superintelligent wiskundig algoritme (zoals een GPS voor ontwerp) om de perfecte vorm en gewrichtshoeken te bepalen. Dit zorgt ervoor dat de arm overal kan reiken waar hij moet zijn zonder vast te komen te zitten of de onderdelen te snel te slijten.
Het Resultaat: Het is licht, sterk en beweegt soepel. In tests presteerde het net zo goed als (en soms zelfs beter dan) de dure commerciële armen wanneer ze dezelfde instructies kregen.

Deel 2: Het Brein (OpenEAI-VLA)

Het Probleem:
Om een robot te laten bewegen, heb je een "Vision-Language-Action" (VLA) model nodig. Dit is een AI die naar een plaatje kijkt, een zin leest (zoals "vouw het zwarte shirt op") en beslist wat hij moet doen.

Het Probleem: De beste AI-breinen die er nu zijn, zijn getraind op geheime, enorme datasets die alleen grote bedrijven bezitten. Het is also alvoren te leren rijden door een handleiding te lezen die alleen de fabrikant bezit. Als je de data niet kunt zien, kun je de resultaten niet reproduceren.

De Oplossing:
Ze hebben OpenEAI-VLA gecreëerd.

De Analogie: In plaats van een geheim recept, hebben ze een openbaar kookboek gemaakt. Ze hebben hun AI getraind met uitsluitend data die al gratis en beschikbaar is voor iedereen op het internet.
De Tweestaps-training:
1. De "School"-fase (Pretraining): De AI leest miljoenen publieke robotvideo's en afbeeldingen om algemene concepten te leren (wat een "beker" is, wat "vastpakken" betekent).
2. De "Stage"-fase (Fine-tuning): De AI oefent op de specifieke OpenEAI-Arm met een kleine hoeveelheid nieuwe data om te leren hoe hij deze specifieke arm daadwerkelijk moet bewegen.
De Magische Truc: Ze gebruikten een "Learnable Query". Stel je voor dat de AI een gigantische bibliotheek aan kennis heeft. In plaats van de hele bibliotheek te lezen elke keer dat hij moet bewegen, gebruikt hij een speciaal bladwijzer (de query) om direct precies de juiste informatie op te halen die hij nodig heeft voor de taak. Dit maakt het snel en efficiënt.

Deel 3: Het Zenuwstelsel (Control Design)

Het Probleem:
Zelfs met een geweldig brein en lichaam kan de robot schokkerig bewegen. Als de AI zegt "beweeg hierheen", en de robot beweegt daarheen, en dan stopt, en dan weer beweegt, dan zal hij trillen en dingen laten vallen. Dit is als proberen te rijden in een auto waarbij het gaspedaal vastzit op "aan" en "uit" zonder tussenweg.

De Oplossing:
Ze hebben een speciaal controlesysteem gebouwd dat fungeert als een soepele bestuurder.

De Analogie: Ze gebruiken een techniek genaamd "Bézier-interpolatie". Stel je voor dat je een lijn tekent tussen twee punten. Een grillige lijn is schokkerig; een vloeiende curve is makkelijk te volgen. Het controlesysteem van de robot zet de schokkerige instructies van de AI om in vloeiende, zachte curven.
Het Resultaat: De arm beweegt zachtjes, zoals een menselijke hand, in plaats van te schokken als een robot. Hierdoor kan hij delicate taken uitvoeren, zoals het vouwen van een handdoek, zonder deze te scheuren.

Deel 4: De Resultaten (Werkt het?)

Het team heeft hun systeem getest op vier real-world taken:

Een tafel schoonmaken (objecten oppakken).
Thee zetten (een reeks stappen).
Een handdoek vouwen (omgaan met zachte, slap hangende stof).
Een T-shirt vouwen (een moeilijke taak met coördinatie tussen twee armen).

De Bevindingen:

Hardware: De $790 arm werkte net zo goed als de $10.000 armen.
Software: Hun AI, getraind met alleen gratis data, presteerde bijna net zo goed als de state-of-the-art modellen die getraind zijn met geheime, enorme hoeveelheden data.
Vergelijking: Toen ze hetzelfde AI-brein testten op verschillende robotarmen, was de OpenEAI-Arm het meest betrouwbaar. De goedkopere "black box" armen faalden vaak omdat ze niet nauwkeurig genoeg konden bewegen.

De Kernboodschap

Het paper stelt dat door de blauwdrukken (hoe je de arm bouwt), de code (hoe je hem aanstuurt) en de trainingsrecepten (hoe je de AI leert) openbaar te maken, ze de grootste barrières voor robotonderzoek hebben weggenomen.

De Metafoor:
Vóór dit paper was het bouwen van een slimme robot alsof je een huis probeerde te bouwen met alleen maar stenen die je bij één enkele, dure leverancier moest kopen, met een blauwdruk die je niet kon zien.
OpenEAI-Platform is als het aanreiken van een gratis, gedetailleerde blauwdruk, een lijst met goedkope materialen en een stapsgewijze handleiding om iedereen zelf het huis te laten bouwen. Ze hebben bewezen dat je met het juiste ontwerp niet rijk hoeft te zijn om een slimme, capabele robot te bouwen.

Noot: Het paper richt zich strikt op het hardwareontwerp, de AI-trainingspipeline en de prestaties bij deze specifieke manipulatietaken. Het beweert niet dat het systeem klaar is voor medisch gebruik, industriële massaproductie of andere specifieke toepassingen buiten de beschreven onderzoekscontext.

Technische Samenvatting: OpenEAI-Platform

Probleemstelling

De vooruitgang van Embodied AI in real-world manipulatie wordt momenteel belemmerd door twee primaire knelpunten: reproduceerbaarheid en schaalbaarheid.

Hardwarebeperkingen: Bestaande systemen vertrouwen vaak op dure commerciële robotarmen (variërend van \ $7.000 tot meer dan \$ 40.000) of 3D-geprinte prototypes met een beperkt aantal vrijheidsgraden (DoF) en payload. Commerciële armen zijn frequent "black boxes" met propriëtaire lage-niveau interfaces, wat onderzoek naar de koppeling tussen Vision-Language-Action (VLA) algoritmen en lage-niveau controle belemmert. Bovendien creëren structurele verschillen tussen manipulatoren cross-embodiment-kloven die eerlijke vergelijking en transfer learning in de weg staan.
Algoritmische Beperkingen: State-of-the-art VLA-modellen (bijv. de Physical Intelligence-serie $\pi_0$ , $\pi_0.5$ ) vertrouwen op grootschalige, propriëtaire datasets en private trainingsinfrastructuren. Dit creëert "dataeilanden" waar open-source datasets inconsistente state/action definities hebben, wat het moeilijk maakt om resultaten te reproduceren of dataverzameling op te schalen zonder aanzienlijke engineering-overhead.

Methodologie

De auteurs introduceren OpenEAI-Platform, een volledig open-source hardware-software verenigd systeem dat is ontworpen om deze knelpunten aan te pakken door middel van end-to-end reproduceerbaarheid.

1. Hardware: OpenEAI-Arm

Het platform bevat een goedkope, 6+1 DoF robotarm die is ontworpen voor mensgerichte desktopmanipulatie.

Design Optimalisatie: De geometrie van de arm is geoptimaliseerd met behulp van een multi-objective NSGA-III algoritme gericht op twee metrieken: Manipulatie-operabiliteit (rijkdom aan kinematische oplossingen in taakrelevante regio's) en Uithoudingsvermogen-efficiëntie (minimaliseren van mechanische slijtage en energiekosten). Het ontwerp voldoat aan antropometrische beperkingen.
Controlesysteem: Om de stabiele uitvoering van discrete VLA action chunks te waarborgen, gebruikt het systeem een Dynamics-Compensated PID (FF-PID) controller. Deze maakt gebruik van een Euler-Lagrange dynamisch model om feedforward koppelcompensatie te bieden voor traagheid, Coriolis-krachten en zwaartekracht.
Traject Smoothing: Een Three-Point Rolling Bézier Action Chunking schema interpoleert discrete VLA outputs met behulp van quintic polynomen en een zevenfasen S-curve profiel. Dit zorgt voor vloeiende snelheid- en acceleratieovergangen, onderdrukt koppelpieken en voldoet aan de joint actuatiegrenzen.

2. Algoritme: OpenEAI-VLA

Het platform bevat een reproduceerbare VLA-policy die uitsluitend is getraind op open-source data.

Architectuur: Het model gebruikt Qwen3-VL-4B als backbone VLM. In plaats van alle verborgen toestanden naar de action head te voeren, introduceert het een leerbare feature query om multimodale perceptie te comprimeren tot fixed-length conditioning embeddings. De action head is een Diffusion Transformer (DiT) die continue action chunks voorspelt via flow matching.
Tweefasen Trainingsrecept:
- Pretraining: Het model wordt gepretradet op een gecureerde mix van de Open-X-Embodiment dataset. Een gestandaardiseerde dataset conversie-pipeline brengt heterogene state/action conventies in lijn. Tijdens deze fase wordt de VLM backbone bevroren om multimodale priors te behouden, terwijl alleen de feature query, dataset adapters en de action head worden getraind.
- Fine-tuning: Het model wordt gefinetuned op kleinschalige in-domain demonstraties verzameld op de OpenEAI-Arm, aangevuld met multimodale data (COCO, VQA-v2, PixMo-Points) om catastrofale vergetelheid van ruimtelijke grounding en instructie-opvolging te voorkomen.

3. Datapipeline

Het platform biedt een verenigde interface voor dataset integratie, inclusief tools voor het opschonen, converteren en uitlijnen van diverse open-source robot datasets naar een consistent formaat, wat schaalbare pretraining mogelijk maakt zonder propriëtaire data.

Belangrijkste Bijdragen

Reproduceerbare Hardware: Een goedkope (~$790 materiaalkosten) 6-DoF robotarm met volledige manufacturing designs, low-level drivers en controlecode, wat maatwerk en schaalbare productie mogelijk maakt.
Reproduceerbaar Trainingsproces: Een compleet tweefasen data en training recept gebruikmakend van enkel open-source datasets (Open-X-Embodiment, COCO, etc.), inclusief dataset conversietools en trainingsscripts.
Open-Source VLA Policy: Een end-to-end VLA-model (OpenEAI-VLA) gebouwd op Qwen3-VL-4B met een Diffusion Transformer action head, dat vanaf nul getraind kan worden met de vrijgegeven codebase.
Uitgebreide Validatie: Uitgebreide experimenten die aantonen dat het platform een robuuste hardware-executie en competitieve policy prestaties bereikt vergeleken met commerciële armen en grootschalige VLA baselines.

Experimentele Resultaten

De auteurs evalueerden het systeem op vier real-world taken: Clean Table, Make Tea, Fold Towel, en Fold T-shirt.

Hardware Vergelijking: Wanneer dezelfde policy ( $\pi_0$ ) wordt gedraaid op de OpenEAI-Arm, ARX R5 en AgileX Piper, behaalde de OpenEAI-Arm het hoogste gemiddelde succespercentage (0.75), waarmee de ARX R5 (0.71) en Piper (0.64) werd verslagen. Het vertoonde een vergelijkbaar werkvolume en koppelmarge als commerciële armen, maar met aanzienlijk lager gewicht en lagere kosten.
Model Vergelijking: OpenEAI-VLA, getraind op puur open-source data, behaalde competitieve succespercentages ten opzien van grootschalige baselines.
- Op Clean Table behaalde het een succes van 0.94 (vs. $\pi_0$ op 0.92 en $\pi_0.5$ op 0.96).
- Op Fold T-shirt (een complexe dual-arm deformable taak) behaalde het 0.83, wat overeenkomt met de prestaties van $\pi_0.5$ en eerdere generalistische policies zoals Octo en ACT aanzienlijk overtreft.
Ablatie Studies:
- Controle: Het verwijderen van de dynamics feedforward compensatie verhoogde de acceleratiefouten met ~70x en de koppel-fouten met ~3.4x vergeleken met de baseline, wat de noodzaak van de FF-PID strategie bevestigt.
- Architectuur: Het verwijderen van de dataset adapter zorgde ervoor dat de prestaties instortten naar 0.0, wat de cruciale behoefte benadrukt om heterogene action/state conventies af te handelen. Het verwijderen van multimodale co-training tijdens de fine-tuning verminderde het gemiddelde succes tot 0.30, wat het belang van hulp-multimodale objectieven voor ruimtelijke grounding onderstreept.

Betekenis

Het artikel betoogt dat vooruitgang in VLA-systemen afhangt van end-to-end reproduceerbaarheid in plaats van enkel modelontwerp. Door de volledige stack vrij te geven — van mechanische ontwerpen en low-level controllers tot datapipelines en trainingsrecepten — beoogt het OpenEAI-Platform de drempel voor onderzoek naar Embodied AI te verlagen. Het stelt onderzoekers in staat om de interactie tussen VLA-algoritmen en lage-niveau controle te bestuderen zonder de beperkingen van propriëtaire hardware of data. De auteurs stellen dat het platform, ondanks het uitsluitend vertrouwen op open-source data en code, hardware-niveau betrouwbaarheid en policy prestaties bereikt die vergelijkbaar zijn met state-of-the-art systemen die gebruikmaken van enorme hoeveelheden propriëtaire datasets, waardoor schaalbare, reproduceerbare vooruitgang in het veld wordt gefaciliteerd.