💻 computer science

Scalable Behavior Cloning with Open Data, Training, and Evaluation

Dit artikel introduceert ABC, een volledig open-source stack voor behavior cloning in robotische manipulatie die de grootste teleoperatie-dataset tot nu toe (ABC-130K) bevat, een reproduceerbare hardware- en simulatiepipeline met co-trainingsrecepten, en uitgebreide evaluaties van Diffusion Transformer- en Vision-Language-Action-architecturen op complexe dexterous taken.

Oorspronkelijke auteurs: Arthur Allshire, Himanshu Gaurav Singh, Ritvik Singh, Adam Rashid, Hongsuk Choi, David McAllister, Justin Yu, Yiyuan Chen, Huang Huang, Pieter Abbeel, Xi Chen, Rocky Duan, Phillip Isola, Jitendra Mali

Gepubliceerd 2026-06-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Arthur Allshire, Himanshu Gaurav Singh, Ritvik Singh, Adam Rashid, Hongsuk Choi, David McAllister, Justin Yu, Yiyuan Chen, Huang Huang, Pieter Abbeel, Xi Chen, Rocky Duan, Phillip Isola, Jitendra Malik, Fred Shentu, Guanya Shi, Philipp Wu, Angjoo Kanazawa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren hoe hij complexe klusjes moet doen, zoals het vouwen van een kartonnen doos, het sorteren van LEGO-steentjes, of zelfs het uit een strakke portemonnee trekken van een creditcard. In het verleden was het aanleren van taken aan robots alsof je een kind probeert te onderwijzen door het slechts één wazige foto van een taak te laten zien en te hopen dat het de uitdaging begrijpt. Het is duur, traag, en vaak geeft de robot simpelweg op.

Dit artikel introduceert ABC, een enorme, open-source "startkit" om robots te leren hoe ze kunnen leren door naar mensen te kijken. Denk aan de "Wikipedia" of "YouTube" van robottraining, maar in plaats van alleen video's, bevat het ook de daadwerkelijke recepten, de keukengerei en de testkeuken, zodat iedereen het kan uitproberen.

Hier is de uitsplitsing van hun "ABC Stack" met eenvoudige analogieën:

1. De Bibliotheek: ABC-130K (Het "Kookboek")

Stel je een bibliotheek voor die niet alleen één of twee recepten heeft, maar 3.500 uur aan videomateriaal van mensen die 130.000 verschillende taken uitvoeren.

Wat erin zit: Mensen die twee robotarmen gebruiken om alles te doen, van eenvoudige "oppakken-en-neerzetten"-klussen tot super lastige behendigheidstaken zoals het vouwen van papieren vliegtuigjes of het openen van een doos met een sleutel.
Waarom het ertoe doet: Voorheen was de meeste robotdata óf te klein, óf te duur om te verzamelen, óf opgesloten in geheime bedrijfskluizen. Dit is de grootste open collectie van zijn soort, gebouwd op een robot die ongeveer $8.000 kost (goedkoop voor een robot), waardoor het toegankelijk is voor reguliere onderzoekers en niet alleen voor grote techgiganten.

2. Het Brein: ABC-Models (De "Studenten")

De auteurs hebben niet alleen de data gedumpt; ze hebben twee verschillende soorten "student"-robots gebouwd om van de data te leren en hebben getest welke leerstijl het beste werkt.

De "Diffusion Transformer" (DiT): Denk aan een student die heel goed is in het bekijken van een plaatje en het voorspellen van de volgende stap, stap voor stap, zoals het invullen van een kruiswoordraadsel.
De "Vision-Language-Action" (VLA): Denk aan een student die instructies kan lezen, naar de afbeelding kan kijken en de context in één keer kan begrijpen.
Het Experiment: Ze hebben deze studenten getest met verschillende "leraren" (verschillende camerastandpunten en taalinputs). Ze ontdekten dat de VLA-student sneller leerde wanneer deze meer rekenkracht kreeg, terwijl de DiT-student efficiënter was met minder vermogen. Ze hebben de "geslaagde" breinen (de modelgewichten) vrijgegeven, zodat iedereen ze kan gebruiken.

3. De Simulator: ABC-Sim (De "Vliegsimulator")

Normaal gesproken, om te zien of een robot slim is, moet je hem de taak in de echte wereld laten proberen. Als hij faalt, kan hij iets kapot maken of duurt het uren om alles te resetten.

De Oplossing: De auteurs hebben een virtuele werkelijkheid "vliegsimulator" voor robots gebouwd. Ze hebben 400 uur aan data gecreëerd waarbij mensen robots bestuurden (teleoperatie) binnen een computerspel.
De Magie: Ze bewezen dat als een robot goed presteert in dit computerspel, hij dat waarschijnlijk ook in de echte wereld zal doen. Dit is alsof je zegt: "Als je dit vliegtuig in de simulator kunt vliegen, ben je waarschijnlijk klaar voor de echte lucht." Dit stelt onderzoekers in staat om hun ideeën te testen zonder een fysieke robot nodig te hebben of schade te riskeren.

4. De Proefrit: ABC-Eval (Het "Rijexamen")

Ze zeiden niet alleen "het werkt"; ze hebben de robots daadwerkelijk door een hindernisbaan van taken geleid.

De Resultaten: De robots leerden succesvol dozen te vouwen, items te sorteren en delicate taken uit te voeren zoals het insteken van een sleutel in een slot.
De "DAgger"-truc: Voor de moeilijkste taak (het vouwen van een doos) bleef de robot falen. De auteurs gebruikten een techniek genaamd DAgger. Stel je een rijinstructeur voor die de student laat rijden, maar op het moment dat de student bijna botst, het stuur overneemt om het te corrigeren, en de student vervolgens weer laat proberen. Door deze "fix-het"-momenten te verzamelen, leerde de robot hoe hij fouten kon herstellen en slaagde hij uiteindelijk voor het vouwen van de doos.

Het Grotere Plaatje

De auteurs zeggen eigenlijk: "Wij hebben het hele schoolsysteem voor robotleren gebouwd. We hebben de tekstboeken (data), de leraren (modellen), de oefentechnieken (simulatie) en de eindtoetsen (resultaten in de echte wereld). We geven dit allemaal gratis weg."

Hun doel is om het leren van robots te stoppen met een besloten club voor rijke bedrijven en te beginnen met een gemeenschappelijke inspanning waarbij iedereen samen de "ABC's" van het aanleren van robots kan leren. Ze beloven geen robots die morgen je was doen, maar ze bieden het fundament zodat onderzoekers eindelijk kunnen beginnen met het bouwen ervan.

Technische Samenvatting: Schaalbare Behavior Cloning met Open Data, Training en Evaluatie (ABC)

1. Probleemstelling

Vooruitgang in robotmanipulatie via behavior cloning (BC) wordt momenteel belemmerd door een gebrek aan reproduceerbaarheid en schaalbaarheid. State-of-the-art systemen worden vaak ontwikkeld in besloten industriële laboratoria met gesloten datasets, wat het voor de bredere gemeenschap moeilijk maakt om resultaten te verifiëren of te begrijpen welke ontwerpkeuzes de prestaties aanjagen. Bestaande open datasets lijden aan onvoldoende schaal, een afhankelijkheid van dure, op maat gemaakte hardware, of een gebrek aan de noodzakelijke trainingsinfrastructuur en evaluatiesets. Bovendien vereist een rigoureuze evaluatie van BC-policies doorgaans kostbare, logistiek veeleisende opschaling in de echte wereld, wat een bottleneck creëert waarbij vooruitgang aan de frontlinie opaak blijft.

2. Methodologie en Systeemoverzicht

De auteurs introduceren ABC, een volledig open-source, end-to-end stack die ontworpen is om robotleren te democratiseren. Het systeem bestaat uit vier geïntegreerde componenten:

A. ABC-130K (Dataset)

De kern van de release is ABC-130K, de grootste open-source teleoperatie-dataset tot nu toe.

Schaal: 3.553 uur aan real-world bimanuele teleoperatie-data bestaande uit 134.806 episodes over 195 verschillende taken.
Hardware: Gezameld op een goedkoop ($8.000) bimanaal YAM-robotplatform.
Diversiteit: Taken beslaan 7 primitieve categorieën (bijv. pakken-en-plaatsen, vouwen, gereedschapsgebruik, assemblage) en bevatten zeer behendige gedragingen zoals het vouwen van dozen, het eruit halen van creditcards uit portemonnees en het invoeren van AirPods.
Metadata: Inclusief geanonimiseerde operator-ID's, tijdstempels en een subset van 1.552 uur met subdoel-annotaties (aaneengesloten sub-trajecten gelabeld met subtaakbeschrijvingen).
Technische Uitdaging: De auteurs pakken de throughput-bottleneck bij het decoderen van gecodeerde videoframes op deze schaal aan door een geoptimaliseerde dataloader te implementeren.

B. ABC-Models (Architectuur & Training)

Het artikel onderzoekt twee primaire policy-families voor grootschalige BC, waarbij architecturale keuzes worden vergeleken via real-world ablaties:

ABC-DiT: Een Diffusion Transformer policy met lichtgewicht visuele en talige encoders.
- Architectuur: 32-laagse DiT-backbone (2B parameters).
- Belangrijkste bevindingen: De auteurs ontdekten dat het vervangen van globale AdaLN-conditionering door pooled cross-attention de fijne ruimtelijke informatie behoudt die cruciaal is voor manipulatie. Verder bleek het vervangen van de CLIP-beeldencoder door DINOv3 de prestaties aanzienlijk te verbeteren, wat suggereert dat pixel-gealigneerde representaties superieur zijn voor lage-niveau robotacties.
ABC-VLA: Een Vision-Language-Action model gebouwd op Gemma 3 (4B parameters) met een diffusion action head.
- Architectuur: Gebruikt een VLM-backbone die is gefinetuned met een actievoorspellingsdoel.
- Connector Analyse: De auteurs vergeleken drie connector-mechanismen: Cross-Attention, Cross-Attention + FAST (co-training), en Adaptive LayerNorm (AdaLN). AdaLN presteerde beter dan de andere (61,4% gemiddelde progressie versus 32,6% voor FAST), wat suggereert dat diffusion-gradiënten compatibel zijn met VLM-features als ze correct worden geïnterfaceerd.
- Opschaling: De studie onderzoekt batchgroottes (1,5k, 4,6k, 9,2k). Hoewel DiTs computationeel efficiënter zijn (FLOP-wise), vertonen VLAs een significante prestatiesprong bij grotere batchgroottes (9,2k), waarbij ze uiteindelijk de DiTs overtreffen in real-world taken.

C. ABC-Sim (Simulatie & Correlatie)

Om iteratie zonder fysieke hardware mogelijk te maken, bieden de auteurs ABC-Sim, een suite van 10 simulatietaken (bijv. mok flippen, borden laden) gebouwd in MuJoCo met een Blender-pipeline voor hoogwaardige rendering.

Data: 400 uur aan simulatie-teleoperatie-data verzameld via VR (Meta Quest/Apple Vision Pro) met GELLO leader arms.
Sim-to-Real Correlatie: De auteurs demonstreren een sterke correlatie tussen simulatie- en real-world prestaties ( $r=0,85$ voor strikt succes, $r=0,91$ voor taakprogressie), wat de simulatie valideert als een betrouwbare proxy voor ablatiestudies.

D. ABC-Eval (Evaluatie)

De stack bevat een gestandaardiseerde evaluatiesuite met >100 uur aan real-world policy rollouts en rubrieken voor metrieken zoals "Strict Success" (taakvoltooiing) en "Progress" (gemiddelde taakprogressie).

E. Geavanceerde Trainings-technieken

Offline Metrieken: Het artikel stelt vast dat training loss en validatie-actiefout (L2-afstand tussen voorspelde en grondwaarheidsacties) negatief gecorreleerd zijn met real-world prestaties, en dienen als goedkope proxies voor modelselectie. Alleen validatieverlies bleek ongecorreleerd te zijn.
DAgger voor Dexterous Taken: Voor complexe taken zoals het vouwen van dozen, waarbij naïeve finetuning faalt, gebruiken de auteurs DAgger (Dataset Aggregation). Ze verzamelen "recovery behaviors" door te interveniëren wanneer de policy moeite heeft, in plaats van volledige demonstraties te verzamelen. Deze aanpak, gecombineerd met een specifieke data-mixratio (80% vorig, 10% huidige interventie, 10% huidige rollout), verbeterde de prestaties op langdurige taken aanzienlijk.

3. Belangrijkste Resultaten

Prestaties: De resulterende baseline policies (ABC-DiT en ABC-VLA) voeren dexterous taken succesvol uit "out-of-the-box", inclusief het vouwen van kartonnen dozen, het invoeren van sleutels in sloten en het inpakken van tassen.
Architectuur: DINOv3 met pooled cross-attention wordt geïdentificeerd als de optimale visuele representatie voor DiTs. AdaLN wordt geïdentificeerd als de superieure conditioning-mechanisme voor VLA-modellen op deze dataset.
Opschaling: Het vergroten van de batchgrootte naar 9.216 levert significante winst op voor VLA-modellen, waardoor ze de DiT-prestaties kunnen overtreffen in real-world metrieken, hoewel DiTs meer FLOP-efficiënt blijven.
Finetuning: Pretraining op de diverse ABC-130K dataset verbetert de downstream single-task finetuning prestaties aanzienlijk vergeleken met trainen vanaf nul of het gebruik van kleinere interne datasets.

4. Betekenis en Claims

Het artikel claimt dat door een reproduceerbare toolkit (data, modellen, infrastructuur en evaluatie) te bieden, het onderzoekers op een "gelijk speelveld" plaatst. De betekenis ligt in:

Democratisering: Robotmanipulatie-onderzoek verplaatsen van obscure, propriëtaire industriële laboratoria naar een open, door de gemeenschap gedreven fundament.
Standaardisatie: Het vaststellen van een gemeenschappelijke benchmark (ABC-130K) en een evaluatieprotocol om architecturale en trainingbeslissingen rigoureus te vergelijken.
Efficiëntie: Het valideren van simulatie en offline metrieken als betrouwbare proxies, wat de kosten en tijd voor iteratieve modelontwikkeling vermindert.
Fundament voor Toekomstig Werk: De auteurs positioneren ABC als een basis voor het beantwoorden van open vragen over geschiedenis-conditioning, scaling laws voor BC en RL finetuning, met als doel "samen met de gemeenschap de ABC's van Behavior Cloning te leren".