💻 computer science

LeRobot: An Open-Source Library for End-to-End Robot Learning

In dit artikel wordt \texttt{lerobot} voorgesteld, een open-source bibliotheek die de volledige stack voor robotlering integreert en daarmee de drempel verlaagt voor reproduceerbaar en schaalbaar onderzoek door middel van een focus op real-world hardware, grote datasets en state-of-the-art algoritmen.

Oorspronkelijke auteurs: Remi Cadene, Simon Aliberts, Francesco Capuano, Michel Aractingi, Adil Zouitine, Pepijn Kooijmans, Jade Choghari, Martino Russi, Caroline Pascal, Steven Palma, Mustafa Shukor, Jess Moss, Alexander Soa

Gepubliceerd 2026-02-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Remi Cadene, Simon Aliberts, Francesco Capuano, Michel Aractingi, Adil Zouitine, Pepijn Kooijmans, Jade Choghari, Martino Russi, Caroline Pascal, Steven Palma, Mustafa Shukor, Jess Moss, Alexander Soare, Dana Aubakirova, Quentin Lhoest, Quentin Gallouédec, Thomas Wolf

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

LEROBOT: De "App Store" voor Robotleren

Stel je voor dat je een robot wilt bouwen die een kopje koffie kan zetten. Vroeger was dit als het bouwen van een horloge: je moest elk tandwiel, elke veer en elk schroefje met de hand ontwerpen en programmeren. Als je de robot een beetje anders wilde laten bewegen, moest je alles opnieuw uitrekenen. Dat was moeilijk, duur en alleen voor grote fabrieken.

Vandaag de dag proberen we robots te laten leren, net zoals een kind. Je laat ze duizenden keren zien hoe je koffie zet, en dan leren ze het zelf. Maar hier zit een groot probleem: de gereedschappen om dit te doen zijn versnipperd. Het ene team gebruikt een taal voor de camera's, het andere team een ander systeem voor de armen, en de data (de lessen) zijn opgeslagen in duizenden verschillende formaten die niet met elkaar praten. Het is alsof je een huis probeert te bouwen met bakstenen uit Frankrijk, cement uit Japan en ramen uit Brazilië, zonder dat er een handleiding is die zegt hoe je ze aan elkaar plakt.

Wat is lerobot dan?

lerobot is een open-source bibliotheek (een verzameling gratis softwaretools) die dit hele proces oplost. Je kunt het zien als de "App Store" of het "Swiss Army Knife" voor robotleren. Het brengt alles onder één dak, van het begin tot het eind.

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. De Universele Vertaler (Middleware)

Stel je voor dat elke robot een eigen taal spreekt. De ene robot praat "Frans" (bijvoorbeeld een dure industriële arm), de andere "Japans" (een goedkope, zelfgebouwde arm).

Het probleem: Om een robot te laten leren, moet je voor elke taal een nieuwe vertaler schrijven.
De lerobot-oplossing: lerobot is de universele vertaler. Je schrijft je robot-leren programma één keer in het "Engels" (Python), en lerobot zorgt ervoor dat het vertaald wordt naar de specifieke taal van jouw robot. Of je nu een dure arm hebt of een goedkope, zelfgebouwde constructie van 3D-geprinte onderdelen: lerobot maakt het allemaal werkend.

2. De Grote Bibliotheek (Datasets)

Vroeger bewaarde elke onderzoeker zijn robot-data in een eigen kastje, in een eigen formaat.

Het probleem: Je kon de lessen van iemand anders niet gebruiken omdat ze in een andere "taal" waren opgeslagen.
De lerobot-oplossing: lerobot introduceert LeRobotDataset. Dit is een standaardformaat, alsof iedereen plotseling zijn boeken in precies dezelfde kaft en lay-out heeft. Nu kunnen onderzoekers over de hele wereld hun data delen. Je kunt een dataset downloaden alsof je een YouTube-video bekijkt, zonder alles eerst op je harde schijf te hoeven slaan (streaming). Het is alsof er een enorme, openbare bibliotheek is waar iedereen gratis boeken kan lenen om van te leren.

3. De Slimme Leermeesters (Algoritmen)

lerobot bevat de beste, bewezen methoden om robots te laten leren.

Het probleem: De code voor deze slimme methoden zat vaak verstopt in complexe, onleesbare scripts die alleen de oorspronkelijke maker begreep.
De lerobot-oplossing: Het biedt kant-en-klare, schone code. Je kunt kiezen uit verschillende "leerstijlen":
- Imitatie: De robot kijkt naar een mens en doet na (zoals een kind dat zijn vader nabootst).
- Versterking: De robot probeert iets, krijgt een beloning als het lukt, en leert van zijn fouten.
- Het is alsof lerobot een receptenboek is met de beste gerechten (algoritmen) die je direct kunt gebruiken, of zelfs kunt aanpassen voor je eigen smaak.

4. De Splitsing van Denken en Doen (Inferentie)

Dit is misschien wel het coolste deel.

Het probleem: Een robotarm heeft vaak een kleine, zwakke computer aan boord. Een slimme "denker" (een groot AI-model) heeft een krachtige supercomputer nodig. Als je de denker op de robot zet, is hij te traag. Als je de denker ver weg zet, duurt het te lang voordat het signaal de arm bereikt.
De lerobot-oplossing: lerobot splitst het denken en het doen op.
- De denker (de AI) zit op een krachtige server in de cloud of op een krachtige computer in de kamer.
- De doener (de robotarm) is alleen verantwoordelijk voor het uitvoeren van de bewegingen.
- Ze praten via een snelle lijn. De denker denkt alvast een paar stappen vooruit (een "chunk" van bewegingen) en stuurt die door. De robotarm voert ze uit terwijl de denker al aan de volgende denkt. Het is alsof een chefkok (de AI) in een grote keuken staat die de instructies doorgeeft aan een koksleerling (de robot) in een andere kamer. De chef denkt snel en strategisch, de leerling voert de bewegingen snel en veilig uit.

Waarom is dit belangrijk?

Vroeger was robotleren alleen voor rijke universiteiten en grote tech-bedrijven. Met lerobot wordt het toegankelijk voor iedereen.

Je kunt een robot bouwen van $200 (in plaats van $20.000) en toch leren van de beste algoritmen ter wereld.
Je kunt je eigen robotdata delen met de hele wereld, zodat anderen erop kunnen leren.
Het maakt het mogelijk om robots te laten leren voor taken die we nog nooit hebben gezien, omdat ze kunnen leren van duizenden andere robots.

Kortom: lerobot is de brug die robotleren van een gesloten, ingewikkelde club van experts verandert in een open, samenwerkend project waar iedereen aan mee kan bouwen. Het is de tool die robots echt "slim" en bruikbaar maakt voor in onze huizen en op onze werkplekken.

Probleemstelling

De robotica-industrie ondergaat een transformatie door machine learning (ML), waarbij de focus verschuift van expliciete, hand-gemaakte modellen (kinematica, contactmodellen) naar impliciete, datagedreven modellen. Hoewel deze "robot learning"-benadering schaalbaar is en beter presteert in ongestructureerde omgevingen, wordt de ontwikkeling gehinderd door een gefragmenteerd ecosysteem:

Versnippering van middleware: Besturingssnits (middleware) zijn vaak specifiek voor bepaalde robots en moeilijk aan te passen.
Gebrek aan standaardisatie in data: Datasets worden gedeeld in uiteenlopende formaten (ROS bags, TensorFlow Datasets, JSON), wat aggregatie en reproduceerbaarheid bemoeilijkt.
Implementatie-variabiliteit: Kleine verschillen in code voor algoritmen en evaluatie leiden tot grote variatie in resultaten, verergerd door hardware-variabiliteit.
Hoge drempel: De complexiteit van het integreren van data-inzameling, training en deployen op echte hardware maakt robot learning moeilijk toegankelijk voor onderzoekers en praktijkmensen.

Methodologie: LeRobot Library

De auteurs stellen LeRobot voor, een open-source bibliotheek die een verticaal geïntegreerde, end-to-end stack biedt voor robot learning. De library is ontworpen met de volgende kernprincipes:

1. Toegankelijke Hardware-integratie

LeRobot biedt een uniforme, Python-gebaseerde middleware-API die werkt met diverse open-source robotplatformen (zoals SO-100/101, ALOHA, Koch-v1.1, HopeJR, LeKiwi).

Kosten: Deze platformen kosten een fractie van industriële robots (bijv. SO-10X kost ~$225 vs. duizenden dollars voor industriële armen).
Middleware: De library fungeert als brug tussen ML-frameworks en de laag-level SDK's van actuatoren (zoals FeeTech en Dynamixel), waardoor teleoperatie en het aansturen van robots met geleerde beleidsregels (policies) vereenvoudigd worden.

2. Gestandaardiseerde Datasets (LeRobotDataset)

Om data-fragmentatie op te lossen, introduceert LeRobot een uniek, multimodaal datasetformaat: LeRobotDataset.

Specificaties: Het formaat ondersteunt hoge frequentie sensorimotorische data, meerdere camerafeeds en teleoperatie-statussignalen.
Schalbaarheid: Het is ontworpen voor schaalbaarheid (miljoenen trajecten) en integreert naadloos met het PyTorch-ecosysteem.
Streaming: Een unieke functie is StreamingLeRobotDataset, waarmee gebruikers datasets kunnen verwerken zonder de volledige dataset lokaal te downloaden. Data wordt "on-demand" gestreamd vanuit remote opslag, wat de drempel voor grote datasets verlaagt.

3. Geoptimaliseerde Inference Stack

De library implementeert een gedecoupeerde inference-architectuur (Figuur 8):

Fysieke decoupling: Inference (voorspelling van acties) kan plaatsvinden op een externe, krachtige server, terwijl de robot de acties uitvoert via een netwerkverbinding. Dit omzeilt de beperkte rekenkracht aan boord van de robot.
Logische decoupling: Een asynchrone "producer-consumer" cyclus. De inference-module voorspelt een reeks acties (action chunks) met een vooruitkijkende horizon, terwijl de controlelus deze acties verbruikt. Dit voorkomt dat de robot stilstaat terwijl de AI nadenkt.

4. Referentie-implementaties van SOTA Algoritmen

LeRobot biedt schone, PyTorch-gebaseerde implementaties van state-of-the-art (SOTA) algoritmen, waaronder:

Imitatie Learning: Action Chunking Transformer (ACT), Diffusion Policy, Flow Matching.
Versterkend Leren (RL): HIL-SERL, TD-MPC.
Foundation Models: Ondersteuning voor Vision-Language-Action (VLA) modellen zoals $\pi_0$ en SmolVLA.
Gebruiksgemak: Training van een model kan in minder dan 100 regels code; deployen in minder dan 40 regels.

Belangrijkste Resultaten

Het paper presenteert zowel kwantitatieve als kwalitatieve resultaten:

Community Adoptie: Per september 2025 zijn er meer dan 16.000 datasets gedeeld door 2.200+ bijdragers, goed voor honderdduizenden episodes.
Hardware-ondersteuning: De library ondersteunt nu 8 verschillende robotplatformen (van bimanuele armen tot mobiele manipulators en humanoiden), met een sterke focus op low-cost, open-source hardware.
Inference Performance:
- Tests tonen aan dat kleinere modellen (zoals ACT) zeer efficiënt zijn (100-200 Hz op high-end GPU's).
- Grotere foundation modellen (zoals $\pi_0$ ) vereisen aanzienlijk meer rekenkracht en kunnen op lagere hardware problemen ondervinden met time-outs, wat de noodzaak van externe inference bevestigt.
- Asynchrone inference (Async) resulteert in een significante reductie van de cyclustijd (van ~13.75s naar ~9.70s per taak in tests) vergeleken met synchrone inference, terwijl het succespercentage vergelijkbaar blijft.
Reproduceerbaarheid: Door de standaardisatie van data en code kunnen onderzoekers modellen trainen en testen zonder de complexe systeemintegratie die voorheen nodig was.

Significantie en Impact

LeRobot is een mijlpaal voor het veld van robot learning omdat het:

De drempel verlaagt: Onderzoekers kunnen zich richten op het ontwerpen van algoritmen in plaats van het bouwen van middleware en data-pipelines.
Open Science bevordert: Door het gebruik van open-source hardware en gestandaardiseerde datasets wordt reproduceerbaarheid gegarandeerd en wordt kennisdeling versneld.
Schalbaarheid mogelijk maakt: De combinatie van streaming datasets en gedecoupeerde inference maakt het haalbaar om foundation modellen te trainen en te deployen op realistische robots, zelfs als die beperkte rekenkracht hebben.
Een brug slaat: Het verbindt de theorie van machine learning direct met de praktijk van fysieke robotica, van data-inzameling tot real-time controle.

Hoewel er nog beperkingen zijn (zoals niet-exhaustieve hardware-ondersteuning en het ontbreken van lage-niveau optimalisaties zoals kwantisatie), biedt LeRobot een solide basis voor de volgende generatie robotica-onderzoek en -toepassingen.