🤖 machine learning

Learning to Fold: prizewinning solution at LeHome Challenge 2026 (1st place online, 2nd offline)

Dit artikel presenteert een prijswinnend bimanueel kledingvouwsysteem voor de LeHome Challenge 2026 dat topklasseringen bereikt door een vision-language-action policy te verbeteren met een zelfgesuperviseerde reinforcement learning-loop, waarbij de eigen voorspellingen van de policy over succes en voortgang de advantage-estimatie en foutdetectie aansturen, ondersteund door een uitgebreid pakket aan engineering-optimalisaties inclusief flow-matching, gedistribueerde training en robuuste sim-to-real transfer.

Oorspronkelijke auteurs: Ilia Larchenko

Gepubliceerd 2026-06-26

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ilia Larchenko

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een robot voor die probeert een slordig T-shirt of een broek op te vouwen. Voor ons lijkt dat simpel, maar voor een robot is een stuk stof als een chaotische, gladde slang die van vorm verandert elke keer als je hem aanraakt. Dit artikel beschrijft hoe de auteur, Ilia Larchenko, een robotbrein bouwde dat eerste plaats werd in een simulatiewedstrijd en tweede plaats in een wedstrijd in de echte wereld voor precies deze taak.

Dit is het verhaal van hoe hij het deed, onderverdeeld in eenvoudige concepten.

1. Het Probleem: De "Geest" in de Machine

De robot moest vier soorten kleding vouwen (shirts met lange/korte mouwen, lange/korte broeken) met twee armen.

De Haken: De robot wist niet wat hij vasthield. Hij moest naar het shirt kijken en uitzoeken: "Is dit een T-shirt of een broek?" voordat hij kon beginnen met vouwen.
De Beloning: De robot kreeg alleen een "Gouden Ster" (een beloning) als het shirt aan het einde perfect gevouwen was. Als hij halverwege een fout maakte, kreeg hij niets. Dit is als proberen te leren fietsen, maar pas een koekje krijgen als je de finishlijn bereikt zonder ooit te vallen.

2. De Oplossing: Een "Zelflerende" Lus

In plaats van alleen menselijke demonstraties te kopiëren (wat is als leren zwemmen door naar een video te kijken), bouwde de auteur een systeem dat leert door te doen, te falen en het opnieuw te proberen. Hij noemt dit een "Flywheel" (vliegwiel).

Denk aan een team van drie personen die werken in een fabriek:

De Trainer: De leraar die de data bestudeert en het brein van de robot bijwerkt.
De Runners: Een vloot robots in een videogame (simulatie) die duizenden keren per dag proberen kleding op te vouwen.
De Menselijke Helper: Een persoon die alleen ingrijpt wanneer de robot vastloopt, het shirt herstelt en de robot weer laat proberen.

Deze drie praten niet rechtstreeks met elkaar; ze droppen alleen briefjes in een gedeelde digitale brievenbus (HuggingFace Hub). De Trainer leest de briefjes, leert, en dropt een nieuwe "brein-update" terug in de doos. De Runners pakken deze op en proberen het opnieuw.

3. De Geheime Saus: De Robot is zijn Eigen Scheidsrechter

Normaal gesproken heb je in de robotica één brein nodig om te beslissen wat te doen en een apart brein om te raden hoe goed het gaat. Deze auteur heeft die twee samengevoegd.

De Magische Truc: Dezelfde neurale netwerk die beslist "pak de mouw" voorspelt ook "ik heb 80% kans van slagen" en "ik ben 40% op weg".
Waarom dit helpt: Omdat de robot zijn eigen score in realtime kent, kan hij sneller leren. Als hij voorspelt dat hij gaat falen, weet hij dat hij een andere beweging moet proberen. Het is als een student die niet alleen de toets maakt, maar ook direct zijn eigen antwoorden nakijkt om te zien waar hij fout zat.

4. Leren van Fouten (De "Replay" Strategie)

De auteur realiseerde zich dat alleen oefenen saai is. Je moet oefenen met de moeilijke delen.

Hard Mining: Wanneer de robot faalt, slaat het systeem dat exacte moment op (zoals een "Save State" in een videogame). Vervolgens laadt het die gefaalde staat en probeert het opnieuw, maar dan met extra "ruis" (willekeurige veranderingen in lichtinval of de textuur van de stof) om het moeilijker te maken.
De Menselijke Aanraking: Wanneer de robot echt vastloopt, neemt de mens het even over om het shirt te herstellen, en geeft dan de controle weer terug aan de robot. De robot leert van deze kleine correctie. Dit wordt DAgger genoemd (een chique naam voor "leren van menselijke correcties").

5. De "Magische Bril" (Inference Optimalisatie)

Zelfs met een slim brein kan een robot onhandig zijn als hij te snel of te langzaam beweegt. De auteur ontdekte dat door de manier waarop de robot op het allerlaatste moment "denkt" aan te passen, de prestaties enorm verbeterden.

De Analogie: Stel je voor dat je een meerkeuzevraag beantwoordt. In plaats van gewoon het eerste antwoord te kiezen dat in je opkomt, bedenk je snel drie verschillende antwoorden, controleert welk antwoord het beste "voelt" op basis van je intuïtie (de score), en kiest dat antwoord dan.
Thompson Sampling: De auteur gebruikte een wiskundig spel (zoals een gokkast) om automatisch de perfecte instellingen te bepalen voor elk type shirt (bijv. "Voor korte broeken, beweeg langzamer; voor lange broeken, grijp steviger vast") zonder dat hij elke combinatie handmatig hoefde te testen.

6. De Uitdaging in de Echte Wereld: Van Videogame naar Realiteit

Het moeilijkste deel was de overstap van de computersimulatie naar een echte robot in een echte kamer.

De "Uncanny Valley" van de Fysica: In de simulatie zag de kleding er perfect uit. In de werkelijkheid was de verlichting anders, de camera stond iets scheef en de armen van de robot hadden een beetje "speling" (backlash).
De Oplossing: De auteur probeerde niet om de robot perfect te maken. In plaats daarvan maakte hij de trainingsdata chaotisch. Hij leerde de robot om kleding op te vouwen in het donker, in de felle zon, met een gekantelde camera en met de robot die op verschillende snelheden beweegt.
Het Resultaat: Door de robot te trainen om comfortabel te zijn met chaos, raakte hij niet in paniek toen hij de echte wereld zag. Het was alsoals een surfer trainen in een stormachtige oceaan, zodat een kalm strand gemakkelijk aanvoelt.

7. De Uitkomst

Simulatie: De robot vouwde kleding succesvol in 79,6% van de gevallen, waarmee hij 61 andere teams versloeg.
Echte Wereld: Hij behaalde een 2e plaats in de uiteindelijke wedstrijd, waarbij hij succesvol echte kleding op een echte robot vouwde.

De Grote Les

De auteur geeft toe dat dit geen perfect wetenschappelijk experiment was met gecontroleerde variabelen. Het was een "alles-in-de-pan" aanpak — hij gooide elke nuttige tool (reinforcement learning, menselijke feedback, zware data-augmentatie en slimme voorspellingen) in de pot totdat het werkte.

De belangrijkste les is dat voor robots die met rommelige, onvoorspelbare dingen zoals kleding moeten omgaan, het vermogen nodig hebben om hun eigen succes te voorspellen, te leren van menselijke correcties en getraind te worden in chaotische, gevarieerde omgevingen, zodat ze niet in de war raken wanneer de realiteit er niet uitziet als de videogame.

Technische Samenvatting: Leren Vouwen bij de LeHome Challenge 2026

Probleemdefinitie

Het artikel behandelt de LeHome Challenge 2026, een competitie gericht op bimanuele robotmanipulatie van vervormbare objecten (kledingstukken). De taak vereist een robot met twee 6-DOF armen (SO-ARM101 opstelling) en drie RGB-camera's om vier soorten kledingstukken (shirts met lange/korte mouwen, broeken met lange/korte pijpen) te vouwen die plat op een tafel liggen.

De uitdaging is verdeeld in twee fasen:

Online Ronde (Simulatie): Teams concurreren in NVIDIA Isaac Sim. Succes is binair en geometrisch, gedefinieerd door specifieke keypoint-afstandsvoorwaarden (bijv. mouwen die elkaar raken, uitlijning van de zoom). De dataset bevat 10 "geziene" kledingstukken met gescript exemplaren en 10 "ongeziene" kledingstukken (2 publieke, 8 private) zonder trainingsdata.
Real-World Finale: Topteams implementeren de oplossing op fysieke robots. Succescriteria omvatten gedeeltelijke punten voor tussenstappen, beoordeeld door een jury. Een cruciale beperking is dat het type kledingstuk niet als input wordt meegegeven; de policy moet dit zelf afleiden.

Belangrijke geïdentificeerde uitdagingen zijn de vervormbare aard van stof (gevoelig voor trajecten), schaarse binaire beloningen, generalisatie naar ongeziene kledingstukken zonder trainingsdata, en een moeilijke sim-to-real transfer waarbij de evaluatierobot tijdens de ontwikkeling nooit toegankelijk was.

Methodologie

De oplossing is een engineering case study die een Vision-Language-Action (VLA) policy combineert met een Reinforcement Learning (RL) loop, in plaats van een gecontroleerde ablatie-studie.

1. Policy Architectuur

Het systeem bouwt voort op de $\pi_0.5$ architectuur (uitgebreid in de BEHAVIOR-1K Challenge 2025), die gebruikmaakt van een bevroren SigLIP beeldencoder, een Gemma-2B prefix transformer, en een Gemma-300M action expert die 30-staps actie-chunks genereert via flow matching.

Modificaties voor LeHome:
- Garment-Type Token: Een geleerde embedding vervangt tekstprompts. Tijdens de inferentie voorspelt een "System-2" bootstrap het type kledingstuk aan het begin van de episode om de rest van de rollout te conditioneren.
- Advantage Conditioning: De policy is geconditioneerd op een geleerde advantage token (RECAP-stijl), wat Classifier-Free Guidance (CFG) mogelijk maakt tijdens inferentie.
- Multi-Signal AdaRMS: Advantage en kledingtype worden in de layer norms van de action expert geïnjecteerd via een geleerd vector, wat de conditionering versterkt.
- Exclusive Self-Attention (XSA): Toegepast om te voorkomen dat tokens triviaal hun eigen waarden routeren, wat de trainingsstabiliteit verbetert.
- Smooth Normalization: Actie-delta's worden per tijdstap genormaliseerd om de groeiende variantie van het random-walk-achtige traject op te vangen.

2. De Policy als Eigen Value Function

In plaats van een aparte critic bevat de VLA-model hulp-lineaire koppen die het volgende voorspellen:

Succeskans: Fungeert als de value function ( $V$ ).
Voltooiingsprogressie: Voorspelt $t/T$ voor potential-based shaping.
Keypoint Afstanden: Voorspelt de specifieke ratio's die gebruikt worden in de succeschecker.
Toekomstige Voorspellingen: Een "Q-functie" kop voorspelt de succes-residual ( $\Delta_{success}$ ) 30 frames vooruit, geconditioneerd op de voorgestelde actie-chunk. Dit maakt Best-of-N selectie mogelijk tijdens inferentie.

3. RL Trainingsloop (De Flywheel)

Het systeem gebruikt een asynchrone pipeline die communiceert via de HuggingFace Hub:

Algoritmen: Combineert AWR (Advantage Weighted Regression) en RECAP (advantage conditioning).
- AWR: Frames met een hoge advantage worden vaker gesampled ( $P \propto e^{A/\beta}$ ) in plaats van hergewogen in de loss, wat zorgt voor 100% batch-benutting op hoogwaardige data.
- RECAP: De advantage wordt als een input token gevoed, waardoor het model leert om "alleen goede acties te voorspellen" en CFG mogelijk maakt.
Data Strategie:
- Multi-dataset Sampling: De loader mengt Behavior Cloning (BC) data, RL rollouts en DAgger (Human-in-the-loop) data.
- Decay: RL-data neemt in de loop van de tijd af om prioriteit te geven aan on-policy data.
- Recovery: Een DAgger-loop staat mensen toe om foutieve staten in simulatie te herstellen (hoewel dit in simulatie moeilijk bleek) en op de echte robot.
- Rollback: Het trainingsproces keert periodiek terug naar oudere checkpoints om lokale optima te ontsnappen met verse off-policy data.

4. Reward en Advantage Design

Omdat de werkelijke beloning binair is, ontwerpt het systeem dichte tussenliggende beloningen:

Checkpoints: Tussenliggende beloningen (0.5) worden toegekend voor het bereiken van specifieke keypoint-afstandsmijlpalen.
Failure Withdrawal: Als een episode faalt, wordt de cumulatieve beloning ingetrokken om een binaire return te behouden, wat voorkomt dat het model leert om tussenliggende staten te "gamen".
Advantage Estimatie: Gebruikt Generalized Advantage Estimation (GAE) die de gedempte succeswaarschijnlijkheid en voltooiingsprogressie combineert. Voor verouderde rollouts degradeert de advantage gracieus naar een GRPO-stijl relatieve succes-signaal.
Precision Boost: Succesvolle episodes die aan de voorwaarden voldoen met een kleine marge ("tightly"), ontvangen een bonus advantage om kwalitatief hoogwaardige vouwen aan te moedigen.

5. Optimalisatie tijdens Inferentie

Hetzelfde checkpoint wordt geoptimaliseerd bij de inzet zonder hertraining:

Thompson Sampling: Een multi-armed bandit stemt hyperparameters af (executielengte, guidance scale, noise temperature, aantal kandidaten) per type kledingstuk tijdens de rollout-verzameling.
Best-of-N: Meerdere actie-chunks worden gesampled vanuit dezelfde prefix; de chunk met de hoogste voorspelde $\Delta_{success}$ wordt uitgevoerd.
Soft Inpainting: Overlappende actie-chunks worden verankerd om vloeiende trajecten en "mode stickiness" te garanderen.

6. Sim-to-Real Transfer

De real-world transfer was een "sprint" bestaande uit:

Model Pruning: Verwijderde sim-specifieke koppen (keypoint afstanden, world model) en advantage conditioning; behield alleen de action expert, de garment-type kop en de completion kop.
Data Mixing: Getraind op een mix van organizer BC-data, persoonlijke teleop/DAgger-data en zwaar geaugmenteerde sim-replays.
Alignment & Augmentation: Gebruikte een camera-overlay tool om de fysieke rig uit te lijnen met het doel. Toegepast werd extreme augmentatie (kleurjitter, ruis, camera dropout, motion intensity rescaling) om het domeingap te overbruggen.
DAgger op de Echte Robot: Verzamelde recovery-data door een mens te laten interveniëren wanneer de policy faalde, waarbij frames werden gewogen op basis van nabijheid tot de interventie.

Resultaten

Online Ronde (Simulatie): Behaalde 1e plaats van 62 teams met een algehele succesrate van 79,63%, waarmee het tweede plaats team met 6,1 procentpunt versloeg.
- Prestatie per type: Lange shirts (74,5%), Korte shirts (70,0%), Lange broeken (80,5%), Korte broeken (93,5%).
Real-World Finale: Behaalde 2e plaats. De score was 865 van de maximaal 1080 punten.
- De policy vouwde ongeziene kledingstukken succesvol en hanteerde de fysieke robot dynamiek, hoewel het sterk vertrouwde op DAgger-data voor herstel in plaats van autonome exploratie.

Betekenis en Claims

De auteur presenteert dit werk als een engineering case study in plaats van een gecontroleerd wetenschappelijk experiment, en merkt op dat het systeem iteratief is gebouwd onder competitiedruk met beperkte ablatie-studies.

Praktisch Recept: Het artikel claimt dat de oplossing een "recept" is van gecombineerde bestaande ideeën (AWR, RECAP, Flow Matching, DAgger) die samen of afzonderlijk gebruikt kunnen worden.
Policy als Value Function: Het demonstreert dat een enkel VLA-model effectief zowel de policy als de value function (succes/voltooiingsvoorspellers) kan dienen, wat de trainingspipeline vereenvoudigt en efficiënte Best-of-N selectie mogelijk maakt.
Inference-Time Tuning: Het werk benadrukt dat significante prestatiewinsten behaald kunnen worden door de inferentie-hyperparameters te optimaliseren (via Thompson sampling) zonder extra training.
Sim-to-Real via Diversiteit: Het beargumenteert dat zware augmentatie en bewuste rig-randomisatie, gecombineerd met een "sim-to-real-to-real" transferstrategie, de significante domeingaps kunnen overbruggen, zelfs zonder toegang tot de evaluatierobot.
Beperkingen: De auteur geeft toe dat het systeem een gebrek heeft aan robuuste autonome exploratie/herstel. De policy blinkt uit in het verfijnen van bekende gedragingen, maar heeft moeite met het herstellen van staten die volledig buiten de trainingsdistributie liggen zonder menselijke interventie (DAgger). De auteur suggereert dat een verenigde pipeline die de RL-machinerie van de sim-ronde combineert met de real-world recovery data van de finale ronde, potentieel >90% succes zou kunnen bereiken.