💻 computer science

VE2VF: Vision-Enabled to Vision-Free Distillation via Real-world Reinforcement Learning for Robust Contact-Rich Manipulation

Dit artikel presenteert VE2VF, een mens-in-de-lus versterkingsleerframework dat kennis distilleert van een visie-gestuurde leraar naar een robuuste, visievrije studentbeleid dat volledig in de echte wereld wordt getraind, en dat hoge slagingspercentages en sterke generalisatie bereikt op contactrijke manipulatietaakken zonder te vertrouwen op domeinrandomisatie of data-augmentatie.

Oorspronkelijke auteurs: Victor Kowalski, Chengxi Li, Dongheui Lee

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Victor Kowalski, Chengxi Li, Dongheui Lee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om delicate onderdelen in elkaar te zetten, zoals het steken van een USB-kabel in een poort of het schroeven van een tandwiel op zijn plaats. Dit is een lastige taak omdat het "contactrijke" manipulatie vereist: de robot moet zich door krappe ruimtes voelen, omgaan met wrijving, stoten en de noodzaak van perfecte uitlijning.

Het artikel introduceert een nieuwe methode genaamd VE2VF (Vision-Enabled to Vision-Free) om robots dit te leren. Hier is het verhaal van hoe het werkt, met behulp van eenvoudige analogieën.

Het Probleem: De Robot die Te Veel op het Zicht Verlaat

Traditioneel, om een robot deze vaardigheden aan te leren, kun je het een video laten zien of het de taak laten "zien". Dit is als het leren van een student om te rijden door hem uit de voorruit te laten kijken. Het werkt uitstekend in de klas (of de simulatie), maar het heeft een gebrek: de student onthoudt het landschap.

Als je een robot leert met camera's, kan het leren: "Wanneer ik een blauwe muur links zie, draai ik rechts." Maar als je de robot verplaatst naar een kamer met een rode muur, of als het licht verandert, raakt de robot in de war en crasht het. Het heeft zich te sterk aangepast aan het uiterlijk van de kamer in plaats van het begrijpen van de fysica van de taak.

De Oplossing: Het "Leraar-Leerling" Coachsysteem

De auteurs stellen een twee-staps coachesysteem voor om dit op te lossen. Denk eraan als een meesterkok die een leerling opleidt.

Stap 1: De Zichtende Leraar (De Meesterkok)
Eerst trainen ze een "Leraar"-robot met Human-in-the-Loop Versterkend Leren.

Hoe het werkt: Een mens kijkt naar de robot. Als de robot op het punt staat een fout te maken, neemt de mens de controle over (zoals een rijinstructeur die op de rem trapt) en leidt het naar succes.
De Gereedschappen van de Leraar: Deze leraar heeft ogen (camera's) en gevoel (sensoren die positie, snelheid en kracht meten).
Het Resultaat: Omdat de leraar ogen heeft, leert het zeer snel. Het kan het doel zien, de greep aanpassen en de lastige hoeken uitvogelen. Het wordt een expert in de taak in ongeveer 40 minuten praktijk in de echte wereld.

Stap 2: De Zichtloze Leerling (De Leerling)
Nu komt de tovertruc. Ze willen een robot die de taak kan uitvoeren zonder te vertrouwen op de ogen, omdat ogen kunnen worden misleid door lichtveranderingen of nieuwe achtergronden.

De Distillatie: Ze nemen de "kennis" van de expert Leraar en gieten deze in een "Leerling"-robot.
De Haken: De Leerling-robot heeft geen camera's. Het heeft alleen sensoren die de positie, snelheid en de kracht waarmee het duwt voelen (zoals een blinddoekdrager expert).
De Les: De Leerling raadt niet zomaar; het kopieert de beslissingen van de Leraar. Het leert: "Wanneer ik deze specifieke druk en deze specifieke hoek voel, moet ik mijn arm zo bewegen", omdat dat is wat de Leraar deed.

Waarom Dit Een Grote Zaken Is

Meestal wordt een robot dommer als je zijn zicht wegneemt. Maar omdat deze Leerling heeft geleerd van een Leraar die de oplossing zag, erft de Leerling de "intuïtie" van de taak zonder de afleiding van het visuele landschap.

De Analogie: Stel je een meesterpianist (de Leraar) voor die een lied perfect kan spelen terwijl hij naar de bladmuziek kijkt. Hij leert vervolgens een blinddoekdrager leerling (de Leerling) door hen de toetsen en het ritme te laten voelen. De leerling leert de spiergeheugen en het gevoel van het lied, niet alleen de visuele noten. Als je de piano verplaatst naar een andere kamer met ander licht, kan de blinddoekdrager leerling nog steeds perfect spelen omdat het het gevoel heeft geleerd, niet het uiterlijk.

De Resultaten: Snel, Robuust en Aanpasbaar

Het team testte dit op een standaard assemblagebord (de NIST-benchmark) met verschillende lastige taken zoals het invoegen van tandwielen, pennen en kabels.

Snelheid: Het hele proces duurde ongeveer 50 minuten echte robottijd.
Succespercentage: De uiteindelijke robot behaalde een succespercentage van 95% over veel verschillende taken.
Robuustheid: Toen ze de omgeving verstoorden (het licht veranderden, visuele rommel toevoegden, of het doel iets verplaatsten), faalden de "Zichtende" robots op erbarmelijke wijze. De "Zichtloze" leerling bleef echter werken omdat het niet werd afgeleid door de veranderingen.
De "Glijpartij"-Herstel: In één test miste de robot de USB-poort en gleed het uit. De zichtloze robot raakte niet in paniek; het gebruikte zijn "gevoel" om de glijpartij te voelen, zich aan te passen en het opnieuw te proberen tot het slaagde. Dit is een gedrag dat het van de Leraar heeft geleerd, maar behield in zijn eigen "blinde" lichaam.

De "Finetuning"-Bonus

Als de robot een volledig nieuwe taak tegenkomt die het nog nooit heeft gezien (zoals een specifiek type connector), kan het systeem een snelle "opfriscursus" doen.

Ze trainen een nieuwe Leraar voor die specifieke taak (met gebruik van zicht).
Ze distilleren die nieuwe kennis snel naar de Leerling.
Dit stelde hen in staat om op de moeilijkste taak in slechts een paar minuten extra 100% succes te behalen.

Samenvatting

Het artikel presenteert een manier om robots te trainen tot experts in het zich voelen door complexe taken. Door een "ziende" leraar te gebruiken om snel te leren en vervolgens een "blinde" leerling te leren vertrouwen op aanraking en kracht, creëerden ze een robot die snel te trainen is, niet in de war raakt door veranderingen in de kamer, en ongelooflijk goed is in delicate assemblagewerk.

Technische Samenvatting: VE2VF – Distillatie van Visie-Enabled naar Visie-Free

Probleemstelling

Robotic assemblage en contactrijke manipulatie vereisen hoge precisie en aanpassingsvermogen aan diverse onderdelen en omgevingen. Traditionele modelgebaseerde benaderingen hebben moeite vanwege de moeilijkheid om contactdynamica, wrijving en vervorming nauwkeurig te modelleren. Hoewel leergerichte benaderingen zoals Reinforcement Learning (RL) veelbelovend zijn, staan ze voor aanzienlijke hindernissen:

Sim-to-Real Gap: Simulatoren slaan vaak te kort om complexe contactinteracties vast te leggen, wat beleidsoverdracht naar de echte wereld bemoeilijkt.
Staleninefficiëntie: Direct modelvrij RL op hardware vereist excessieve interactietijd en veilige exploratiestrategieën.
Visuele Overfitting: Visie-enabled beleidslijnen, hoewel effectief tijdens training, neigen tot overfitting op specifieke visuele omstandigheden (verlichting, texturen, achtergronden). Dit beperkt hun robuustheid en generalisatie naar out-of-distribution (OOD) taken of ongezichte omgevingen.
Partiële Observabiliteit: Het trainen van visie-free beleidslijnen direct vanaf nul met alleen proprioceptie (pose, twist, wrench) is uitdagend vanwege het gebrek aan visuele begeleiding voor exploratie.

Methodologie: VE2VF Framework

De auteurs stellen VE2VF (Vision-Enabled to Vision-Free) voor, een mens-in-de-lus (HIL) RL-framework dat een teacher-student distillatiebenadering hanteert om robuuste, visie-free manipulatie te bereiken. Het proces bestaat uit drie hoofdfasen:

1. Mens-in-de-lus RL Setup

Het systeem maakt gebruik van Soft Actor-Critic (SAC) met RLPD (Reinforcement Learning met Voorafgaande Data). De leerlus integreert:

Autonome Exploratie: De agent genereert zijn eigen transities.
Menselijke Begeleiding: Een menselijke operator biedt offline demonstraties en online teleoperatie-interventies (het overschrijven van agentacties) om exploratie te sturen en beloningssignalen te geven.
Beloningsstructuur: Er wordt een schaarse binaire beloning gebruikt (1 voor taaksucces, 0 anders), waardoor complexe beloningsvormgeving wordt vermeden.

2. Fase I: Training van de Visie-Enabled Teacher

Een "teacher"-beleid ( $\pi_t$ ) wordt getraind op een reeks representatieve taken met volledige multimodale invoer:

Observaties: Afbeeldingen van camera's ( $I$ ), end-effector pose ( $p$ ), snelheid ( $v$ ), kracht ( $f$ ) en koppel ( $\tau$ ).
Representatie: De pose wordt weergegeven ten opzichte van de beginstand van de episode om reactieve visuele servoing te faciliteren.
Doel: De teacher leert om rijke visuele feedback te benutten om de taken te beheersen, met hoge succespercentages. Het blijft echter afhankelijk van visuele omstandigheden.

3. Fase II: Distillatie van de Visie-Free Student

Een "student"-beleid ( $\pi_s$ ) wordt getraind om het gedrag van de teacher na te bootsen, maar vertrouwt uitsluitend op proprioceptieve invoer (pose, twist, wrench), waarbij visuele data wordt verworpen.

Distillatiemechanisme: De student wordt getraind met hetzelfde HIL-RL-framework, maar met extra verlies termen om uitlijning met de teacher te bewerkstelligen:
- Critic Distillatie: Een Mean Squared Error (MSE) term dwingt de Q-functie van de student ( $Q_s$ ) om te overeenkomen met de Q-functie van de teacher ( $Q_t$ ).
- Actor Distillatie: Een Kullback-Leibler (KL) divergentie term regulariseert het beleid van de student ( $\pi_s$ ) om de actie-distributie van de teacher ( $\pi_t$ ) te matchen.
Staatrepresentatie: De student maakt gebruik van een taak-gerelateerd coördinatenstelsel ( $T_z$ ) om invariantie te garanderen ten opzichte van absolute ruimtelijke positionering.
Resultaat: De student erft de "vaardigheden" en exploratiestrategieën die door de teacher zijn geleerd, maar wordt invariant voor visuele verschuivingen.

4. Fase III: Finetuning (Optioneel)

Voor zeer uitdagende of ongezichte taken kan de visie-free student worden gefinetuned. Dit houdt in dat een nieuwe visie-enabled teacher wordt getraind die gespecialiseerd is in de specifieke taak en dat zijn kennis wordt gedistilleerd naar de student, in plaats van de student vanaf nul te trainen.

Belangrijkste Bijdragen

Cross-Modale Distillatie Framework: Een nieuwe methode die kennis distilleert van een visie-enabled teacher naar een visie-free student. Dit behoudt de stalen-efficiëntie van visueel leren tijdens de trainingsfase, terwijl het een implementatiebeleid oplevert dat invariant is voor visuele omstandigheden.
Efficiënte Vaardigheidsgeneralisatie: De benadering toont aan dat co-training op een kleine set representatieve taken robuuste zero-shot overdracht naar ongezichte insertiescenario's mogelijk maakt.
Validatie in de Echte Wereld: De methode is volledig gevalideerd op hardware uit de echte wereld (Franka FR3) zonder domeinrandomisatie of data-augmentatie, met hoge succespercentages in ongeveer 50 minuten totale robotinteractietijd.

Experimentele Resultaten

Experimenten werden uitgevoerd op de NIST Assembly Board I benchmark, met diverse pennen, tandwielen en connector-insertietaken.

Prestatie: De VE2VF-methode behaalde een 95% overall succespercentage over training, verstoord en out-of-distribution taken.
Vergelijking met Baselines:
- Visie-Enabled RL (HIL-SERL VPTW): Bereikte bijna perfect succes op trainingstaken, maar stortte in (0% succes) op out-of-distribution taken en degradeerde aanzienlijk onder visuele storingen.
- Visie-Free RL vanaf Nul (HIL-SERL PTW): Toonde gemiddelde prestaties (47,1%), maar had moeite om effectieve insertiestrategieën te leren zonder visuele begeleiding, en haalde geen volledig succes.
- Dynamic Motion Primitives (DMP): Presteerde slecht (35,7%), wat de noodzaak bevestigt van adaptief, geleerd gedrag.
- Residual RL: Presteerde goed (85,7%), maar werd verslagen door VE2VF, met name in herstelgedrag (bijvoorbeeld: van een socket afglijden en het opnieuw proberen).
Ablatie Studies:
- Distillatie bleek essentieel; het trainen van de visie-free student vanaf nul, zelfs met verlengde tijd (tot 75 minuten), leidde tot overfitting op eenvoudigere taken en falen op complexere taken.
- Het combineren van pose, twist en wrench invoer bood de beste robuustheid in vergelijking met het gebruik van subsets van deze modaliteiten.
Finetuning: Voor de uitdagende DSUB insertietaak (50% zero-shot succes) bereikte het finetunen van de student met een taak-specifieke teacher via distillatie 100% succes in slechts 10 extra minuten.

Betekenis en Claims

Het artikel stelt dat VE2VF de kritieke afweging aanpakt tussen de stalen-efficiëntie van visie-gestuurd leren en de robuustheid die vereist is voor implementatie in de echte wereld. Door visie alleen te gebruiken als een "teacher" om exploratie te sturen en die kennis vervolgens te distilleren in een proprioceptieve "student", bereikt het systeem:

Robuustheid: Beleidslijnen die generaliseren over verschillende verlichting, texturen en doelposen.
Aanpassingsvermogen: Het vermogen om te herstellen van fouten (bijvoorbeeld: afglijden) door reactief gedrag dat van de teacher is geleerd.
Efficiëntie: Snelle acquisitie van complexe contactrijke vaardigheden (ongeveer 50 minuten) zonder de noodzaak van uitgebreide simulatie of handmatige beloningsvormgeving.

De auteurs concluderen dat deze aanpak een praktische weg biedt voor het implementeren van robuuste contactrijke manipulatievaardigheden in settings met hoge mix en lage volumes, waar visuele omstandigheden onvoorspelbaar zijn.