💻 computer science

Bridging Handheld and Teleoperated Supervision for Contact-Rich Manipulation via State-Gated Experts

Het artikel stelt BRIDGE voor, een state-gated mixture of diffusion experts die effectief schaalbare handmatige data combineert met gerichte teleoperated demonstraties om de succespercentages in contactrijke manipulatietaken aanzienlijk te verbeteren door dynamisch te routeren tussen actietypes op basis van de huidige staat van de robot.

Oorspronkelijke auteurs: Vidullan Surendran, Neehar Peri, David Watkins

Gepubliceerd 2026-06-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Vidullan Surendran, Neehar Peri, David Watkins

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij delicate taken moet uitvoeren, zoals het insteken van een draad door een naald of het schroeven van een batterij in een nauwe, veerbelaste gleuf. Je hebt twee manieren om hem te onderwijzen, maar beide hebben een groot gebrek.

De Twee Gebrekkige Leraren

De "Handheld" Leraar (De Snelle Toerist):
Stel je een mens voor die een controller vasthoudt die eruitziet als een robothand, terwijl hij door een kamer loopt en de robot laat zien wat hij moet doen. Dit is snel en makkelijk. Je kunt snel honderden voorbeelden verzamelen.

Het Probleem: Wanneer de robot alleen maar door de lege lucht beweegt, werkt dit geweldig. Maar op het moment dat de robot iets moet aanraken (zoals een knop indrukken of een buis invoeren), kan de mens die de controller vasthoudt de weerstand niet perfect voelen. De hand van de mens kan wiebelen of te hard duwen omdat ze proberen het pad te "zien", in plaats van de fysica te "voelen". Als de robot deze trillende beweging exact probeert te kopiëren, kan hij het object verbrijzelen of de arm van de robot breken.

De "Teleoperation" Leraar (De Langzame Chirurg):
Stel je een mens voor die aan een hoogtechnologische console zit en de robot direct bestuurt met perfecte precisie, waarbij elke vorm van weerstand voelbaar is.

Het Probleem: Dit is perfect voor de delicate delen, maar het is ongelooflijk traag en uitputtend. Het duurt eeuwen om genoeg data te verzamelen om de robot de hele taak te leren.

Het Grote Idee van het Papier: "De Hybride Coach"

De auteurs van dit papier realiseerden zich dat je niet voor elke seconde van de taak een perfecte leraar nodig hebt. Je hebt alleen een perfecte leraar nodig voor de lastige onderdelen.

Ze kwamen met een systeem genaamd BRIDGE (wat staat voor Bi-modal Routing for Imitation Data via Gated Experts). Denk aan een sportteam met twee gespecialiseerde spelers en een slimme coach:

Speler A (De Handheld Expert): Deze speler is goed in hard rennen en bewegen door de open ruimte. Zij leren van de "Snelle Toerist"-data. Zij handelen de saaie, makkelijke delen van de klus af.
Speler B (De Teleop Expert): Deze speler is een meester in delicate, hoogwaardige situaties. Zij leren van de "Langzame Chirurg"-data. Zij treden alleen in wanneer het spannend wordt.
De Coach (De Router): Dit is het magische deel. De Coach houdt de huidige situatie van de robot in de gaten.
- Als de robot gewoon door de lucht beweegt? Roept de Coach: "Speler A, ga!"
- Als de robot op het punt staat een oppervlak aan te raken of een veer in te drukken? Roept de Coach: "Schakel onmiddellijk over naar Speler B!"

Waarom "Naïef Mengen" Faalt

Het papier testte wat er gebeurt als je gewoon alle data in één pot gooit en hoopt dat de robot het verschil begrijpt. Het is also level een student proberen te onderwijzen door hem een tekstboek over "hoe te rennen" en een tekstboek over "hoe een operatie uit te voeren" te geven en hem te vertellen dat hij het "gewoon zelf moet uitzoeken". De robot raakt in de war. Hij probeert te rennen met chirurgische precisie (te langzaam) of een operatie uit te voeren met rennen-snelheid (te gevaarlijk). Het papier stelde vast dat het simpelweg mengen van de data de robot zelfs slechter maakte dan wanneer hij alleen de handheld-data zou gebruiken.

De Resultaten: Snelheid Ontmoet Precisie

Door hun "Coach" te gebruiken om tussen de twee spelers te schakelen op het juiste moment, behaalde de robot verbazingwekkende resultaten:

Het leerde de algemene vorm van de taak van de snelle, goedkope handheld-data.
Het had slechts een piepkleine hoeveelheid langzame, dure "chirurg"-data nodig (alleen de lastige delen) om de fouten te herstellen.
De Uitkomst: De robot werd tot wel 36,7% succesvoller bij moeilijke taken vergeleken met het gebruik van alleen de snelle handheld-data. Het slaagde erin bijna net zo goed te worden als de robot die volledig door de langzame chirurg werd getraind, maar het kostte een fractie van de tijd en inspanning om de data te verzamelen.

In een Notendop

Het papier lost een afruil op tussen snelheid en precisie. In plaats van te kiezen tussen de een of de ander, bouwden ze een systeem dat de "snelle en ruwe" data gebruikt voor de makkelijke delen en de "langzame en perfecte" data alleen voor de kritieke, contact-gevoelige momenten. Het is alsof je een gids inhuurt voor de wandeling, maar een gespecialiseerde monteur belt wanneer de auto kapot gaat.

Technische Samenvatting: Het overbruggen van handgehouden en teleoperated supervisie voor contactrijke manipulatie via State-Gated Experts

Probleemstelling

Het artikel behandelt de fundamentele afweging tussen schaalbaarheid en getrouwheid (fidelity) bij het verzamelen van robotgegevens voor contactrijke manipulatietaken.

Handgehouden Data (bijv. UMI): Systemen zoals de Universal Manipulation Interface (UMI) maken schaalbare, "in-the-wild" gegevensverzameling mogelijk door de interface te ontkoppelen van specifieke robothardware. Echter, zij leggen alleen geobserveerde acties vast (de fysieke staat van het handgehouden apparaat). In contactgevoelige fasen wijken deze geobserveerde acties vaak af van de gewenste acties (het referentiepad dat naar de controller wordt gestuurd) vanwege eindige stijfheid, filtering en trackingfouten. Het naïef volgen van deze geobserveerde trajecten met hoge stijfheid genereert onveilige, grote contactkrachten.
Teleoperated Data: Systemen zoals GELLO of ALOHA bieden hoogwaardige, op de robot gebaseerde gegevens die direct gewenste acties vastleggen. Het verzamelen van volledige taak-teleoperaties is echter evenredig tijdrovend en mist de diversiteit van handgehouden gegevensverzameling.

Het kernprobleem is dat terwijl handgehouden data geldig is voor fouttolerante bewegingen in de vrije ruimte, het niet voldoet aan de dynamische haalbaarheid tijdens contactgevoelige fasen. Omgekeerd degradeert het naïef mengen van geobserveerde en gewenste acties in een enkel beleid de prestaties omdat de supervisiesignalen incompatibel zijn.

Methodologie: BRIDGE

De auteurs stellen BRIDGE voor (Bi-modal Routing for Imitation Data via Gated Experts), een mixture-of-experts diffusiebeleid-architectuur die ontworink is om de complementaire sterktes van beide gegevensbronnen te benutten.

1. Dual-Mode Dataverzameling (DM-UMI)

De auteurs maken gebruik van een aangepast UMI-apparaat dat in staat is tot dual-mode operatie:

Handheld Mode: Verzamelt een grootschalige basisdataset van geobserveerde acties over diverse omgevingen om het algemene taak-geraamte te leren.
Teleoperated Mode: Verzamelt een schaarse ondersteunende dataset van gewenste acties, specifief gericht op de segmenten van de taak waar het basisbeleid faalt (contact-bottlenecks).

2. Architectuur

Het BRIDGE-model bestaat uit drie opeenvolgende trainingsstadia:

Stadium 1: Basisbeleid Training ( $\pi_b$ ): Een diffusiebeleid wordt getraind op de handgehouden basisdataset. De architectuur gebruikt een DINOv2 visuele encoder die volledige ruimtelijke patch-tokens behoudt (verwerkt via een Perceiver IO-blok) in plaats van alleen de CLS-token, om beter te kunnen redeneren over ruimtelijke relaties in contactrijke taken. Dit beleid leert om geobserveerde acties te voorspellen.
Stadium 2: Ondersteunende Kop Training ( $\pi_s$ ): Met de basispolicy en de visuele encoder bevroren, wordt een nieuwe latente adapter en een diffusiekop getraind op de teleoperated ondersteunende dataset. Deze expert leert om gewenste acties (het referentiepad) te voorspellen, specifiek voor contactgevoelige regimes.
Stadium 3: Router Training ( $G_\psi$ ): Een lichtgewicht MLP-gate wordt getraind om observaties dynamisch te routeren naar ofwel de basis- of de ondersteunende expert. De router wordt getraind met een k-Nearest Neighbor (k-NN) pseudo-labelingstrategie op latente representaties. Het leert te identificeren wanneer de huidige staat binnen het "ondersteunende manifold" valt (contactgevoelige fasen) en schakelt over naar de expert van de gewenste actie.

3. Inferentie

Tijdens de uitvoering voert de router een harde schakeling uit op basis van de huidige robotstaat. Als de staat wordt geïdentificeerd als behorend tot een contactgevoelige fase, routeert het systeem naar de ondersteunende expert om het gewenste actietraject uit te voeren. Anders gebruikt het de basisexpert voor bewegingen in de vrije ruimte. Dit voorkomt het middelen van incompatibele actieverdelingen.

Belangrijkste Bijdragen

Formalisering van Actievaliditeit: Het artikel toont aan dat geobserveerde acties voldoende zijn voor fouttolerante bewegingen in de vrije ruimte, maar falen tijdens krachtgevoelige fasen waar gewenste acties noodzakelijk zijn voor precieze, compliant uitvoering.
BRIDGE Architectuur: De introductie van een gated mixture-of-experts diffusiebeleid dat gezamenlijk leert van heterogene supervisiebronnen (geobserveerd versus gewenste acties) door te routeren op basis van lokale actievaliditeit.
Efficiënte Hybride Strategie: Empirisch bewijs dat het aanvullen van schaalbare handgehouden data met een klein aantal gerichte teleoperated demonstraties de succespercentages in contactrijke taken aanzienlijk verbetert zonder de kosten van volledige taak-teleoperatie.

Experimentele Resultaten

De methode werd geëvalueerd op drie contactrijke manipulatietaken met een Franka FR3 arm: NIST Pulley Routing, Pipe Insertion en Spring-Loaded Battery Insertion.

Prestatiewinst: BRIDGE presteerde consequent beter dan handgehouden-alleen baselines, waarbij de succespercentages met wel 36,7% werden verbeterd over de drie taken.
- NIST Pulley: Verbeterde van 44,0% (Handheld) naar 76,0% (BRIDGE), naderend de 84,0% van volledige teleoperatie.
- Pipe Insertion: Verbeterde van 13,3% (Handheld) naar 50,0% (BRIDGE), waarbij de kloof naar de 63,3% teleoperatie bovengrens werd gedicht.
- Battery Insertion: Verbeterde van 10,0% (Handheld) naar 33,3% (BRIDGE).
Falen van Naïve Mixing: Een "Naive Mix" baseline, die simpelweg geobserveerde en gewenste labels combineerde in een enkel beleid, presteerde slechter dan de handgehouden-alleen baseline (bijv. 0% succes in Pulley Routing), wat de incompatibiliteit van de supervisiesignalen zonder gating bevestigt.
Data-efficiëntie: De gerichte ondersteunende data besloeg minder dan 15% van de padlengte van de end-effector in termen van ruimtelijke afstand, maar herstelde tot wel 79% van de prestatiekloof tot de volledige teleoperatie bovengrens.
Router Prestaties: De router behaalde een recall van 99,0% en een precisie van 69,0% op de pipe insertion taak, waarbij contactfasen effectief werden geïdentificeerd zonder valse negatieven.

Betekenis en Claims

Het artikel beweert dat BRIDGE een praktisch mechanisme biedt voor het specialiseren van robotgedrag over verschillende taalfasen. Door de geobserveerde en gewenste actiekoppen te scheiden, maakt de aanpak het mogelijk om schaalbare, goedkope handgehouden data te gebruiken om de algemene taakstructuur te leren, terwijl dure, hoogwaardige teleoperatie wordt gereserveerd voor de specifieke bottlenecks waar contactdynamica precieze controle vereist.

De auteurs benadrukken dat deze aanpak de "embodiment gap" overbrugt tussen handgehouden gegevensverzameling en on-robot uitvoering. Zij merken op dat hoewel volledige teleoperatie de in-domain bovengrens blijft, dit vaak onpraktisch is vanwege cognitieve en fysieke belasting. BRIDGE biedt een middenweg, waardoor hoogwaardige contactrijke manipulatie mogelijk is met aanzienlijk minder gegevensverzameling vergeleken met volledige teleoperatie, terwijl de prestatievermindering die gepaard gaat met naïef datamengen wordt vermeden.

Het artikel blijft bescheiden over de beperkingen en erkent dat de huidige aanpak afhankelijk is van empirische identificatie van faalmodi, dat harde schakelingen discontinuïteiten in de besturing kunnen introduceren, en dat de schaalbaarheid van de methode naar langdurige taken met meerdere contactregimes verder onderzoek vereist.