💻 computer science

Tabero: Learning Gentle Manipulation with Closed-Loop Force Feedback from Vision, Touch, and Language

Het artikel introduceert Tabero, een benchmark en modelreeks die de schaarste aan tactiele data en het ontbreken van gesloten-lus krachtrückkoppeling in Vision-Language-Action-modellen aanpakt door bestaande trajecten opnieuw te gebruiken en een ontkoppelde kracht-positie-architectuur toe te passen om mensachtige, zachte robotmanipulatie te realiseren met aanzienlijk verminderde grijpkrachten.

Oorspronkelijke auteurs: Qiwei Wu, Rui Zhang, Xin Xiang, Tao Li, Weihua Zhang, Junjie Lai, Renjing Xu

Gepubliceerd 2026-05-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Qiwei Wu, Rui Zhang, Xin Xiang, Tao Li, Weihua Zhang, Junjie Lai, Renjing Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert een rijpe aardbei oppakken zonder hem te verpletteren, of een breekbaar theekopje aan een persoon overhandigt zonder het handvat te breken. Dit is de uitdaging van "zachte manipulatie".

Momenteel zijn de meeste geavanceerde robot"hersenen" (zogenaamde Vision-Language-Action- of VLA-modellen) als mensen die miljoenen boeken hebben gelezen en miljarden foto's hebben gezien, maar nooit iets hebben aangeraakt. Ze weten hoe een kopje eruitziet en wat het woord"kopje"betekent, maar ze begrijpen niet hoe hard ze het moeten vastgrijpen. Als je hen vraagt het kopje"zachtjes op te pakken", grijpen ze het misschien met dezelfde verpletterende kracht als waarmee ze een steen zouden oppakken, omdat ze het gevoel van aanraking missen.

Het artikel introduceert Tabero, een nieuw systeem dat robots dit ontbrekende gevoel van aanraking moet geven en hen moet leren hoe ze zacht moeten zijn. Hieronder wordt uitgelegd hoe het werkt, opgesplitst in eenvoudige onderdelen:

1. Het probleem: robots zijn"blind voor aanraking"

Bestaande robotmodellen worden getraind op data die alleen bevat wat de robot ziet en wat hij doet. Ze missen tactiele data (informatie over druk, textuur en kracht).

De analogie: Stel je voor dat je probeert te leren hoe je een ei vasthoudt door een video te bekijken van iemand anders die het vasthoudt, terwijl je dikke boks handschoenen draagt. Je kunt het ei zien, maar je kunt niet voelen of je te hard knijpt.
Het gevolg: Zonder aanraking laten robots dingen vallen of verpletteren ze ze.

2. De oplossing: Tabero (de"aanrakingstraining"-gym)

De auteurs hebben een nieuw systeem genaamd Tabero ontwikkeld om twee grote problemen op te lossen: een gebrek aan aanrakingsdata en een gebrek aan een manier om"zachtheid"te meten.

Hergebruik van oude data: In plaats van dure robots te bouwen om nieuwe data vanaf nul te verzamelen, neemt Tabero bestaande open-source robotbewegingsdata (zoals oude trainingsvideo's) en"speelt"deze af in een supergeavanceerde computersimulatie.
Het gevoel van aanraking toevoegen: In deze simulatie wordt de robot uitgerust met een virtuele"huid"(een tactiele sensor). Terwijl de robot zich in de simulatie beweegt, registreert hij niet alleen wat hij ziet, maar ook de druk die hij voelt op zijn vingertoppen.
Het resultaat: Ze creëerden een enorme bibliotheek met data die Visie (zicht), Taal (instructies) en Aanraking (druk) bevat, allemaal perfect gesynchroniseerd.

3. Het nieuwe robotbrein: Tabero-VTLA

Met behulp van deze nieuwe data bouwden ze een nieuw robotmodel genaamd Tabero-VTLA.

Het"ontkoppelde"brein: Denk aan het brein van deze robot als zijnde met twee aparte taken. Een deel beslist waar de hand moet bewegen (positie), en het andere deel beslist hoe hard er moet worden geknepen (kracht).
De feedbacklus: Wanneer de robot beweegt, voelt zijn"huid"de druk. Als het voelt alsof hij te hard knijpt, past hij zijn greep direct aan, net zoals jij zou doen als je merkte dat een ei in je hand begon te barsten.
Het resultaat: De robot leert instructies als"pak zachtjes op"te volgen door daadwerkelijk de kracht te voelen en in real-time aan te passen.

4. Hoe ze succes meten: de"Zachtheidscore"

Normaal gesproken vragen we robots alleen: "Heb je de taak voltooid?" (Ja/Nee). Tabero introduceert een nieuwe manier om ze te beoordelen:

Taaksucces: Heeft de robot het object opgepakt?
Kwaliteit van interactie: Heeft het het object gebroken?
De maatstaven: Ze meten dingen als"gemiddelde grijpkracht"(hoe hard het vasthield) en"maximale transient krachten"(plotselinge pieken in druk die schade kunnen veroorzaken).
De analogie: Het is het verschil tussen een student die een"8"haalt op een toets door te gokken, versus een student die een"8"haalt door het materiaal perfect te begrijpen. Tabero zorgt ervoor dat de robot de fysica van de taak begrijpt, niet alleen het resultaat.

5. De resultaten

Toen ze dit systeem testten:

De robot kon instructies volgen om"zacht"of"vast"te zijn.
Onder"zachte"instructies verlaagde de robot zijn grijpkracht met meer dan 70% in vergelijking met standaardrobots.
Cruciaal is dat hij niet alleen zwak werd; hij pakte de objecten nog steeds succesvol op. Hij leerde behendig te zijn, niet alleen zacht.

Samenvatting

Tabero is een toolkit die robots leert hun weg door taken te"voelen". Door aanraking in een computer te simuleren en een nieuw type AI-model te trainen, hebben de onderzoekers aangetoond dat robots delicate objecten kunnen hanteren met menselijke zorg, waardoor het risico op schade wordt verminderd terwijl het werk toch wordt afgerond.

Opmerking: Het artikel richt zich volledig op simulatie en datageneratie. Het vermeldt dat ze in de toekomst werken aan een systeem voor de echte wereld, maar de hier gepresenteerde resultaten komen uit hun hoogwaardige simulatieomgeving.

Technische Samenvatting: Tabero – Leren van Zachte Manipulatie met Gesloten-Regelkrachtfeedback

1. Probleemstelling

Huidige Vision-Language-Action (VLA) fundamentele modellen hebben opmerkelijke vooruitgang geboekt in robotische manipulatie, maar vertrouwen voornamelijk op visuele en linguïstische gegevens, waardoor ze de tastbare modaliteit missen die essentieel is voor mensachtige, zachte interactie. Deze beperking verhindert dat VLA-modellen krachtsgevoelige taken uitvoeren, zoals het hanteren van breekbare objecten zonder schade. Het vakgebied staat voor twee primaire uitdagingen:

Data-schaarste: Er is een gebrek aan grote, uitgelijnde visueel-tastbaar-linguïstische datasets. Bestaande verzameling van tastbare data wordt gehinderd door de hoge kosten en complexiteit van aangepaste hardware, terwijl simulatiepijplijnen vaak falen in het genereren van hoogwaardige, gesynchroniseerde tastbare signalen.
Evaluatiegaten: Standaard evaluatieprotocollen richten zich uitsluitend op taaksuccespercentages (uitkomstgericht), en negeren de kwaliteit van fysieke interactie (procesgericht). Ze falen in het kwantificeren of objecten beschadigd werden of of er overdreven krachten werden uitgeoefend tijdens manipulatie.

2. Methodologie

2.1 De Tabero-benchmark en datapijplijn

Om data-schaarste aan te pakken, introduceren de auteurs Tabero, een benchmark en modelset ontworpen om efficiënt diverse visueel-tastbaar-linguïstische data te genereren.

Cross-platform datahergebruik: In plaats van data van nul te verzamelen, hergebruikt Tabero open-source robotmanipulatie-trajecten (oorspronkelijk uit MuJoCo of andere platformen) door ze af te spelen in een hoogwaardige Isaac Sim-omgeving.
Hardware-aanpassing: De pijplijn past trajecten aan op een robot uitgerust met een visuo-tastbare grijper (geïntegreerd met een gesimuleerde GelSight-sensor). Om verschillen in geometrie van het eind-effect en besturingsdynamica te verwerken (bijvoorbeeld overschakelen van besturing in operationele ruimte naar gewrichtsbesturing), past het systeem de basispositie van de robot aan en maakt het gebruik van een PD-gewichtsbesturing met hoge versterking om volgfouten te minimaliseren.
Multimodale acquisitie: Het systeem vangt gesynchroniseerde streams op met 20 Hz, inclusief:
- Visie: RGB-D-data van aan de pols gemonteerde en derde-persoons camera's.
- Tastzin: Hoogresolutie tastafbeeldingen (320×240) en velden voor verplaatsing van markers gegenereerd via het Taxim-framework.
- Kracht: Ground-truth 6D-contactkrachten uit gesimuleerde vingertoppen.
Generatie van krachtdiversiteit: Om de binaire aard van standaard grijpercommando's te overwinnen, moduleert de pijplijn parameters van de laag-niveau impedantiebesturing ( $K_p$ en $K_d$ ). Dit maakt het mogelijk trajecten te genereren met variërende krachtsniveaus (bijvoorbeeld "zacht" versus "vast") terwijl dezelfde hoog-niveau taaklogica behouden blijft. Taalinstrukties worden aangevuld met bijwoorden (bijvoorbeeld "zachtjes", "vast") om de semantiek af te stemmen op de gemeten krachten.

2.2 Tabero-VTLA-architectuur

De auteurs stellen Tabero-VTLA voor, een krachtsbewust modelset gebouwd op de Pi0-infrastructuur met flow matching.

Tasttokenisatie: Het model integreert tastdata via gespecialiseerde tokenizers:
- Krachtveld-tokenizer: Encodeert spatiotemporale velden voor verplaatsing van markers met behulp van een Temporal Convolutional Network (TCN).
- Tast-afbeeldingsadapter: Verwerkt samengestelde tastafbeeldingen via de visuele encoder.
- Kracht-tokenizer: Encodeert ruwe 6D-krachtvectoren via een MLP.
Gekoppelde kracht-positiebesturing: Het beleid geeft gecoördineerde commando's uit voor zowel de grijppositie als de doelenkrachten. Deze worden uitgevoerd door een vaste hybride laag-niveau controller die geen compliantie leert, maar de commando's van het beleid volgt.
- Toegepaste krachtsbesturing: Gebruikt een op admittance gebaseerde positiecorrectie om de positie van het eind-effect aan te passen op basis van het verschil tussen de doel- en gemeten contactkrachten.
- Grijpkrachtbesturing: Implementeert een feedbacklus met feedforward-versterking om de grijpkracht nauwkeurig te regelen, waarbij een dode zone wordt gebruikt om onnauwkeurigheden in de actuator op te vangen.

2.3 Evaluatieprotocol

Het artikel introduceert een multidimensionaal evaluatieprotocol dat verder gaat dan binaire succespercentages om de kwaliteit van interactie te kwantificeren:

Maximale Transiënte Grijpkracht (MG): Gemiddelde van de top 5% van de grijpkrachtwaarden (vangt agressieve pieken op).
Gemiddelde Grijpkracht (AG): Gemiddelde grijpkracht tijdens contact.
Maximale Transiënte Toegepaste Kracht (MA): Gemiddelde van de top 5% van de toegepaste krachtsniveaus.
Gemiddelde Toegepaste Kracht (AA): Gemiddelde toegepaste krachtniveau.

3. Belangrijkste Resultaten

3.1 Datavalidatie en Diversiteit

Fideliteit: De opnieuw afgespeelde trajecten in Isaac Lab behaalden succespercentages die vergelijkbaar waren met de originele MuJoCo-datasets bij gebruik van identieke kinematica. Het introduceren van de met tastapparatuur uitgeruste grijper resulteerde echter in een meetbare daling van de succespercentages voor delicate taken, wat de gevoeligheid van contactrijke taken voor krachtsregulatie benadrukt.
Krachtverdeling: De datapijplijn slaagde erin onderscheidende multimodale verdelingen te creëren voor verschillende krachtniveaus (100%, 25% en 10% van de nominale kracht), met duidelijke variaties in tastafbeeldingen en krachtfvelden die overeenkomen met linguïstische instructies zoals "vast" versus "zachtjes".

3.2 Modelprestaties

Noodzaak van tastfeedback: Ablatiestudies toonden aan dat het verwijderen van tastinput leidde tot volledig falen in krachtsmodulatie. Modellen zonder tastfeedback konden de grijpkracht niet aanpassen aan linguïstische instructies.
Krachttoezicht: Het toevoegen van expliciet krachttoezicht verbeterde de prestaties aanzienlijk. De best presterende configuratie combineerde rijke tastrepresentaties (markervelden) met krachttoezicht, en behaalde een succespercentage van 0,86 onder "vaste" omstandigheden en 0,52 onder "zachte" omstandigheden (Dataset B), terwijl de gemiddelde grijpkracht met meer dan 70% werd verlaagd ten opzichte van vaste grijpen.
Effectiviteit van de controller: Ablatie op de laag-niveau controller toonde aan dat zowel feedforward- als admittance-termen essentieel zijn voor nauwkeurige krachtfollowing. Het verwijderen van een van beide termen resulteerde in slechte krachtsregulatie of het laten vallen van objecten.

3.3 Semantische Generalisatie

Het model toonde het vermogen om te generaliseren naar ongezichte linguïstische bijwoorden (bijvoorbeeld "lichtjes", "krachtig"). Hoewel de succespercentages daalden voor instructies buiten het domein, produceerde het model intermediaire krachtniveaus die overeenkwamen met de semantische betekenis van de bijwoorden, wat wijst op een zekere mate van zero-shot compositief begrip van krachtgerelateerde taal.

4. Betekenis en Claims

Het artikel beweert dat Tabero een praktische weg biedt naar veiligere en wendbaardere robotinteractie in contactrijke omgevingen. De primaire bijdragen zijn:

Schaalbare datageneratie: Het vestigen van de eerste pijplijn om grote, gesynchroniseerde visueel-tastbaar-linguïstische datasets te genereren door bestaande open-source trajecten te hergebruiken, waarmee de bottleneck van data-schaarste wordt aangepakt.
Gestandaardiseerde evaluatie: Het introduceren van het eerste gestandaardiseerde protocol dat interactie-zachtelijkheid expliciet kwantificeert naast taaksucces, waardoor de focus verschuift van puur uitkomstgerichte metrics naar procesbewuste kwaliteit van fysieke interactie.
Krachtbewuste besturing: Het aantonen dat het integreren van tastfeedback in VLA-architecturen via een gekoppelde kracht-positie-interface robots in staat stelt de interactiekrachten aanzienlijk te verlagen (met >70%) terwijl het taaksucces hoog blijft, een vermogen dat eerder onbereikbaar was met standaard VLA-modellen.

5. Beperkingen

De auteurs erkennen dat het huidige kader niet gezamenlijk optimaliseert voor zowel taaksucces als minimale interactiekracht, en wijzen op een inherente afweging tussen zachtheid en betrouwbaarheid in ultra-zachte regimes. Zij suggereren dat toekomstig werk versterkt leren kan verkennen om deze doelen in evenwicht te brengen en ontwikkelen een systeem voor datacollectie in de echte wereld voor fysieke implementatie.