💻 computer science

Compliance for Free: Learning Identifiable Impedance via Bilateral Teleoperation

Questo articolo propone un metodo che utilizza la teleoperazione bilaterale a quattro canali per identificare e registrare la rigidità dell'operatore tramite i sensori di coppia articolari esistenti, consentendo l'affinamento dei modelli vision-language-action per generare etichette di compliance dipendenti dalla direzione a costo di annotazione zero per compiti ricchi di contatto.

Autori originali: Harsha Guda, Adrià Colomé, Carme Torras

Pubblicato 2026-09-18

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Harsha Guda, Adrià Colomé, Carme Torras

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

I robot sono diventati straordinariamente bravi a vedere il mondo e a decidere dove spostarsi. L'intelligenza artificiale moderna può guardare l'immagine di una stanza disordinata e dire a un braccio robotico esattamente come prendere una tazza o aprire un cassetto. Ma c'è un ultimo, critico passaggio in cui queste macchine spesso inciampano: il momento in cui toccano qualcosa. Sebbene a un robot possa essere detto dove andare, esso fatica a sapere quanto forte spingere. Compiti che richiedono un tocco delicato, come pulire una lavagna senza graffiarla, o inserire un perno in un foro stretto, dipendono da una proprietà chiamata compliance (cedevolezza). Questa è la capacità di cedere o resistere alla pressione in modo controllato. Per molto tempo, insegnare questa abilità ai robot è stato difficile perché i modi standard con cui gli esseri umani mostrano ai robot cosa fare registrano solo la posizione finale del robot. Essi perdono la forza invisibile che l'umano stava applicando, lasciando al robot il compito di indovinare se debba essere rigido o morbido.

Un team di ricercatori a Barcellona ha trovato un modo per risolvere questa mancanza di informazioni senza aggiungere costosi sensori di forza-coppia o tattili. Hanno scoperto che, utilizzando un tipo specifico di configurazione di controllo remoto, potevano separare matematicamente l'obiettivo inteso dall'uomo dalla forza applicata, usando solo i sensori di coppia dei giunti già presenti nel braccio robotico. Nei loro esperimenti, un operatore umano controllava un braccio robotico attraverso un sistema in cui il braccio dell'operatore muoveva un secondo braccio robotico identico. Osservando come il braccio dell'operatore si muoveva rispetto a come il braccio robotico si muoveva effettivamente, i ricercatori potevano calcolare esattamente quanto l'operatore volesse che il robot fosse rigido o morbido in ogni singolo momento. Hanno usato questi nuovi dati per addestrare un modello di intelligenza artificiale che può ora ricevere un semplice comando vocale, come "pulisci questa macchia con decisione", e regolare la propria rigidità per corrispondergli, invece di limitarsi a muoversi verso una posizione.

Il cuore del problema che i ricercatori hanno affrontato è una confusione che avviene ogni volta che cerchiamo di insegnare qualcosa a un robot osservando un essere umano. Immaginate un essere umano che spinge un braccio robotico contro un muro. Se il robot finisce in un certo punto, non sappiamo se l'umano abbia spinto con forza contro una molla rigida o delicatamente contro una molla morbida; entrambi gli scenari potrebbero far finire il robot esattamente nello stesso posto. I dispositivi di registrazione standard vedono solo la posizione finale, quindi non possono distinguere tra le due situazioni. Questo rende impossibile insegnare a un robot il concetto di "deciso" rispetto a "delicato" semplicemente osservando dove va il robot. I ricercatori hanno capito che, per risolvere questo problema, avevano bisogno di una seconda misurazione indipendente di dove l'umano intendeva andare, distinta da dove il robot è effettivamente finito.

Per risolvere la questione, hanno utilizzato un sistema di teleoperazione bilaterale a quattro canali. In questa configurazione, un essere umano tiene un braccio robotico "leader" e un braccio robotico "follower" cerca di copiarlo. Fondamentalmente, il sistema non invia solo comandi di posizione; invia anche informazioni sulla forza in entrambe le direzioni. Quando il braccio follower colpisce un ostacolo, l'umano sente quella resistenza nella propria mano. Poiché l'umano sta attivamente percependo il contatto, il movimento del proprio braccio rappresenta la sua vera intenzione, mentre il movimento del follower mostra come il robot ha reagito all'ambiente. Confrontando il percorso del leader con il percorso del follower, i ricercatori potevano calcolare la differenza tra dove l'umano voleva essere e dove il robot si trovava effettivamente. Questa differenza, combinata con la forza che il robot avvertiva (che è stata stimata utilizzando i sensori di coppia nativi dei giunti del robot), ha permesso loro di lavorare a ritroso e determinare l'esatta rigidità che l'operatore stava applicando.

Utilizzando questo metodo, il team ha raccolto un vasto insieme di dimostrazioni in cui gli esseri umani pulivano una lavagna. Hanno istruito gli umani a pulire le macchie sulla lavagna o in modo "normale" o "deciso". Grazie al loro nuovo metodo di calcolo, sono stati in grado di estrarre un'etichetta precisa per la rigidità utilizzata in ogni singolo momento del movimento di pulizia, senza la necessità di speciali sensori di forza sul polso del robot. Hanno poi usato queste etichette per perfezionare un grande modello vision-language, un tipo di intelligenza artificiale che comprende immagini e testo. Hanno insegnato a questo modello di produrre non solo una posizione target, ma anche un valore di rigidità target per ogni movimento che compie.

I risultati hanno dimostrato che questo approccio ha funzionato esattamente come previsto. Quando i ricercatori hanno testato la nuova politica del robot, hanno scoperto che poteva realmente cambiare quanto premeva in base all'istruzione linguistica. Quando gli veniva ordinato di pulire "con decisione", il robot aumentava la sua forza di contatto a una media di 9,1 Newton. Quando gli veniva ordinato di pulire "normalmente", riduceva tale forza a 6,4 Newton. Questo cambiamento era statisticamente significativo e coerente. Al contrario, altre politiche robotiche testate nello stesso studio non riuscivano a cambiare il proprio comportamento in base all'istruzione. Alcune politiche, pur ricevendo i dati di forza come input, si muovevano ancora in modo troppo rigido, mentre altre, che cercavano di indovinare la rigidità basandosi su regole fisse, non riuscivano ad adattarsi affatto. Solo la politica addestrata con le nuove etichette estratte riusciva a collegare la parola "decisamente" a un aumento fisico della pressione.

I ricercatori hanno anche verificato che il robot ha imparato a essere selettivamente rigido. Non è diventato uniformemente più duro in tutte le direzioni; è diventato rigido nella direzione del movimento di pulizia per resistere all'essere deviato dal percorso, pur rimanendo più morbido in altre direzioni. Questo comportamento anisotropo, ovvero la rigidità dipendente dalla direzione, è un tratto sofisticato che imita il modo in cui una mano umana si adatta naturalmente a un compito. Il robot ha ottenuto un tasso di successo del 50 percento nella rimozione dell'inchiostro dalla lavagna, che è stato il più alto tra le cinque diverse politiche testate, e lo ha fatto attivando meno arresti di sicurezza causati da un eccesso di forza.

Nonostante questi successi, lo studio riconosce alcune limitazioni. Il metodo si basa sul fatto che il robot possieda sensori che misurano la coppia nei suoi giunti, comuni nei robot da ricerca ma non sempre presenti nei modelli commerciali più economici. La tecnica ha inoltre richiesto che il robot rimanesse in una postura specifica durante la calibrazione per garantire che i calcoli della forza rimanessero accurati. Inoltre, la rigidità rotazionale, ovvero quanto il robot resiste alla torsione, è stata più difficile da misurare con precisione perché il compito di pulizia non comportava abbastanza movimenti di torsione da generare dati chiari. I ricercatori hanno osservato che, sebbene il loro metodo funzioni bene per questo compito specifico, non è una soluzione universale per ogni tipo di contatto che un robot potrebbe incontrare.

La portata di questo lavoro risiede nel modo in cui scavalca la necessità di hardware specializzato e costoso, come sensori di forza-coppia o tattili, per insegnare ai robot il senso del tatto. Utilizzando i sensori di coppia dei giunti già presenti in un braccio robotico e un approccio matematico intelligente per interpretare l'intento umano, i ricercatori hanno creato un modo per generare dati di addestramento di alta qualità per la compliance a costo zero. Ciò suggerisce che in futuro i robot potrebbero imparare a gestire compiti delicati o con forza variabile in modo molto più efficace, semplicemente osservando gli esseri umani attraverso un sistema che cattura sia il movimento che la sensazione di resistenza. Lo studio dimostra che la chiave per un miglior tocco robotico potrebbe non essere l'uso di sensori migliori, ma modi migliori per leggere i segnali che già possediamo.

Riepilogo Tecnico: Compliance per il costo di zero: Apprendimento dell'impedenza identificabile tramite teleoperazione bilaterale

1. Definizione del Problema

I modelli Vision-Language-Action (VLA) hanno rivoluzionato la manipolazione robotica ma falliscono costantemente nei compiti ricchi di contatto (ad es., pulizia, inserimento) perché emettono solo target di posa, non la necessaria compliance (rigidità) per modulare le forze di interazione. Sebbene alcuni lavori recenti tentino di emettere forza o compliance, essi si affidano a frame di interazione specificati manualmente, dati di simulazione privilegiati o sensori dedicati di forza/coppia (F/T) e tattili durante l'addestramento e l'inferenza.

L'ostacolo principale è un problema fondamentale di identificabilità nelle interfacce di dimostrazione standard (ad es., controller VR, SpaceMice, rig bimanuali unilaterali). Queste interfacce registrano solo la posa realizzata dal robot ( $x_f$ ) e la risultante forza di contatto ( $f$ ). Tuttavia, la forza di contatto è il prodotto sia della posa di equilibrio ( $x_{eq}$ ) intesa dall'operatore che della sua rigidità ( $K$ ). Matematicamente, una molla morbida tirata molto lontano e una molla rigida tirata leggermente esercitano la stessa forza. Senza una misurazione indipendente di $x_{eq}$ , l'equilibrio inteso dall'operatore e la sua rigidità sono confusi; nessuna quantità di dati basati solo sulla posa può disaggregarli. Di conseguenza, le interfacce esistenti non possono fornire supervisione della compliance in linea di principio.

2. Metodologia

A. Risoluzione dell'identificabilità tramite teleoperazione bilaterale

Gli autori propongono l'uso della teleoperazione bilaterale a quattro canali per rompere l'ambiguità dell'identificabilità. In questa configurazione, un braccio leader (controllato dall'umano) e un braccio follower (il robot) sono attivamente accoppiati.

Insight Chiave: Il braccio leader (controllo) la sua traiettoria ( $x_l$ ) funge da misurazione fisica indipendente dell'equilibrio ( $x_{eq}$ ) inteso dall'operatore.
Meccanismo: Sostituendo $x_{eq} = x_l$ nella legge di impedenza $f(t) = K(t)(x_{eq}(t) - x_f(t)) + D(t)\dot{e}(t)$ , l'errore di spostamento $e(t)$ diventa direttamente osservabile. Ciò consente di identificare $K(t)$ e $D(t)$ tramite regressione utilizzando solo la sensoristica di coppia dei giunti già presente sul manipolatore, eliminando la necessità di sensori F/T esterni.

B. Stima della forza senza sensori (Sensorless Wrench Estimation)

Poiché il metodo si basa su sensori di coppia dei giunti piuttosto che su sensori F/T al polso, gli autori implementano una procedura di stima della forza senza sensori:

Compensazione della gravità: Identificano la massa dell'utensile e il centro di massa utilizzando pose statiche per sottrarre la componente gravitazionale dalle coppie misurate.
Correzione del bias: Modellano l'errore residuo (dipendente dalla configurazione e dalla velocità) utilizzando un insieme di Random Fourier Features adattate su scansioni in spazio libero.
Livello di rumore: Un livello di rumore per asse ( $\sigma_{f,i}$ ) viene misurato da dati di spazio libero tenuti fuori dal set per garantire che le stime della forza siano superiori al rumore del sensore.

C. Estrazione delle etichette di compliance

Gli autori estraggono etichette di compliance anisotrope per ogni istante temporale attraverso un processo di regressione mascherata:

Frame di contatto: Un frame di contatto viene adattato alla traiettoria di pulizia utilizzando la Decomposizione ai Valori Singolari (SVD) per definire la normale alla superficie.
Regressione a finestra scorrevole: Su finestre scorrevoli di 300 ms, un problema di minimi quadrati non lineari regolarizzato risolve per rigidità ( $k$ ) e smorzamento ( $d$ ) per ogni asse.
Maschera di identificabilità: Una maschera binaria viene applicata per mantenere le etichette solo quando:
1. La matrice di regressione è ben condizionata.
2. Lo spostamento è significativo.
3. La forza supera il livello di rumore.
4. Il sistema è in contatto.
  Ciò produce un dataset di coppie $(x_{eq}, \log K)$ con maschere di validità, richiedendo costi di annotazione nulli.

D. Politica VLA con output di compliance

Le etichette estratte vengono utilizzate per perfezionare un modello VLA pre-addestrato (backbone SmolVLA):

Architettura: La politica riceve visione (scena + telecamera al polso), istruzioni linguistiche (ad es., "pulisci il segno a sinistra con forza") e un token della cronologia della forza come input.
Output: Predice un blocco (chunk) di azioni future che contiene sia una posa target assoluta ( $x_{eq}$ ) che un target di rigidità ( $\log K$ ).
Addestramento: Utilizza il flow-matching per la posa e la perdita Huber per la rigidità, applicata solo sugli istanti temporali mascherati (identificabili).
Controllo: Un controllore di impedenza cartesiana di basso livello segue i target chunked della politica. Il sistema utilizza l'ensembling temporale e il gating del serbatoio di energia (energy-tank gating) per garantire stabilità e passività.

3. Contributi Chiave

Procedura di estrazione senza sensori: Un metodo per risolvere l'ambiguità dell'identificabilità della posa tramite teleoperazione bilaterale, ottenendo etichette di compliance per istante temporale utilizzando solo i sensori di coppia nativi dei giunti.
Benchmark offline: Dimostrazione che le etichette estratte portano un segnale apprendibile, con un predittore appreso che supera un predittore costante per asse di $1.25\times$ in termini di RMSE aggregato sugli assi di traslazione.
Politica di compliance condizionata dalle istruzioni: Una politica VLA addestrata su queste etichette che traccia con successo i target di impedenza chunked. È l'unica politica tra cinque baseline la cui forza di contatto realizzata cambia in risposta alle istruzioni linguistiche riguardanti il "modo" della forza (ad es., "con forza" vs "normalmente").

4. Risultati Sperimentali

Il metodo è stato valutato su un robot Franka Research 3 che esegue un compito di pulizia di una lavagna con istruzioni per pulire "normalmente" o "con forza".

Condizionamento delle istruzioni: La politica modula con successo la sua rigidità in uscita in base all'istruzione.
- Rigidità dimostrata: Le dimostrazioni "forti" hanno mostrato una rigidità maggiore ($146.2$ N/m) rispetto a quelle "normali" ($127.2$ N/m).
- Output della politica: La politica riproduce questo divario ($141.2$ vs $116.4$ N/m).
- Forza realizzata: Fondamentalmente, la forza di contatto realizzata risponde all'istruzione: "Forte" ha prodotto $9.12$ N RMS di forza, mentre "Normale" ha prodotto $6.40 $N RMS ($ p=0.023$, Cohen's $d=0.89$ ).
Confronto con le baseline:
- Fixed-K: Utilizza una rigidità costante; fallisce nel modulare la forza in base all'istruzione.
- Force-In: Consuma la forza come input ma emette solo la posa; fallisce nel modulare la forza.
- Hybrid: Predice la rigidità ma tramite una testa di regressione separata; la rigidità comandata non si traduce in cambiamenti della forza realizzata.
- Nostro metodo: L'unica politica in cui la forza di contatto realizzata risponde statisticamente all'istruzione linguistica.
Performance del compito: La politica proposta ha ottenuto il tasso di successo più elevato (50.0%) e la rimozione dell'inchiostro più alta (40.8%) mantenendo al contempo forze di contatto di picco e RMS inferiori rispetto alla baseline Fixed-K, risultando in meno arresti di protezione (1 vs 6).

5. Significato e Rivendicazioni

Il paper sostiene che la barriera principale per l'apprendimento della manipolazione complessa non è l'architettura del modello, ma l'interfaccia di dimostrazione. Le interfacce standard confondono l'equilibrio e la rigidità, rendendo impossibile la supervisione della compliance senza hardware esterno o simulazione.

Utilizzando la teleoperazione bilaterale a quattro canali, gli autori dimostrano che:

La compliance può essere estratta gratuitamente: Non sono richiesti sensori F/T o tattili aggiuntivi durante l'addestramento o l'inferenza; il braccio leader fornisce il segnale di equilibrio necessario.
La compliance è una azione apprendibile: Un modello VLA può essere addestrato per emettere target di rigidità che sono fisicamente realizzati dal robot.
La forza condizionata dalle istruzioni è realizzabile: Il sistema può modulare la forza di contatto in base al linguaggio naturale ("con forza" vs "normalmente") senza fare affidamento su vincoli rigidi o informazioni privilegiate.

Gli autori sottolineano che predire la compliance non è sufficiente; la politica deve anche tracciarla. Il loro approccio lo ottiene decodificando posa e rigidità attraverso un target condiviso, risultando in un comportamento anisotropo genuino dove il robot resiste alla deflessione fuori dal percorso della pennellata quando istruito a pulire "con forza", invece di limitarsi a premere più forte contro la lavagna.

6. Limitazioni

Gli autori riconoscono diverse limitazioni:

Dipendenza dalla configurazione: La stima della forza senza sensori richiede una postura del nullspace fissa e uno spazio di lavoro vincolato.
Impedenza rotazionale: I canali rotazionali sono debolmente identificati in questo specifico compito (la pulizia quasi non eccita l'orientamento) e la rigidità rotazionale estratta spesso satura al limite inferiore del controllore.
Ambito: L'evidenza è limitata a un singolo compito (pulizia) e piattaforma (Franka Research 3).
Potere di ablazione: Lo studio di ablazione del canale di forza è stato sottodimensionato a causa di un piccolo budget di rollout, lasciando aperta l'indagine sul ruolo causale del token di input della forza.