⚡ electrical engineering

From Perception to Assistance: Open-Vocabulary Shared Autonomy for Robotic Manipulation

Questo articolo presenta un framework di autonomia condivisa open-vocabulary per la manipolazione robotica che combina il controllo gestuale senza dispositivi indossabili, l'ancoraggio del target tramite visione-linguaggio e il controllo predittivo basato su modello accelerato da GPU per assistere gli operatori nel raggiungimento di prese precise e prive di collisioni in ambienti industriali affollati.

Autori originali: Murilo Vinicius da Silva, Ricardo V. Godoy, Juliano Negri, Gustavo J. G. Lahr, Ranulfo Bezerra, Marcelo Becker

Pubblicato 2026-07-21

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Murilo Vinicius da Silva, Ricardo V. Godoy, Juliano Negri, Gustavo J. G. Lahr, Ranulfo Bezerra, Marcelo Becker

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di infilare un filo in un ago indossando spessi guanti invernali, stando su una scala traballante e guardando l'ago attraverso una finestra appannata. È all'incirca quello che si prova a controllare il braccio di un robot gigante a distanza. Questo è il mondo della teleoperazione, dove un operatore umano guida una macchina utilizzando telecamere e joystick. Il problema è che i nostri occhi e il nostro cervello non sono bravissimi a giudicare la profondità attraverso uno schermo, e gli ambienti industriali sono spesso ingombri di tubi, pareti e altri ostacoli contro cui è facile scontrarsi.

Per risolvere questo problema, gli scienziati hanno sviluppato l'autonomia condivisa. Immaginatela come un "copilota" per il robot. Invece di lasciare che l'umano faccia tutto da solo, i chip del computer del robot intervengono per aiutare. Potrebbe sterzare delicatamente il braccio lontano da una parete o spingerlo verso un obiettivo, ma l'umano tiene ancora il volante. Questo articolo approfondisce una nuova versione più intelligente di questo sistema di copilota, progettata specificamente per robot che possono camminare (come i cani quadripedi) e svolgere compiti delicati in fabbriche reali e disordinate.

Il "Copilota Intelligente" per i Robot Canidi

Incontra il robot: una macchina a quattro zampe (come un Boston Dynamics Spot) con un braccio lungo e destrezza attaccato alla schiena. Il suo compito? Entrare in un sito industriale disordinato, trovare una valvola o uno strumento specifico e ruotarlo o prenderlo. La sfida? L'operatore è lontano, guardando il robot attraverso un feed video che rende difficile la percezione della profondità. Se l'operatore prova a girare una valvola, potrebbe accidentalmente scagliare il braccio del robot contro un tubo vicino perché non vede esattamente quanto sia vicino.

Questo articolo presenta un sistema che agisce come una guida invisibile e utile per il braccio del robot. Combina tre superpoteri: vedere senza marcatori, comprendere il linguaggio e sterzare con delicatezza.

1. Niente Guanti, Niente Calibrazione, Solo Tu

Di solito, per controllare un robot con il proprio corpo, è necessario indossare speciali tute con sensori o stare davanti a una telecamera che debba essere calibrata rispetto alla propria altezza. Questo nuovo sistema dice: "No grazie". Utilizza una normale telecamera 3D (RGB-D) per osservare i movimenti naturali dell'operatore.

Immaginate che la telecamera sia un amico super osservatore che osserva le vostre spalle, le vostre anche e i vostri polsi. Costruisce una mappa mentale del vostro corpo in tempo reale. Se muovete la mano destra in avanti, il braccio del robot si muove in avanti. Se ruotate il polso, la pinza del robot ruota. Il sistema capisce persino la lunghezza del vostro braccio al volo, così sa esattamente quanto scalare i vostri movimenti per adattarli alle dimensioni del robot. Nessuna configurazione, nessun marcatore, solo voi e il robot che vi muovete in sincronia.

2. "Ehi Robot, Afferra Quella Valvola a Ruota"

In passato, dire a un robot cosa afferrare era difficile. Bisognava indicare un oggetto specifico o usare un codice. Questo sistema vi permette di usare il linguaggio naturale. L'operatore può semplicemente dire (o scrivere): "Valvola a ruota".

Ecco dove avviene la magia: il robot utilizza un "modello di visione-linguaggio" (pensate a un cervello robotico che può leggere e vedere contemporaneamente) per guardare il feed della telecamera e trovare la "valvola a ruota". Una volta individuata, non si limita a dire "L'ho vista". Crea un punto target 3D preciso nello spazio, come un bersaglio digitale. Ancora meglio, continua a tracciare quella valvola mentre il robot si muove, usando altre telecamere sul proprio corpo per assicurarsi di non perdere mai di vista l'obiettivo, anche se la visuale dell'operatore viene ostruita.

3. Il Campo Magnetico Invisibile

Questo è il trucco più incredibile dell'articolo. Mentre il braccio del robot si avvicina al target, entra in gioco un "campo di potenziale" invisibile (come una delicata forza magnetica).

Immaginate di guidare un'auto verso un posto auto. State sterzando, ma c'è un vento leggero che spinge la vostra auto leggermente verso il centro del posto per aiutarvi a parcheggiare perfettamente. Ecco cosa fa questo sistema.

Siete ancora voi al comando: Se volete andare a sinistra, il robot va a sinistra. Il sistema non vi sottrae mai il controllo.
L'aiuto è sottile: Quando vi trovate entro 0,4 metri (circa 1,3 piedi) dal target, il sistema sposta delicatamente il vostro comando verso il centro esatto della "valvola a ruota". Corregge i piccoli errori che potreste commettere a causa della visuale sfocata della telecamera.
Il risultato: Potete mirare approssimativamente e il "copilota" del robot leviga l'approccio finale, assicurando che la pinza atterri esattamente dove deve essere.

4. Lo Scudo "Non Scontrarti"

Mentre il robot si muove, costruisce costantemente una mappa 3D della stanza utilizzando le proprie telecamere. Sa esattamente dove si trovano le pareti, i tubi e i coni stradali. L'articolo ha testato questo aspetto facendo sì che l'operatore cercasse deliberatamente di guidare il braccio del robot dentro un cono stradale.

Il risultato? Il comando dell'operatore andava dritto nel cono, ma il braccio del robot si fermava a 18 cm (circa 7 pollici) di distanza. Il sistema ha agito come un campo di forza, curvando il percorso attorno all'ostacolo pur cercando di seguire la direzione generale dell'operatore. Ha dimostato che anche se l'umano commette un errore, il cervello di sicurezza del robot impedisce lo scontro.

5. Il Pulsante "Pilota Automatico"

A volte, l'operatore è stanco di sterzare. Una volta trovato il target e confermato, può alzare due dita per passare alla modalità autonoma. Il robot prende quindi il controllo completo, utilizzando le stesse regole di sicurezza e lo stesso target 3D per completare il lavoro (come afferrare la valvola) da solo. Se l'operatore vuole riprendere il controllo, basta alzare un dito di nuovo.

Cosa Hanno Scoperto?

I ricercatori hanno testato questo sistema su un vero robot in un ambiente industriale disordinato con due compiti principali: girare una grande valvola industriale e prendere un trapano elettrico.

Il "Team Completo" Vince: Quando hanno utilizzato l'intero sistema (target linguistico + sterzata delicata + scudo anti-scontro), il robot ha avuto successo nel 100% delle prove (5 su 5 per entrambi i compiti).
Il "Mezzo Team" Fallisce: Quando hanno rimosso lo scudo anti-scontro, il robot ha colpito gli ostacoli. Quando hanno rimosso la sterzata delicata, il robot ha mancato il target perché la visuale della telecamera non era abbastanza precisa. Ciò ha dimostrato che entrambe le parti sono necessarie; esse risolvono problemi diversi.
I Numeri: Il sistema è stato molto accurato. Il braccio del robot ha seguito la mano umana con un errore medio di soli 59 mm (circa 2,3 pollici). Nei test di collisione, l'operatore ha cercato di spingere il braccio per 6 cm dentro un ostacolo, ma il robot ha mantenuto il braccio ad almeno 18 cm dal pericolo.

In Sintesi

Questo articolo non sostiene di aver risolto ogni problema della robotica. Dimostra che combinando un'interfaccia a telecamera semplice e senza marcatori con un intelligente "copilota" che comprende il linguaggio e corregge delicatamente gli errori, possiamo rendere i robot molto più capaci di lavorare in fabbriche reali e disordinate. Non è un robot che pensa interamente da sé, né un robot che segue ciecamente gli ordini. È una partnership in cui l'umano fornisce l'intento ("Prendi quella valvola") e il robot gestisce i dettagli complicati del non scontrarsi e dell'atterrare perfettamente.

Sintesi Tecnica: Dalla Percezione all'Assistenza: Autonomia Condivisa Open-Vocabulary per la Manipolazione Robotica

Problematica
La teleoperazione di manipolatori robotici in ambienti industriali non strutturati presenta sfide significative. Gli operatori devono gestire simultaneamente il controllo di un braccio ad alto grado di libertà, mantenere la visuale e la distanza di sicurezza, ed evitare collisioni con le strutture circostanti, il tutto facendo affidamento su una percezione della profondità limitata dalle interfacce basate su telecamera. Sebbene la teleoperazione pura offra flessibilità, essa impone un elevato carico cognitivo e rischi di collisione. Al contrario, i sistemi completamente autonomi faticano a generalizzare in contesti dinamici a causa delle dipendenze da oggetti noti, estrinseci precisi e parametri di task predefiniti. I sistemi di controllo condiviso esistenti spesso si affidano a una selezione del target basata su assunzioni pesanti (ad esempio, marker o classi di oggetti note) e a rappresentazioni di collisione a bassa frequenza, limitandone la sicurezza e la reattività in scenari industriali reali.

Metodologia
Il documento propone un framework di autonomia condivisa per la manipolazione mobile (validato su un quadrupede Boston Dynamics Spot) che integra la teleoperazione basata sulla visione senza calibrazione, l'ancoraggio del target open-vocabulary e l'esecuzione autonoma attivata dall'utente. Il sistema opera attraverso una pipeline di percezione-controllo modulare:

Interfaccia di Teleoperazione Basata sulla Visione:
- Input: Una singola telecamera RGB-D (ZED 2i) cattura il movimento dell'operatore senza l'uso di dispositivi indossabili o fiduciali.
- Elaborazione: MediaPipe estrae i landmark scheletrici per stimare dinamicamente un sistema di riferimento centrato sul corpo {B}. Il movimento del polso viene mappato sulla posizione dell'end-effector del robot, mentre i landmark della mano guidano il rollio della pinza (gripper) e le azioni discrete (apertura/chiusura).
- Filtraggio: Un filtro di rigetto basato su soglia e una media mobile esponenziale (EMA) smorzano la traiettoria per mitigare gli artefatti di profondità e gli outlier.
- Scaling: Il sistema scala il movimento del braccio dell'operatore rispetto allo spazio di lavoro del robot sulla base di una stima online della lunghezza del braccio dell'operatore, eliminando la necessità di calibrazione manuale.
Ancoraggio del Target Open-Vocabulary:
- Specificazione Semantica: Gli operatori specificano i target utilizzando prompt testuali a linguaggio libero (ad esempio, "valvola della ruota"). Un modello di linguaggio-visione (VLM, Qwen3-VL) ancora questo prompt sull'immagine della telecamera della pinza, restituendo un bounding box e punti di presa candidati.
- Tracking: Un modello di segmentazione video promptabile (SAM 2) traccia il target attraverso le telecamere della pinza e del corpo.
- Separazione Dinamica: Le maschere di segmentazione separano l'oggetto target dall'ambiente statico all'interno di una mappa volumetrica. Ciò garantisce che il target sia escluso dalla mappa degli ostacoli per la collisione, evitando che il controllore tratti il punto di presa previsto come un ostacolo.
- Frame di Presa: Viene stabilito un frame di presa {G} ancorato al mondo, che rimane fisso a meno che misurazioni consecutive non confermino il movimento dell'oggetto.
Generazione del Movimento Reattivo Consapevole delle Collisioni:
- Mappatura: Un mappatore volumetrico implementato in locale su GPU (nvblox) fonde la profondità stereo in un campo di distanza con segno troncato (TSDF) e un campo di distanza euclidea (ESDF) per il controllo delle collisioni in tempo reale.
- Controllo: Un controllore Model Predictive Path Integral (MPPI) (cuRobo) opera a 50 Hz. Ottimizza le traiettorie dei giunti minimizzando l'errore di tracciamento cartesiano, i limiti dei giunti, la fluidità e i costi di collisione rispetto all'ESDF online.
Assistenza a Controllo Condiviso:
- Campo di Potenziale: All'interno di un raggio di attivazione di 0,4 m dal target ancorato {G}, un campo di potenziale attrattivo orienta il riferimento comandato dall'operatore verso il target.
- Preservazione dell'Autorità: La forza di correzione ( $k_{att} = 0,2$ ) è calibrata affinché il comando dell'operatore rimanga il termine dominante, permettendo all'utente di allontanarsi o scavalcare l'assistenza, mentre il campo corregge gli errori residui fini durante l'approccio finale.
Esecuzione Autonoma Attivata dall'Utente:
- Gli operatori possono passare alla modalità autonoma tramite gesti della mano (due dita per attivare, pugno chiuso per eseguire).
- Il sistema riutilizza lo stesso generatore di movimento consapevole delle collisioni per guidare l'end-effector direttamente verso il frame ancorato {G}, ereditando le stesse garanzie di sicurezza della teleoperazione.

Contributi Chiave

Pipeline Integrata: Un sistema di autonomia condivisa che accoppia la teleoperazione senza calibrazione, l'ancoraggio open-vocabulary e l'autonomia attivata da gesti, convertendo query in linguaggio naturale in frame di presa 3D ancorati al mondo.
Consapevolezza Continua delle Collisioni: Integrazione della mappatura volumetrica in locale con il controllo MPC basato su campionamento, sottoponendo sia i movimenti teleoperati che quelli autonomi agli stessi vincoli di collisione, separando dinamicamente il target dalla mappa degli ostacoli.
Assistenza tramite Campo di Potenziale: Uno strato di guida che corregge i riferimenti dell'operatore verso il target all'interno di una regione di attivazione, mantenendo l'autorità dell'operatore come termine di controllo dominante.

Risultati
Il framework è stato valutato su un manipolatore mobile quadrupedale in compiti di manipolazione di valvole industriali e pick-and-place:

Accuratezza di Tracking: L'interfaccia di teleoperazione ha raggiunto un errore quadratico medio (RMSE) posizionale di 59 mm rispetto alla verità di base della motion-capture.
Evitamento delle Collisioni: In ambienti ingombri, il controllore ha mantenuto una distanza minima di 18 cm dagli ostacoli anche quando l'operatore comandava deliberatamente il riferimento a 6 cm all'interno degli ostacoli.
Successo del Task:
- Framework Completo: Ha raggiunto il 100% di successo (5/5 prove) sia nella manipolazione della valvola che nei compiti di pick-and-place.
- Studi di Ablazione: Rimuovendo l'evitamento delle collisioni si sono verificati fallimenti nel contatto; rimuovendo il campo di potenziale si sono verificati mancati agganci a causa di difficoltà di allineamento. Entrambi i moduli erano necessari per sopprimere i modi di fallimento complementari.
- Modalità Autonoma: Ha avuto successo in 4/5 prove per compito, con i fallimenti attribuiti a imprecisioni nella stima della profondità nel servizio di presa piuttosto che nella pipeline di percezione o controllo.

Significato e Rivendicazioni
Il documento afferma che questo framework colma il divario tra la flessibilità della teleoperazione e la sicurezza dell'autonomia negli ambienti industriali non strutturati. Abilitando l'operatore a specificare i target tramite linguaggio naturale e fornendo un'assistenza continua e consapevole delle collisioni, il sistema riduce il carico cognitivo e i rischi di collisione senza richiedere dispositivi indossabili, fiduciali o calibrazioni estese. Gli autori sottolineano che il sistema gestisce con successo interazioni ricche di contatto (ad esempio, girare una valvola) e si generalizza a diversi tipi di oggetti (valvole fisse rispetto a trapani mobili) utilizzando un'unica pipeline di percezione. Il lavoro dimosta che convertire indizi semantici in assistenza continua e vincolata alla sicurezza è fattibile per la manipolazione in tempo reale su piattaforme leggere.