MotionDLO: Hybrid Event- and Frame-Based Tracking of Deformable Linear Objects

Nel mondo della robotica, esiste un divario persistente tra ciò che una macchina può vedere e ciò che deve fare. I robot eccellono nel muovere oggetti pesanti e rigidi come scatole di metallo o componenti automobilistici, ma faticano con qualsiasi cosa sia morbida, flessibile o imprevedibile. Pensate a un cablaggio in una fabbrica di auto, un cavo in una sala server o un filo di sutura in un ospedale. Questi oggetti sono noti come oggetti lineari deformabili. Si torcono, si piegano e si aggrovigliano in modi che è impossibile prevedere perfettamente in anticipo. Per manipolarli, un robot deve osservarli mentre si muovono in tempo reale, aggiornando la propria comprensione della loro forma centinaia di volte al secondo. Le telecamere tradizionali, che scattano foto come una normale macchina fotografica cinematografica, sono spesso troppo lente per questo compito. Nel momento in cui una telecamera standard cattura un'immagine nitida di un filo in rapido movimento, il filo si è già spostato, lasciando al robot un'immagine sfocata e obsoleta. Questo ritardo causa la perdita del bersaglio da parte del robot o, peggio ancora, la perdita totale del tracciamento dell'oggetto.

Per risolvere questo problema, i ricercatori hanno iniziato a utilizzare un tipo diverso di sensore chiamato telecamera a eventi (event camera). A differenza di una telecamera standard che scatta foto complete a intervalli fissi, una telecamera a eventi funziona come un sistema nervoso. Essa riporta solo i cambiamenti. Se un pixel sul sensore vede un cambiamento di luce, invia un segimento immediatamente. Se la scena è ferma, il sensore rimane silenzioso. Ciò consente alla telecamera di reagire al movimento in microsecondi, catturando la velocità di un filo in movimento senza alcuna sfocatura. Tuttavia, sebbene queste telecamere siano incredibilmente veloci, sono spesso scarse nel determinare esattamente dove si trovi un oggetto o quale sia il suo aspetto dettagliato. Vedono il movimento, ma faticano a definire la forma. La sfida per gli ingegneri è stata quella di combinare la reazione fulminea di una telecamera a eventi con la visione precisa e dettagliata di una telecamera standard, creando un sistema che sia abbastanza rapido e accurato da permettere a un robot di gestire compiti delicati.

Un team di ricercatori ha sviluppato un nuovo sistema chiamato MotionDLO per colmare questo divario. Il loro lavoro si concentra sul tracciamento di questi fili e cavi flessibili mentre si muovono, assicurando che il robot sappia esattamente dove si trova ogni parte dell'oggetto in ogni momento. Il sistema funziona utilizzando due "occhi" diversi simultaneamente. Un occhio è una telecamera standard ad alta risoluzione che scatta foto per ottenere una visione chiara e dettagliata della forma del filo. L'altro occhio è la telecamera a eventi, che osserva qualsiasi movimento. I ricercatori hanno progettato il software per passare tra queste due viste in base a ciò che il filo sta facendo. Quando il filo è fermo, il sistema si affida alla telecamera standard per costruire una mappa perfetta e dettagliata della sua forma. Nel momento in cui il filo inizia a muoversi, il sistema passa istantaneamente alla telecamera a eventi. Poiché la telecamera a eventi reagisce molto velocemente, può tracciare il movimento del filo mentre avviene, aggiornando la comprensione del robot sulla posizione del filo ogni 12 millisecondi.

La genialità del sistema risiede nel modo in cui mantiene questi due diversi flussi di informazioni in armonia senza confondersi. I ricercatori hanno scoperto che se si fosse fatto affidamento solo sulla veloce telecamera a eventi, il robot avrebbe potuto perdere traccia di quale filo stava seguendo, specialmente se ci fossero stati diversi fili nella scena. Se si fosse fatto affidamento solo sulla telecamera standard, il robot sarebbe stato troppo lento per stare al passo con i movimenti rapidi. MotionDLO risolve questo problema utilizzando la telecamera standard per stabilire un punto di partenza solido e accurato e per confermare l'identità dell'oggetto. Successivamente, man mano che l'oggetto si muove, la telecamera a eventi prende il sopravvento, fornendo un flusso continuo di aggiornamenti che mantengono fresche le conoscenze del robot. Il sistema è abbastanza intelligente da sapere quando l'oggetto ha smesso di muoversi e tornare alla telecamera dettagliata per correggere eventuali piccoli errori che potrebbero essersi insinuati durante il movimento veloce. Ciò crea un ciclo continuo in cui il robot non perde mai di vista l'oggetto, indipendentemente da quanto velocemente si stia muovendo.

Il team ha testato il proprio sistema in un ambiente industriale realistico, utilizzando un braccio robotico per afferrare e spostare diversi tipi di cavi e tubi. Hanno utilizzato tre tipi specifici di oggetti: un tubo di plastica utilizzato per la pressione dell'aria, un cavo di comunicazione schermato e un sottile filo elettrico. Il robot ha mosso questi oggetti a varie velocità, incluse velocità molto elevate che avrebbero causato una sfocatura evidente in una telecamera standard. I risultati hanno dimostrato che MotionDло poteva tracciare gli oggetti con una precisione straordinaria. Anche quando il robot muoveva i cavi a velocità fino a 2.255 millimetri al secondo, il sistema manteneva un errore medio inferiore a mezzo millimetro. Questo livello di accuratezza è fondamentale perché significa che il robot può manipolare il filo senza danneggiarlo o farlo cadere. Al contrario, altri metodi esistenti che si affidano a telecamere standard o a un tracciamento basato su eventi più semplice fallivano in queste condizioni. O avevano perso completamente il tracciamento dell'oggetto o commettevano errori così grandi che il robot non poteva completare il compito.

Uno dei risultati più significativi è stato che il sistema è riuscito a tenere traccia di un singolo filo in movimento anche quando era aggrovigliato con altri fili stazionari. In una scena affollata con molteplici cavi, altri metodi di tracciamento spesso si confondevano, scambiando i fili tra loro o perdendo completamente quello in movimento. MotionDLO, invece, ha sfruttato la capacità unica della telecamera a eventi di vedere solo le parti in movimento. Poiché i fili stazionari non attivavano la telecamera a eventi, il sistema poteva isolare il filo in movimento dal disordine dello sfondo e seguirlo costantemente. Questa capacità di mantenere un'identità coerente dell'oggetto nel tempo è un grande passo avanti, poiché consente ai robot di eseguire compiti complessi che richiedono lunghi periodi di attenzione senza distrarsi o perdere il segno.

I ricercatori hanno anche dimostrato che il loro sistema funziona senza la necessità di essere addestrato su tipi specifici di fili. Molti sistemi di visione robotica moderni richiedono migliaia di ore di dati di addestramento per imparare a riconoscere un oggetto specifico. Se il robot incontra un nuovo tipo di cavo che non ha mai visto prima, spesso fallisce. MotionDLO evita questo problema utilizzando un approccio "zero-shot". Utilizza un modello generico che può comprendere l'aspetto di un filo basandosi su semplici descrizioni, piuttosto che aver memorizzato esempi specifici. Ciò significa che il sistema può essere implementato in una fabbrica con un nuovo tipo di cavo e iniziare a lavorare immediatamente, senza la necessità di un lungo periodo di addestramento. Questa flessibilità rende la tecnologia molto più pratica per l'uso industriale reale, dove i tipi di materiali e strumenti cambiano frequentemente.

Negli esperimenti, il team ha misurato il tempo necessario al sistema per elaborare ogni aggiornamento. Hanno scoperto che l'intero processo, dalla rilevazione del movimento all'aggiornamento del piano del robot, richiedeva solo 12 millisecondi. Questa velocità è sufficiente per consentire al robot di reagire in tempo reale, regolando la presa o il percorso mentre il filo si muove. Il sistema è stato in grado di mantenere questa prestazione su tutti e tre i tipi di cavi testati, dal tubo di plastica spesso al sottilissimo filo elettrico. L'accuratezza è rimasta elevata anche quando i fili si muovevano rapidamente, dimostrando che l'approccio ibrido combina con successo la velocità della sensoristica basata su eventi con la precisione dell'imaging standard.

Le implicazioni di questo lavoro vanno oltre il semplice movimento di fili. La capacità di tracciare oggetti flessibili in tempo reale apre la porta ai robot per gestire una gamma molto più ampia di compiti. In futuro, questa tecnologia potrebbe essere utilizzata per automatizzare l'assemblaggio di complessi cablaggi automobilistici, l'instradamento di cavi in stretti rack di server o persino per assistere in procedure mediche delicate come la sutura. I ricercatori hanno osservato che, sebbene il loro sistema attuale funzioni in due dimensioni, il passo successivo sarebbe aggiungere la percezione della profondità in modo che il robot possa comprendere la piena forma tridimensionale dell'oggetto. Pianificano anche di testare il sistema in ambienti con condizioni di luce variabili, come quelli presenti nei laboratori di saldatura o di taglio laser, per garantire che rimanga robusto in tutti gli ambienti industriali.

Il successo di MotionDLO dimostra che il futuro della percezione robotica non risiede nella scelta tra velocità e accuratezza, ma nella combinazione dei punti di forza di diverse tecnologie. Ascoltando i segnali rapidi di una telecamera a eventi pur mantenendo lo sguardo costante di una telecamera standard, il sistema raggiunge un livello di prestazione che nessuno dei due potrebbe raggiungere da solo. Questo approccio offre una soluzione pratica a un problema che ha a lungo ostacolato l'automazione di compiti che coinvolgono materiali flessibili. Man mano che i robot diventano più comuni nelle fabbriche e nelle case, la capacità di gestire l'imprevedibile e il delicato sarà importante quanto la capacità di sollevare carichi pesanti. MotionDLO fornisce un percorso chiaro verso quel futuro, mostrando che con la giusta combinazione di sensori e software, i robot possono finalmente imparare a gestire il mondo così com'è veramente: disordinato, in movimento e pieno di cose flessibili.