Geo-Reflex: Geometry-Gated Spiking Visuomotor Policy Learning for High-Frequency Robot Manipulation

I robot che si muovono con una velocità e una precisione simili a quelle umane affrontano un problema fondamentale: i loro occhi e i loro muscoli non parlano la stessa lingua. Le telecamere che forniscono la vista a un robot aggiornano solitamente la loro visione del mondo solo dieci o trenta volte al secondo, mentre i motori che controllano le sue articolazioni devono regolare la propria posizione centinaia di volte al secondo per mantenere stabilità e sicurezza. Per anni, gli ingegneri hanno cercato di risolvere questo problema costringendo i dati lenti della telecamera e i dati veloci dei muscoli ad allinearsi perfettamente nel tempo, rendendo essenzialmente il robot in attesa che la telecamera si metta al passo prima di poter muoversi. Questo approccio scarta le informazioni rapide e istantanee che dicono esattamente a un robot quando sta per toccare qualcosa, portando spesso ad azioni goffe o ritardate.

Un team di ricercatori della Dongguan City University ha proposto un modo diverso per gestire questo disallineamento, trattando la visione e il movimento del robot come due flussi separati ma connessi, piuttosto che come un unico blocco di dati sincronizzati. Hanno sviluppato un nuovo sistema di controllo chiamato Geo-Reflex, che utilizza un tipo di calcolo ispirato al cervello per permettere alle articolazioni a rapido movimento del robot di reagire istantaneamente, usando le immagini più lente della telecamera solo per decidere dove prestare attenzione. Invece di fornire al robot un'immagine completa del mondo ogni volta che si muove, il sistema osserva la forma e i bordi degli oggetti nella visuale della telecamera per impostare un livello di sensibilità. Quando il braccio del robot si muove vicino a un bordo netto o a un angolo, il sistema diventa altamente sensivo ai minimi cambiamenti della posizione del braccio. Quando il braccio si muove su uno spazio piatto e vuoto, il sistema ignora il rumore visivo e si concentra solo sul movimento fluido. Ciò consente al robot di muoversi ad alta velocità senza attendere un nuovo fotogramma della telecamera, pur utilizzando l'informazione visiva per guidare la mano con precisione verso dove deve andare.

I ricercatori hanno testato questa idea su un dataset di movimenti reali di robot registrati da un braccio umanoide dotato di una telecamera a sensore di profondità. Hanno confrontato il loro nuovo sistema con diversi metodi esistenti, inclusi modelli di intelligenza artificiale standard che attendono dati sincronizzati e altre reti ispirate al cervello che non utilizzano questo speciale gating visivo. I risultati hanno mostrato che il nuovo approccio è significativamente più accurato nel prevedere i movimenti corretti del braccio. Nei loro test, il sistema ha commesso meno errori rispetto al miglior metodo precedente per un margine piccolo ma costante, ed è stato molto più accurato rispetto alle reti standard ispirate al cervello che tentano di elaborare tutti i dati contemporaneamente. Forse più importante, il nuovo sistema è stato molto più efficiente. Ha attivato i suoi segnali interni solo quando necessario, specificamente quando il braccio del robot era vicino ai bordi geometrici degli oggetti, anziché attivarsi costantemente. Questa attività selettiva ha ridotto il numero di segnali che il computer doveva elaborare di circa il trentacinque percento rispetto ai metodi più vecchi, suggerendo che il robot potrebbe funzionare più velocemente e consumare meno energia.

Per capire perché questo funzioni, è utile osservare come il sistema elabora le informazioni. La telecamera scatta una foto e la scompone immediatamente per trovare i contorni degli oggetti, ignorando colori e texture che potrebbero essere di distrazione. Questi contorni vengono poi utilizzati per regolare la "soglia" dei neuroni decisionali interni del robot. Pensate a questa soglia come a un cancello che controlla la facilità con cui un neurone può inviare un segnale. Nelle aree in cui la telecamera vede un bordo netto, il cancello viene abbassato, rendendo il neurone molto sensibile ai piccoli movimenti del braccio del robot. Nelle aree in cui la telecamera vede uno sfondo piatto e privo di caratteristiche, il cancello viene alzato, dicendo al neurone di ignorare le fluttuazioni minori. Ciò significa che le articolazioni a rapido movimento del robot possono continuare ad aggiornare la propria posizione centinaia di volte al secondo, ma il sistema visivo interviene solo per perfezionare l'azione quando la geometria della scena lo richiede. Il sistema include anche un percorso diretto per le parti fluide e prevedibili del movimento, garantendo che il robot non sovrareagisca al rumore visivo.

Lo studio ha anche testato quanto bene il sistema regga quando l'input visivo è disordinato o rumoroso, simulando scarsa illuminazione o distorsione della telecamera. In queste condizioni difficili, il nuovo sistema ha mantenuto la sua accuratezza molto meglio degli altri, degradando solo la metà rispetto alle reti standard ispirate al cervello. Ciò suggerisce che, concentrandosi solo sulla struttura geometrica del mondo piuttosto che sui dati grezzi dei pixel, il robot diventa più robusto nei confronti dei tipi di errori visivi che spesso confondono altri sistemi. Inoltre, quando i ricercatori hanno simulato uno scenario in cui il robot doveva prevedere una sequenza di movimenti futuri basandosi sul suo stato attuale, il nuovo sistema ha accumulato errori molto più lentamente rispetto alla concorrenza. Ciò indica che il metodo aiuta il robot a mantenere una comprensione stabile delle proprie azioni nel tempo, il che è cruciale per compiti che richiedono lunghe catene di movimenti precisi.

I ricercatori riconoscono che il loro lavoro è stato testato utilizzando dati registrati da un robot piuttosto che un robot dal vivo che svolge compiti nel mondo reale, quindi i risultati mostrano quanto bene il sistema preveda le azioni piuttosto che dimostrare che possa afferrare con successo oggetti in un ambiente fisico. Tuttavia, la coerenza dei risultati attraverso molteplici test e il chiaro miglioramento dell'efficienza suggeriscono che questo modo di combinare visione e movimento è una direzione promettente per il futuro. Permettendo all'orologio interno veloce del robot di funzionare indipendentmente, usando la telecamera più lenta solo per stabilire le regole dell'ingaggio, Geo-Reflex offre una soluzione pratica al disallineamento temporale che ha limitato per lungo tempo la velocità e la destrezza dei robot. I risultati suggeriscono che, affinché i robot si muovano in modo fluido come gli umani, potrebbero dover smettere di cercare di vedere e muoversi esattamente alla stessa velocità, e invece imparare a lasciare che i loro occhi guidino le loro mani solo quando la forma del mondo lo richiede.