I robot sono stati a lungo maestri nei reparti di fabbrica, muovendo oggetti pesanti lungo percorsi prevedibili con una precisione rigida. Eppure, quando chiediamo loro di entrare nelle nostre case ed eseguire i compiti delicati e disordinati della vita quotidiana — avvitare una lampadina, pulire un vaso, o svitare un tappo da una bottiglia — spesso vacillano. Il mondo non è una griglia pulita e statica; è un luogo di costante, sottile attrito. Per avere successo, una macchina deve fare più di quanto non basti vedere; deve sentire. Deve comprendere la fisica invisibile del contatto: il momento in cui un dito scivola, la pressione necessaria per ruotare una manopola, o il modo in cui un oggetto morbido si deforma sotto il tatto. Per decenni, gli scienziati hanno cercato di colmare questo divario dotando i robot sia di occhi che di pelle, ma insegnare a una macchina di combinare questi sensi in un'unica, fluida intuizione è rimasto una delle sfide più ostinate dell'intelligenza artificiale.

Un team di ricercatori ha compiuto ora un passo significativo avanti con un nuovo sistema chiamato DeCAL. Questo non è semplicemente un robot che può vedere e toccare; è un sistema progettato per immaginare il futuro di un'interazione fisica prima che accada. Costruendo un modello che unifica comprensione, immaginazione e azione, i ricercatori hanno creato una politica robotica capace di navigare nel complesso mondo ricco di contatti della manipolazione umana con un livello di destrezza precedentemente mai visto. Il sistema è stato testato su sei compiti distinti, che vanno dal pulire un vaso all'assemblare piccoli componenti, e ha superato costantemente i metodi più avanzati esistenti. In queste prove nel mondo reale, DeCAL ha raggiunto un tasso di successo fino al 100 percento nei compiti più semplici e ha mantenuto un solido tasso medio di successo del 71 percento in tutte e sei le sfide, anche quando l'ambiente cambiava in modi inaspettati.

Il problema centrale affrontato dai ricercatori è che la sola visione è spesso cieca di fronte ai momenti più critici della manipolazione. Quando una mano robotica si avvicina a un oggetto, le dita spesso bloccano la visuale della telecamera, creando un "punto cieco" proprio quando il robot ha più bisogno di sapere. Inoltre, i dati visivi non possono dire a un robot quanto stia spingendo o se un oggetto stia per scivolare. Mentre i tentativi precedenti di aggiungere sensori tattili ai robot li trattavano spesso come semplici componenti aggiuntivi, DeCAL integra l'informazione tattile come parte fondamentale del suo processo di pensiero. Il sistema utilizza sensori ad alta risoluzione su ogni polpastrello che possono rilevare la forma della superficie di un oggetto mentre si deforma sotto la pressione, così come le forze precise applicate. Ciò consente al robot di "sentire" il mondo in un modo che è ricco e dettagliato quanto ciò che vede.

Ciò che rende DeCAL davvero unico è come elabora queste informazioni. Invece di reagire semplicemente a ciò che vede o sente nel momento presente, il sistema è addestrato a immaginare cosa accadrà dopo. Opera con tre capacità distinte ma connesse. Primo, comprende la situazione attuale guardando la scena visiva, leggendo un'istruzione linguistica e sentendo i punti di contatto. Secondo, si impegna in una forma di "co-immaginazione", in cui prevede come la scena visiva e le sensazioni tattili evolveranno nei secondi successivi. In sostanza si chiede: "Se svito il tappo ora, come cambierà la forza e che aspetto avrà l'oggetto un momento dopo?". Infine, utilizza questo futuro immaginato per decidere i movimenti precisi necessari per completare il compito. Questo approccio orientato al futuro permette al robot di pianificare le sue azioni basandosi sulla fisica dell'interazione, piuttosto che limitarsi a indovinare in base a schemi passati.

Per far sì che ciò funzioni, i ricercatori hanno sviluppato un metodo speciale per decidere quando fidarsi del senso del tatto. In molti compiti, un robot potrebbe muoversi nell'aria dove il tatto è irrilevante, per poi entrare improvvisamente in contatto con un oggetto. Se il robot prestasse la stessa attenzione ai segnali tattili in ogni momento, sarebbe confuso dal rumore dell'aria o dalla mancanza di contatto. DeCAL utilizza un meccano di gating intelligente che agisce come una manopola del volume per il senso del tatto. Quando il robot non sta toccando nulla, il sistema abbassa il volume sui segnali tattili, affidandosi principalmente alla visione. Nel momento in cui viene effettuato il contatto, il sistema alza istantaneamente il volume, permettendo ai dati tattili di guidare il movimento con alta precisionità. Questo aggiustamento dinamico assicura che il robot utilizzi il senso giusto al momento giusto, evitando che gli input sensoriali entrino in conflitto tra loro.

Il sistema è stato messo alla prova in una serie di esperimenti rigorosi che coinvolgevano una coppia di bracci robotici dotati di mani a ventidue dita. I ricercatori hanno assegnato al robot sei attività diverse: pulire un vaso, cancellare una lavagna, assemblare parti, svitare un tappo, pipettare un liquido e avvitare una lampadina. Questi compiti sono stati scelti perché richiedono tutti un controllo fine e un contatto fisico costante. Il robot è stato confrontato con diversi altri modelli all'avanguardia, inclusi quelli che si affidavano solo alla visione e altri che utilizzavano il tatto ma mancavano della capacità di immaginare stati futuri. I risultati sono stati chiari: DeCAL è riuscito a completare i compiti molto più spesso di qualsiasi altro sistema. Ad esempio, nel compito di avvitare una lampadina, dove la visione è spesso bloccata dalla mano e il compito richiede una coppia precisa, DeCAL ha avuto successo il 40 percento delle volte, mentre il secondo miglior modello è riuscito solo al 35 percento. Nel compito di pulire un vaso, DeCAL ha raggiunto un tasso di successo del 100 percento, mentre il miglior modello concorrente basato solo sulla visione ha avuto successo solo il 30 percento delle volte.

Forse ancora più impressionante era la capacità del sistema di gestire situazioni che non aveva mai visto prima. I ricercatori hanno testato DeCAL in ambienti con sfondi diversi, ingombrati da oggetti casuali, sotto luce soffusa e con oggetti completamente nuovi che avevano forme e dimensioni differenti. In questi scenari "out-of-distribution", dove il robot non poteva fare affidamento su schemi memorizzati, DeCAL ha continuato a performare con forza. Quando gli è stato chiesto di svitare un tappo su una tazza nuova e non vista, il sistema ha avuto successo nel 75 percento dei casi, superando significativamente i suoi concorrenti. Ciò suggerisce che il robot non sta solo memorizzando un set specifico di movimenti, ma sta effettivamente imparando i principi fisici sottostanti di come gli oggetti interagiscono, permettendogli di adattarsi alle nuove sfide al volo.

I ricercatori hanno anche esaminato attentamente come il sistema abbia imparato a prevedere il futuro. Analizzando le previsioni interne del robot, hanno scoperto che esso poteva prevedere accuratamente le forze e le deformazioni che si sarebbero verificate durante un'interazione. Quando il robot prevedeva quanta forza sarebbe stata necessaria per svitare un tappo o come una superficie morbida si sarebbe deformata, queste previsioni si allineavano strettamente con la realtà fisica effettiva. Questa capacità di simulare internamente la fisica del mondo è ciò che conferisce al robot il suo "senso comune". Permette al sistema di capire che se spinge troppo forte, l'oggetto potrebbe scivolare, o se gira troppo lentamente, il compito richiederà troppo tempo. Questa conoscenza implicita della fisica, derivata dalla combinazione di vista e tatto, è ciò che consente al robot di agire con tale fluidità e fiducia.

Nonostante questi successi, gli autori sottolineano con cautela i limiti del loro lavoro. Il sistema dipende fortemente dall'accuratezza dei suoi sensori tattili e, se questi sensori diventassero rumorosi o mal calibrati, le prestazioni del robot potrebbero degradare. Inoltre, l'attuale configurazione richiede che un operatore umano dimostri i compiti utilizzando un sistema di teleoperazione, che non fornisce all'operatore un senso del tatto. Ciò significa che i dati di addestramento potrebbero non catturare perfettamente i sottili aggiustamenti che un essere umano farebbe se potesse sentire l'oggetto stesso. I ricercatori evidenziano inoltre che il loro modello non è ancora stato addestrato su una scala massiccia di dati tattili diversificati, suggerendo che miglioramenti futuri potrebbero derivare dall'esporre il sistema a una varietà ancora più ampia di interazioni fisiche.

Il lavoro rappresenta un cambiamento nel modo in cui pensiamo all'intelligenza robotica. Piuttosto che costruire robot che siano semplicemente più veloci o più forti, questo approccio si concentra sulla costruzione di macchine che possano comprendere il mondo fisico come un luogo dinamico e interattivo. Dotando il robot della capacità di immaginare le conseguenze delle sue azioni e di adattare i suoi sensi alla situazione, i ricercatori hanno creato un sistema che sembra meno una macchina che segue uno script e più un agente capace di una genuina interazione. Man mano che la tecnologia matura, la speranza è che questi sistemi possano eventualmente eseguire i complessi compiti ricchi di contatto che definiscono gran parte della vita umana, dal cucinare e pulire al prendersi cura degli anziani, con una destrezza che corrisponda alla nostra. La strada da seguire consiste nel perfezionare questi sensori, espandere i dati di addestramento e continuare a colmare il divario tra vedere, sentire e fare.