Insegnare a un robot come eseguire compiti fisici delicati nel mondo reale è un compito notoriamente difficile. A differenza dei programmi informatici che girano in un vuoto digitale perfetto, le macchine fisiche devono navigare in un ambiente disordinato dove un singolo movimento errato può rompere un componente, danneggiare la macchina o semplicemente farla incastrare. Per imparare come evitare queste insidie, i robot si affidano tradizionalmente all'apprendimento per rinforzo, un processo di tentativi ed errori in cui la macchina prova un'azione, vede cosa succede e regola il proprio comportamento in base a un segnale di ricompensa. Tuttavia, nel mondo fisico, questo processo è lento e pericoloso. Se un robot tenta di inserire una spina in una presa e fallisce, potrebbe incastrare il meccanismo o graffiare la superficie. Inoltre, la "ricompensa" per il successo è spesso rara; il robot potrebbe provare migliaia di volte prima di riuscire accidentalmente a inserire la spina, rendendo il processo di apprendimento incredibilmente inefficiente. Per accelerare le cose, i ricercatori si sono precedentemente rivolti a insegnanti umani, mostrando al robot come eseguire un compito o guidandolo fisicamente quando si incastra. Ma questo approccio ha un grande difetto: richiede che un essere umano sia presente e vigile per ogni singola sessione di addestramento, il che è estenuante, costoso e impossibile da scalare.

Un team di ricercatori ha sviluppato un nuovo sistema chiamato AutoSERL che risolve questo problema insegnando a un robot usando un solo esempio, senza bisogno che un essere umano lo sorvegli successivamente. Il sistema funziona prendendo un singolo esempio registrato di un essere umano che completa con successo un compito e trasformando quella registrazione in un insieme di regole automatiche che guidano l'apprendimento del robot. I ricercatori hanno testato questo sistema su sei diversi compiti difficili, come inserire spine, appendere oggetti a ganci e tirare fuori dei cassetti. In ogni caso, il robot ha imparato a eseguire il compito perfettamente usando solo quell'unico esempio iniziale, superando alla fine i sistemi che sono stati addestrati con venti esempi o quelli che si sono basati su una costante supervisione umana. L'innovazione chiave è che il robot impara a riconoscere quando sta uscendo dalla rotta o si sta incastrando, e si corregge automaticamente facendo riferimento al singolo esempio, sostituendo efficacementmente la necessità di un insegnante umano.

La sfida centrale che i ricercatori hanno affrontato era come mantenere un robot al sicuro e sulla strada giusta senza un essere umano che lo osservasse costantemente. Nei metodi precedenti, un essere umano interveniva ogni volta che il robot commetteva un errore, spostandolo fisicamente in una posizione sicura o guidandolo verso l'obiettivo. Questo approccio "human-in-the-loop" (con l'uomo nel ciclo) funzionava bene ma non era pratico per l'addestramento a lungo termine. Il nuovo sistema, AutoSERL, automatizza questo processo di intervento. Esso parte da una singola traiettoria di dimostrazione, che è semplicemente una registrazione del movimento della mano del robot dal via al termine di un compito. Da questa singola registrazione, il sistema estrae tre meccanismi specifici per guidare il robot mentre impara.

Il primo meccanismo è una finestra scorrevole che agisce come un binario guida mobile. Mentre il robot tenta il compito, il sistema confronta costantemente la posizione attuale del robot con il percorso mostrato nella singola dimostrazione. Se il robot si allontana troppo dalla rotta corretta, il sistema lo spinge delicatamente verso il punto più vicino della linea di dimostrazione. Fondamentalmente, questa guida tira il robot solo in avanti lungo il percorso; non lo tira mai all'indietro verso un punto che ha già visitato. Ciò impedisce al robot di incastrarsi in un loop, oscillando avanti e indietro nello stesso punto, che è un comune modo di fallimento quando i robot cercano di imparare compiti difficili da soli. Poiché la dimostrazione originale è stata registrata in sicurezza, seguire il suo percorso assicura anche che il robot eviti di colpire ostacoli nell'ambiente.

Il secondo meccanismo gestisce le situazioni in cui il robot si incastra fisicamente, forse perché un componente è bloccato o il robot tiene un oggetto con un'angolazione scomoda. Il sistema monitora il progresso del robot e può rilevare se si è fermato o se sta faticando nell'interagire con un oggetto. Quando ciò accade, il sistema guida automaticamente il robot verso un punto di recupero specifico e sicuro definito nella dimostrazione originale. Da lì, riproduce il segmento della dimostrazione che mostra come muoversi con successo da quel punto sicuro alla fase successiva del compito. Ciò consente al robot di uscire da uno stallo istantaneamente, senza aspettare che un essere umano si accorga del problema e intervenga.

Il terzo meccanismo è una regola per sapere quando smettere di aiutare. L'obiettivo dell'addestramento è che il robot finisca per imparare il compito da solo, quindi il sistema è progettato per disattivare la guida automatica una volta che il robot ha imparato abbastanza. Il sistema conta quante volte deve intervenire durante una sessione di addestramento. Se il robot completa il compito con successo con pochissimi interventi, il sistema assume che il robot abbia appreso la competenza e disabilita ogni ulteriore guida. Ciò consente al robot di esplorare e perfezionare i propri movimenti senza essere vincolato dalla dimostrazione, assicurando che sviluppi una politica robusta e indipendente.

I ricercatori hanno testato questo framework su due diversi bracci robotici eseguendo sei compiti distinti. Questi compiti sono stati scelti perché richiedono un contatto fisico preciso e hanno pochissimo margine di errore. I compoli includevano l'inserimento di una spina in una presa, l'inserimento di un'unità USB, l'appensione di un correttore a nastro, di un appendiabiti e di un cucchiaio su un gancio, e l'apertura di un cassetto con un gancio. Nei compiti di inserimento, il robot addestrato con AutoSERL usando un solo esempio ha raggiunto un tasso di successo del 100 percento. Confrontato con altri metodi, i risultati sono stati chiari. Un sistema addestrato con venti dimostrazioni non è riuscito a raggiungere lo stesso livello di successo nello stesso tempo. Un sistema che si limitava a copiare i movimenti dell'uomo senza imparare non è riuscito ad adattarsi a piccoli cambiamenti di posizione. Persino un sistema che dipendeva da un intervento umano ogni volta che il robot si incastrava impiegava più tempo per imparare il compito, o richiedeva lo stesso tempo per ottenere risultati comparabili, rispetto al sistema automatizzato.

Lo studio ha anche esaminato quanto bene il robot potesse gestire i cambiamenti nell'ambiente. In un test, i ricercatori hanno spostato di pochi centimetri la posizione di partenza dell'oggetto che il robot doveva inserire. Anche con questo cambiamento, il robot addestrato con AutoSERL ha imparato più velocemente ed è stato più efficace di un robot addestrato senza la guida automatizzata. Ciò suggerisce che il sistema non si limita a memorizzare l'esatto percorso seguito dall'uomo; esso impara la logica sottostante del compito e può adattarsi a nuovi punti di partenza. I ricercatori hanno inoltre scoperto che il sistema è robusto rispetto a diverse condizioni di partenza casuali, ottenendo costantemente alti tassi di successo indipendentemente da come l'addestramento è stato inizializzato.

Sebbene i risultati siano impressionanti, i ricercatori riconoscono che il sistema ha dei limiti. Il meccanismo di recupero si basa sulle informazioni contenute in quella singola dimostrazione. Se un robot incontra una modalità di fallimento che non è mai stata mostrata nella registrazione originale, il sistema potrebbe non sapere come recuperare. Ad esempio, se un robot si incastra in un modo completamente diverso dal compito originale, la guida automatica potrebbe non avere una soluzione. I ricercatori suggeriscono che il lavoro futuro potrebbe prevedere l'uso di molteplici dimostrazioni per creare un sistema di recupero più robusto in grado di gestire una gamma più ampia di errori. Inoltre, l'attuale sistema è progettato per compiti in cui la mano del robot si muove in sei direzioni di libertà, e non è ancora chiaro quanto bene funzionerebbe per azioni più complesse che coinvolgono molte parti mobili.

Nonostante questi limiti, le scoperte rappresentano un passo avanti significativo nel rendere pratico l'apprendimento robotico. Sostituendo la necessità di un insegnante umano con un sistema intelligente e automatizzato che impara da un singolo esempio, i ricercatori hanno dimostrato che i robot possono essere istruiti su compiti fisici difficili in modo efficiente e sicuro. Il sistema riesce a colmare il divario tra la sicurezza della guida umana e l'indipendenza necessaria affinché un robot possa imparare da solo. Nei sei compiti testati, l'approccio automatizzato non solo ha eguagliato le prestazioni dell'addestramento supervisionato da un umano, ma ha spesso superato altri modelli di base automatizzati, dimostrando che una singola dimostrazione ben strutturata è sufficiente per sbloccare il potenziale dell'apprendimento robotico nel mondo reale.