Adaptive Cost-Sensitive Machine Learning for Autonomous Robot Navigation Failure Prediction: When Not All Errors Are Equal

I robot autonomi stanno diventando presenze comuni nei magazzini, negli ospedali e persino nelle strade cittadine, con il compito di spostarsi da un punto all'altro senza l'aiuto umano. Per farlo, si affidano a un complesso mix di sensori e software che costruisce una mappa del mondo e pianifica un percorso attraverso di esso. Per anni, l'obiettivo primario dei ricercatori è stato quello di rendere queste macchine più veloci e precise. Tuttavia, è emerso un problema di tipo diverso: come possiamo sapere se un robot sta per commetre un errore pericoloso prima che accada? Nel mondo della sicurezza, non tutti gli errori sono uguali. Un robot che sbaglia leggermente il suo percorso previsto è un fastidio, ma un robot che si scontra con una persona o un muro è una catastrofe. I programmi informatici tradizionali spesso trattano questi due esiti semplicemente come "errori", non riuscendo a distinguere tra un piccolo inconveniente e un evento che mette a rischio la vita. Questo divario di comprensione ha portato i ricercatori a porsi una domanda più urgente: possiamo insegnare ai robot di prevedere i propri fallimenti e, cosa ancora più importante, possiamo insegnare loro a dare più importanza ai fallimenti che contano di più?

Rifa Ferzana, una ricercatrice dell'Università di Edimburgo, ha affrontato questa sfida ripensando al modo in cui i robot imparano ad anticipare il pericolo. Invece di chiedere a un robot di prevedere semplicemente se fallirà, il nuovo approccio chiede al robot di prevedere la gravità di quel fallimento. Immaginate un robot che naviga in una stanza piena di ostacoli. Se devia leggermente dal percorso, spreca un po' di tempo. Se si avvicina troppo a un muro, rischia un urto. Se colpisce un muro a velocità sostenuta, causa danni. Il lavoro di Ferzana costruisce un sistema in cui il robot viene addestrato a riconoscere che questi tre scenari hanno pesi vastamente differenti. La ricerca si allontana da un semplice test "passa o fallisci" e crea invece un ambiente di addestramento in cui il robot impara che mancare un quasi-incidente è molto più costoso che mancare una piccola deviazione di percorso.

Per testare questa idea, la ricercatrice ha creato un mondo virtuale in cui un piccolo robot con ruote doveva navigare in un'arena di venti per venti metri piena di otto ostacoli circolari posizionati casualmente. Al robot sono stati dati un obiettivo e un insieme di sensori per vedere l'ambiente circostante, proprio come un'auto con un conducente. Il team ha generato duemila viaggi separati, o episodi, da completare per il robot, per un totale di circa un milione di momenti di movimento. In questo mondo simulato, il robot è stato esposto a varie condizioni, come sensori rumorosi che fornivano letture confuse o cambiamenti improvvisi nei suoi stessi comandi di movimento. L'obiettivo non era solo vedere se il robot potesse completare il viaggio, ma vedere se un programma informatico potesse guardare lo stato attuale del robot e prevedere se fosse sul punto di commettere un errore serio.

Il cuore della scoperta risiede nel modo in cui il programma informatico impara. Nell'addestramento standard, un computer osserva migliaia di esempi e cerca di ottenere la risposta corretta il più spesso possibile. Se commette un errore, riceve una penalità. In questo nuovo sistema, la penalità non è la stessa per ogni errore. Quando il robot commetteva un errore minore, la penalità era piccola. Quando commetteva un quasi-incidente, la penalità era cinque volte più grande. Quando era sulla soglia di una collisione, la penalità era venticinque volte più grande. Questo semplice cambiamento nel modo in cui il computer viene istruito lo ha costretto a prestare molta più attenzione alle situazioni pericolose. I risultati sono stati sorprendenti. Quando i ricercatori hanno utilizzato questo addestramento "sensibile ai costi", la capacità del sistema di individuare i fallimenti ad alta gravità è passata dal rilevare circa l'ottantacinque per cento a quasi il novantanove per cento.

Lo studio è andato un passo oltre aggiungendo uno strato di contesto. I ricercatori si sono resi conto che un quasi-incidente non è sempre ugualmente pericoloso. Un approccio lento verso un muro con sensori chiari è meno rischioso di un approccio veloce con sensori confusi. Per tenere conto di ciò, il sistema è stato aggiornato per regolare la sua allerta in base alla velocità del robot, alla vicinanza agli ostacoli e all'incertezza dei suoi sensori. Se il robot si muoveva velocemente o i sensori stavano faticando, il sistema diventava automaticamente più conservativo, suonando l'allarme più facilmente. Questo approccio adattivo ha spinto il tasso di rilevamento ancora più in alto, catturando quasi ogni singolo evento ad alta gravità nella simulazione.

Tuttavia, i ricercatori sono stati attenti a essere onesti riguardo ai compromessi. Rendendo il sistema così sensibile al pericolo, esso ha iniziato anche a suonare l'allarme più spesso quando non c'era un vero pericolo. Questo è noto come falso allarme. Lo studio ha scoperto che, sebbene il sistema adattivo fosse eccellente nel catturare quasi ogni incidente, lo faceva segnalando molti momenti sicuri come rischiosi. Quando i ricercatori hanno confrontato i sistemi sotto le stesse condizioni, il metodo adattivo era solo leggermente migliore nel distinguere tra pericolo reale e sicurezza rispetto al metodo più semplice. Il vantaggio principale non era che il sistema fosse diventato più intelligente nel classificare i rischi, ma che era disposto a essere più cauto. Ha scelto di suonare l'allarme più spesso per garantire che nessun evento pericoloso venisse tralasciato.

Per garantire che queste scoperte non fossero solo il risultato della simulazione al computer, il team ha testato il loro metodo su dati reali provenienti da un robot utilizzato in studi precedenti. Questo robot, dotato di ventiquattro sensori a ultrasuoni, aveva il compito di seguire un muro. Anche se questo robot non era progettato per scontrarsi, i ricercatori hanno mappato i suoi movimenti sulla loro scala di gravità. I risultati si sono confermati: l'addestramento sensibile ai costi ha permesso al sistema di rilevare le manovre di emergenza con precisione perfetta, un miglioramento significativo rispetto ai metodi standard. Ciò ha confermato che l'approccio funziona non solo in un mondo virtuale, ma anche con dati provenienti da macchine reali.

Lo studio ha anche esplorato cosa succede quando un robot effettivamente si scontra. Nella simulazione principale, i controlli di sicurezza del robot erano così buoni che non ha mai colpito nulla. Per testare la capacità del sistema di prevedere collisioni reali, i ricercatori hanno creato una seconda simulazione, più difficile, in cui il robot aveva maggiori probabilità di colpire gli ostacoli. In questo ambiente più ostile, la capacità del sistema di prevedere una collisione è migliorata dall'ottantacinque per cento a quasi il novantanove per cento. Il costo di mancare una collisione è sceso drasticamente, da mille unità di potenziale danno a sole cento unità. Ciò ha dimostrato che il metodo è efficace anche per il tipo più grave di fallimento, sebbene sia arrivato con un alto tasso di falsi allarmi, segnalando quasi l'ottanta per cento dei momenti sicuri come rischiosi.

I ricercatori hanno concluso che l'aspetto più prezioso di questo lavoro non sono solo i numeri, ma il cambio di prospettiva. Hanno sostenuto che la comunità della robotica deve smettere di trattare tutti gli errori come uguali. Un sistema che è accurato al novantanove per cento ma che manca l'unico incidente che distrugge un robot è un fallimento in un mondo critico per la sicurezza. Insegnando alle macchine a pesare i propri errori in base alle loro conseguenze, possiamo costruire sistemi che diano priorità alla sicurezza umana e alla protezione delle attrezzature rispetto alla semplice efficienza. Lo studio suggerisce che questo approccio fornisce un modo fondato per decidere quanto un robot debba essere cauto, permettendo agli ingegneri di regolare il livello di sicurezza a seconda dell'ambiente. Sebbene il sistema richieda il compromesso di falsi allarmi più frequenti, i ricercatori sostengono che in situazioni in cui uno scontro è catastrofico, questo è un prezzo che vale la pena pagare. Il lavoro si pone come una dimostrazione che, con l'addestramento giusto, le macchine possono imparare a capire che non tutti gli errori sono uguali.