HUI360: A 360{\deg} Egocentric Dataset and Baselines for Human-Robot Interaction Anticipation

Immaginate di camminare in un parco affollato e che un robot amichevole vi si avvicini rotolando. Si ferma ad aspettare che dciateate "ciao", o indovina che state arrivando e vi saluta con la mano prima ancora che siate vicini? Questo è il cuore di un campo chiamato Interazione Uomo-Robot (HRI). È la scienza dell'insegnare alle macchine a capirci, non solo come oggetti in movimento, ma come persone con delle intenzioni. Una parte fondamentale di questo è l'"anticipazione": la capacità di prevedere cosa farà un essere umano dopo. Pensatelo come un partner di danza che conosce il passo successivo prima ancora che la musica cambi. Se un robot può anticipare che volete fare due chiacchiere, può essere più utile e meno goffo. Ma per imparare questa danza, un robot ha bisogno di fare pratica. E per fare pratica bene, ha bisogno di una biblioteca massiccia di esempi reali, non solo di scene provate in uno studio.

Questo è esattamente ciò che i ricercatori dietro il paper "HUI360" hanno cercato di costruire. Hanno creato una gigantesca libreria di dati video open-source chiamata HUI360, che è attualmente il dataset più grande del suo genere per insegnare ai robot come indovinare quando gli esseri umani vogliono interagire con loro. Invece di usare attori in un laboratorio controllato, hanno mandato un robot mobile nel "mondo reale": nove diverse località reali come caffetterie, corridoi e piazze pubbliche, per diversi mesi. Il robot, indossando una telecamera a 360 gradi come una lente fish-eye, ha osservato migliaia di persone passare. Alcune lo ignoravano; altre si fermavano per prendere degli adesivi, buttare la spazzatura o prendere del cibo. Il team ha utilizzato strumenti intelligenti di computer vision per tracciare automaticamente ogni persona, mappare i movimenti del corpo e segnalare l'istante esatto in cui qualcuno ha toccato fisicamente il robot. Hanno persino pulito i dati a mano per correggere eventuali errori, assicurandosi che le "lezioni" che il robot apprende siano accurate.

Il paper introduce anche un insieme di "baseline", che sono come i primi test di pratica del robot. Hanno addestrato dei cervelli informatici semplici (usando metodi come Random Forests e LSTM) per osservare il movimento di una persona e indovinare se sta per interagire. I risultati suggeriscono che questi modelli possono diventare piuttosto bravi nel compito, specialmente quando utilizzano mappe corporee dettagliate (come punti chiave di viso e mani) per formulare le loro ipotesi. Tuttavia, il paper evidenzia anche una realtà complicata: quando un modello viene testato in un ambiente completamente nuovo che non ha mai visto prima, o quando il robot stesso cambia (come sostituire un robot-cestino con un robot di servizio), la previsione diventa un po' più incerta. È come uno studente che ha superato un test di matematica in un'aula, ma inciampa quando l'insegnante si sposta in un'altra stanza. Gli autori dimostrano che, sebbene gli attuali metodi funzionino, devono migliorare molto nella capacità di adattarsi a nuovi luoghi e nuovi corpi robotici per essere davvero utili nel mondo reale.

Fondamentalmente, il paper traccia una linea netta per definire cosa sia un' "interazione". I ricercatori hanno deciso di ignorare le cose complicate, come quando qualcuno fissa semplicemente il robot per curiosità o gli sorride. Quei momenti sono troppo soggettivi e difficili da concordare. Invece, si sono concentrati solo sulle interazioni fisiche — quando una persona tocca effettivamente il robot, lancia qualcosa nel suo contenitore o preleva un oggetto da esso. Questo rende i dati oggettivi e facili da verificare. Sostengono che, sebbene vorremmo che i robot potessero leggere nel pensiero o comprendere sguardi sottili, iniziare con azioni fisiche chiare è l'unico modo per costruire una base affidabile per l'apprendimento.

Quindi, cosa hanno scoperto? Il dataset HUI360, che contiene oltre 1 milione di annotazioni di persone e dei loro movimenti, dimostra che i robot possono imparare ad anticipare le interazioni fisiche con una precisione sorprendente. I modelli testati potevano prevedere un'interazione un secondo o due prima che accadesse, tempo sufficiente affinché un robot possa girare la testa o prepararsi per un saluto. Ma il paper suggerisce anche che questo è solo l'inizio. I modelli faticano quando l'ambiente cambia drasticamente, indicando che i futuri robot dovranno essere molto più flessibili per gestire il caos del mondo reale. Rilasciando questo enorme dataset e gli strumenti per crearlo, gli autori stanno consegnando le chiavi al resto della comunità scientifica, invitando tutti a costruire robot migliori, più consapevoli socialmente, che possano finalmente imparare a danzare con noi nel mondo reale.