ERR@HRI 3.0 Challenge: Multimodal Detection of Errors and Anticipation in Human-Robot Interactions

Immaginate di guardare un robot che cerca di preparare un sandwich. A volte il robot fa cadere il pane. A volte prova a mettere il tostapane in frigorifero. In passato, gli scienziati hanno cercato di insegnare ai robot a notare questi errori fornendo loro una lista di controllo di "caratteristiche" (come "il pane è per terra?") e chiedendo loro di osservare dati che erano già stati puliti e organizzati. Ma gli autori di questo articolo dicono: "Aspettate un attimo! Questo è come cercare di imparare ad andare in bicicletta guardando un diagramma di una bicicletta in uno studio perfettamente illuminato. La vita reale è disordinata!"

Questo articolo presenta ERR@HRI 3.0, una sfida progettata per aiutare i robot a diventare più bravi a individuare i propri passi falsi — e persino a intuirli prima che accadano — osservando le reazioni umane reali e disordinate.

Le due grandi missioni

La sfida ha dato ai ricercatori due diversi "livelli di videogiooco" da risolvere, utilizzando filmati grezzi di webcam di persone che guardano robot (e umani) fallire.

Livello 1: Il rilevatore di "Oops!" (Il dataset BAD)
Immaginate 45 persone sedute davanti a uno schermo, che guardano video in cui un robot o un essere umano commette un errore. L'obiettivo qui è reattivo: può un computer guardare il volto della persona dopo che l'errore è avvenuto e dire: "Oh, hanno appena visto un fallimento!"?

• L'ostacolo: I video sono grezzi. La luce cambia, gli angoli della telecamera sono stravaganti e le persone sono sedute in posizioni diverse. È il mondo reale, non un laboratorio.
• I dati: C'erano 46 diversi scenari di fallimento e 1.645 clip video in totale. Le clip durano circa 15,5 secondi.
• Il risultato: La sfida ha visto la partecipazione di 3 team che hanno presentato dei modelli. Tutti loro sono andati meglio del modello "baseline" dell'articolo stesso (che era essenzialmente una rete neurale standard che faceva del suo meglio). Il modello baseline ha ottenuto un macro F1 di 0,502 (un punteggio specifico per quanto bene bilanciava il rilevamento sia dei fallimenti che dei non-fallimenti, piuttosto che una semplice percentuale di accuratezza), ma i nuovi modelli sono riusciti a batterlo.

Livello 2: Il predittore di "Aspetta, questa è una cattiva idea!" (Il dataset Bad Idea)
Questa è la parte più interessante e subdola. Immaginate 29 persone che guardano un video di un robot che inizia a fare qualcosa, ma il video si interrompe prima di vedere se riesce o fallisce. Le persone devono indovinare: "Andrà bene o male?".

• L'obiettivo: Può un computer guardare il volto della persona mentre sta indovinando e capire cosa pensa che accadrà? Questo è anticipatorio. Si tratta di cogliere l'espressione di "oh no" prima del disastro.
• I dati: C'erano 30 scenari e 865 clip. Queste clip sono super brevi, circa 1,95 secondi.
• Il risultato: Anche qui, i 3 team che hanno giocato a questo livello hanno battuto il baseline. Il modello baseline aveva un punteggio AUC-ROC di 0,564 (una misura di quanto sia bravo nel distinguere tra una scommessa "buona" e una "cattiva", dove 0,5 equivale a un indovinare casuale), dimostrando che prevedere il futuro basandosi su un'espressione facciale di un secondo è davvero, davvero difficile.

Cosa l'articolo dice "No" a

Gli autori sono molto chiari su ciò che non funziona bene per questo problema, e hanno esplicitamente escluso i vecchi modi di procedere:

1. Niente "Dati Pre-Puliti": L'articolo nota che la maggior parte del lavoro precedente si basava su caratteristiche pre-estratte, il che limitava i tipi di metodi che i ricercatori potevano utilizzare. Per risolvere questo, la sfida ha rilasciato video grezzi. Questa scelta di design non era per vietare l'ingegneria delle caratteristiche, ma per consentire ai ricercatori di applicare metodi di apprendimento end-to-end moderni direttamente sui pixel e vedere se potevano gestire la confusione della vita reale meglio dei vecchi approcci.
2. Niente "Ambienti da Laboratorio Perfetto": Hanno rifiutato l'idea che i robot debbano imparare solo in stanze controllate con illuminazione perfetta. Volevano il disordine dei dati crowdsourced reali (telecamere diverse, angoli strani) perché è ciò che i robot affronteranno realmente nel mondo reale.
3. Nzione di "Solo Reagire": Hanno sostenuto che aspettare che un errore avvenga per poi correggerlo è troppo tardi. Hanno spinto per l'anticipazione — capire che qualcosa non va prima che accada completamente.

Quanto sono sicuri?

L'articolo non sostiene di aver risolto per sempre il problema della sicurezza dei robot. Inveve, suggeriscono che i loro nuovi dataset e metodi siano un migliore punto di partenza.

• Hanno misurato i risultati utilizzando punteggi matematici specifici (come macro F1 e AUC-ROC) su un set di test che i team non avevano mai visto prima.
• Hanno scoperto che, sebbene i nuovi modelli fossero migliori dei vecchi baseline, il compito di "anticipazione" (Livello 2) è ancora complicato. Il baseline ha impiegato il 35,6% del tempo della clip per iniziare a rilevare il segnale, rispetto all'8,8% per il compito reattivo. Ciò suggerisce che leggere un volto che comunica una "cattiva idea" è molto più difficile che leggere un volto che dice "ops".
• Gli autori affermano che tre team hanno presentato modelli validi e che tutti hanno superato i baseline. Non dicono che i modelli siano perfetti, ma che sono un passo avanti.

Il messaggio chiave

Pensate a questo articolo come agli organizzatori di una fiera scientifica che hanno detto: "Smettetela di costruire robot che funzionano solo in una scatola di vetro. Vediamo se riescono a gestire il caos di un vero salotto". Hanno fornito due nuovi set di video reali e disordinosi e hanno sfidato i programmatori più brillanti a costruire modelli che possano individuare l'errore di un robot o prevedere un disastro prima che accada. I risultati mostrano che, sebbene sia possibile fare meglio dei vecchi metodi, la capacità di usare la "palla di cristallo" per prevedere gli errori è ancora un lavoro in corso. Gli autori sperano che questi strumenti possano aiutare a costruire robot che siano più consapevoli, più affidabili e pronti per la realtà disordinata della vita umana.