Adversarial robustness and confidence miscalibration in emotion-based HRI systems
Questo articolo dimostra che i sistemi di riconoscimento delle emozioni facciali per la robotica, pur raggiungendo un'elevata accuratezza su set di dati puliti, soffrono di una miscalibrazione della fiducia catastrofica e strutturalmente non calibrabile sotto attacchi avversari, rendendoli fondamentalmente insicuri per il controllo fisico nonostante appaiano altamente sicuri.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate un robot progettato per aiutare le persone, magari in un ospedale o in una scuola, che dovrebbe essere in grado di comprendere i sentimenti umani osservando i volti. Se il robot vede un sorriso, potrebbe offrire un saluto allegro; se vede un broncio, potrebbe offrire conforto. Questa capacità di leggere le emozioni è un pilcolo della moderna robotica sociale, che si basa su programmi informatici addestrati per riconoscere le espressioni facciali. Affinché queste macchine siano sicure e utili, i loro creatori devono avere la certezza che l'interpretazione del robot di un volto sia corretta. Se il robot scambia un volto neutro per uno arrabbiato, potrebbe reagire con eccessiva cautela o aggressività, causando potenzialmente danni o stress. La domanda fondamentale per gli ingegneri non è solo se il robot sia in grado di riconoscere le emozioni con precisiono in un ambiente perfetto e controllato, ma se possa essere considerato affidabile nel prendere decisioni quando il mondo è caotico o quando qualcuno cerca di ingannarlo.
Un team di ricercatori si è posto l'obiettivo di testare esattamente questa affidabilità. Hanno esaminato cinque diversi sistemi informatici progettati per riconoscere cinque emozioni di base: rabbia, felicità, tristezza, sorpresa e uno stato neutro. Questi sistemi sono stati sottoposti a una serie di test rigorosi per vedere come si comportassero quando le immagini ricevute erano leggermente sfocate, poco illuminate o coperte da rumore digitale. Ancora più importante, i ricercatori hanno sottoposto i sistemi a un tipo specifico di inganno digitale noto come attacco avversario. In questo scenario, un programma informatico apporta piccole modifiche, quasi invisibili, a una foto di un volto — modifiche così piccole che l'occhio umano non noterebbe mai — ma queste modifiche sono calcolate per confondere completamente il robot. L'obiettivo era vedere se il robot sarebbe ancora riuscito a riconoscere l'emozione correttamente e, soprattutto, se il robot si sarebbe reso conto di essere confuso.
I risultati sono stati netti e hanno rivelato un grave difetto nel modo in cui questi sistemi sono attualmente costruiti. Quando i ricercatori hanno introdotto anche la minima quantità di inganno digitale, la capacità dei robot di riconoscere le emozioni è crollata. Sistemi che prima erano corretti il 76 percento delle volte in condizioni pulite sono scesi a una precisione vicina allo zero. Iniziarono a indovinare in modo selvaggio, identificando spesso un volto felice come arrabbiato o un volto triste come sorpreso. La scoperta più allarmante, tuttavia, non è stata che i robot commettevano errori, ma che erano completamente ignari dei propri errori. Persino quando venivano ingannati nel vedere l'emozione sbagliata, rimanevano incredibilmente sicuri delle loro risposte errate. Infatti, i programmi informatici riportavano di essere sicuri quasi al 96 percento delle loro ipotesi errate.
Questa scoperta mette in discussione una comune strategia di sicurezza utilizzata nella robotica. Gli ingegneri spesso programmano i robot affinché ignorino una previsione se il punteggio di confidenza del computer è troppo basso, assumendo che un punteggio basso significhi che il robot non è sicuro e debba attendere una lettura migliore. I ricercatori hanno scoperto che questa rete di sicurezza è inutile contro questi trucchi digitali. Poiché i robot rimanevano così sicuri anche quando sbagliavano, il cancello di sicurezza non si chiudeva mai. I robot procedevano ad agire sulle loro false convinzioni con totale certezza. Il team ha dimostrato matematicamente che semplicemente regolando le impostazioni interne del computer per renderlo più cauto non si sarebbe risolto il problema. Il modo in cui questi sistemi calcolano la fiducia è strutturalmente incapace di distinguere tra un vero volto e uno ingannato quando l'inganno è abbastanza forte.
I ricercatori hanno concluso che affidarsi a un singolo scatto di un volto e al punteggio di confidenza del computer non è sufficiente per rendere sicuro un robot. Hanno dimostrato che la capacità di un robot di riconoscere un'emozione e la sua capacità di agire in sicurezza su quell'emozione sono due cose diverse. Un sistema può essere molto bravo a riconoscere i volti in un laboratorio, ma può essere pericolosamente fragile nel mondo reale. Per costruire robot veramente sicuri, i ricercatori sostengono che abbiamo bisogno di un nuovo livello di verifica. Inveve di lasciare che il robot agisca immediatamente dopo aver visto un volto, il sistema dovrebbe verificare la previsione rispetto ad altre prove, come quanto a lungo è durata l'espressione o se gli altri sensori del robot concordano con l'input visivo. Finché tali salvaguardie non saranno in atto, i robot che si affidano alla lettura dei nostri volti potrebbero essere più propensi a fraintendere che a capirci, specialmente di fronte al minimo tentativo di inganno.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.