Adversarial robustness and confidence miscalibration in emotion-based HRI systems
Dit artikel toont aan dat gezichtsuitdrukkingherkenningssystemen voor robotica, hoewel ze een hoge nauwkeurigheid behalen op schone datasets, onder aanvallen van buitenaf lijden aan catastrofale en structureel onkalibreerbare onzekerheidsmiscalibratie, wat hen fundamenteel onveilig maakt voor fysieke besturing ondanks het feit dat ze zeer zelfverzekerd lijken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een robot voor die is ontworpen om mensen te helpen, bijvoorbeeld in een ziekenhuis of op een school, die bedoeld is om menselijke gevoelens te begrijpen door naar gezichten te kijken. Als de robot een glimlach ziet, kan hij een vrolijke groet aanbieden; als hij een frons ziet, kan hij troost bieden. Dit vermogen om emoties te lezen is een hoeksteen van de moderne sociale robotica, gebaseerd op computerprogramma's die zijn getraind om gezichtsuitdrukkingen te herkennen. Om deze machines veilig en nuttig te laten zijn, moeten hun makers erop kunnen vertrouwen dat de interpretatie van de robot van een gezicht correct is. Als de robot een neutraal gezicht als boos interpreteert, kan hij met onnodige voorzichtigheid of agressie reageren, wat potentieel schade of stress kan veroorzaken. De kernvraag voor ingenieurs is niet alleen of de robot emoties accuraat kan herkennen in een perfecte, gecontroleerde omgeving, maar of hij erop kan worden vertrouwd om beslissingen te nemen wanneer de wereld chaotisch is of wanneer iemand hem probeert te misleiden.
Een team van onderzoekers zette zich af om precies dit vertrouwen te testen. Ze onderzochten vijf verschillende computersystemen die ontworpen zijn om vijf basisemoties te herkennen: boosheid, geluk, verdriet, verrassing en een neutrale staat. Deze systemen werden onderworpen aan een reeks rigoureuze tests om te zien hoe ze presteerden wanneer de afbeeldingen die ze ontvingen licht wazig, zwak verlicht of bedekt waren met digitale ruis. Belangrijker nog, de onderzoekers onderwierpen de systemen aan een specifiek type digitale listigheid die bekend staat als een adversarial attack. In dit scenario maakt een computerprogramma minuscule, bijna onzichtbare wijzigingen aan een foto van een gezicht—wijzigingen zo klein dat het menselijk oog ze nooit zou opmerken—maar deze wijzigingen zijn berekend om de robot volledig in de war te brengen. Het doel was om te zien of de robot de emotie nog steeds correct zou herkennen, en cruciaal, of de robot zou weten dat hij in de war was.
De resultaten waren schokkend en onthulden een ernstig gebrek in de manier waarop deze systemen momenteel zijn gebouwd. Wanneer de onderzoekers zelfs de kleinste hoeveelheid digitale listigheid introduceerden, stortte het vermogen van de robots om emoties te herkennen in. Systemen die voorheen 76 procent van de tijd correct waren onder zuivere omstandigheden, daalden naar een nauwelwel nul procent nauwkeurigheid. Ze begonnen willekeurig te gokken, waarbij ze vaak een blij gezicht als boos identificeerden of een verdrietig gezicht als verrast. De meest alarmerende ontdekking was echter niet dat de robots fouten maakten, maar dat ze zich volledig onbewust waren van hun eigen fouten. Zelfs wanneer de robots erdoor werden misleid dat ze de verkeerde emotie zagen, bleven ze ongelooflijk zelfverzekerd over hun onjuiste antwoorden. Sterker nog, de computerprogramma's rapporteerden bijna 96 procent zeker te zijn van hun onjuiste gokken.
Deze bevinding daagt een veelgebruikte veiligheidsstrategie in de robotica uit. Ingenieurs programmeren robots vaak om een voorspelling te negeren als de betrouwbaarheidsscore van de computer te laag is, uitgaande van het idee dat een lage score betekent dat de robot onzeker is en moet wachten op een betere meting. De onderzoekers vonden dat dit vangnet nutteloos is tegen deze digitale trucs. Omdat de robots zo zelfverzekerd bleven, zelfs wanneer ze het mis hadden, werd de veiligheidspoort nooit gesloten. De robots gingen voort met handelen op basis van hun valse overtuigingen met totale zekerheid. Het team bewees wiskundig dat het simpelweg aanpassen van de interne instellingen van de computer om het systeem voorzichtiger te maken, het probleem niet zou oplossen. De manier waarop deze systemen vertrouwen berekenen, is structureel niet in staat om tussen een echt gezicht en een misleid gezicht te onderscheiden wanneer de misleiding sterk genoeg is.
De onderzoekers concludeerden dat het vertrouwen op een enkele snapshot van een gezicht en de betrouwbaarheidsscore van de computer niet genoeg is om een robot veilig te houden. Ze toonden aan dat het vermogen van een robot om een emotie te herkennen en het vermogen om veilig op die emotie te handelen, twee verschillende dingen zijn. Een systeem kan heel goed zijn in het herkennen van gezichten in een laboratorium, maar nog steeds gevaarlijk fragiel zijn in de echte wereld. Om werkelijk veilige robots te bouwen, betogen de onderzoekers dat we een nieuwe laag van verificatie nodig hebben. In plaats van de robot direct te laten handelen nadat hij een gezicht heeft gezien, zou het systeem de voorspelling moeten controleren tegen ander bewijs, zoals hoe lang de uitdrukking al duurt of of de andere sensoren van de robot overeenkomen met de visuele input. Totdat dergelijke waarborgen aanwezig zijn, kunnen de robots die vertrouwen op het lezen van onze gezichten eerder geneigd zijn ons te misverstaan dan ons te begrijpen, vooral wanneer ze worden geconfronteerd met zelfs de kleinste poging om hen te misleiden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.