Adversarial robustness and confidence miscalibration in emotion-based HRI systems
Diese Arbeit zeigt auf, dass Gesichtsausdruckserkennungssysteme für die Robotik, obgleich sie eine hohe Genauigkeit bei sauberen Datensätzen erreichen, unter adversen Angriffen eine katastrophale und strukturell nicht kalibrierbare Konfidenz-Fehlkalibrierung erleiden, was sie trotz eines scheinbar hohen Vertrauensgrades fundamental unsicher für die physische Steuerung macht.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen Roboter vor, der dazu bestimmt ist, Menschen zu helfen, vielleicht in einem Krankenhaus oder einer Schule, und der darauf ausgelegt ist, menschliche Gefühle durch das Betrachten von Gesichtern zu verstehen. Wenn der Roboter ein Lächeln sieht, könnte er eine fröhliche Begrüßung anbieten; wenn er ein Stirnrunzeln sieht, könnte er Trost anbieten. Diese Fähigkeit, Emotionen zu lesen, ist ein Eckpfeiler der modernen sozialen Robotik und beruht auf Computerprogrammen, die darauf trainiert sind, Gesichtsausdrücke zu erkennen. Damit diese Maschinen sicher und nützlich sind, müssen ihre Schöpfer darauf vertrauen können, dass die Interpretation eines Gesichts durch den Roboter korrekt ist. Wenn der Roboter ein neutrales Gesicht als wütend missversteht, könnte er mit unnötiger Vorsicht oder Aggression reagieren, was potenziell Schaden oder Stress verursachen kann. Die Kernfrage für Ingenieure ist nicht nur, ob der Roboter Emotionen in einer perfekten, kontrollierten Umgebung korrekt erkennt, sondern ob man ihm vertrauen kann, Entscheidungen zu treffen, wenn die Welt chaotisch ist oder wenn jemand versucht, ihn zu täuschen.
Ein Forschungsteam setzte sich genau das Ziel, diese Vertrauenswürdigkeit zu testen. Es untersuchte fünf verschiedene Computersysteme, die darauf ausgelegt waren, fünf grundlegende Emotionen zu erkennen: Wut, Freude, Traurigkeit, Überraschung und einen neutralen Zustand. Diese Systeme wurden einer Reihe strenger Tests unterzogen, um zu sehen, wie sie abschliefen, wenn die Bilder, die sie erhielten, leicht verschwommen, schwach beleuchtet oder mit digitalem Rauschen überlagert waren. Noch wichtiger war, dass die Forscher die Systeme einem speziellen Typ von digitaler Täuschung aussetzten, bekannt als „Adversarial Attack“ (gegnerischer Angriff). In diesem Szenario nimmt ein Computerprogramm winzige, fast unsichtbare Veränderungen an einem Foto eines Gesichts vor – Veränderungen, die so geringfügig sind, dass ein menschliches Auge sie niemals bemerken würde –, aber diese Veränderungen sind so berechnet, dass sie den Roboter völlig verwirren. Das Ziel war es zu sehen, ob der Roboter die Emotion immer noch korrekt erkennt und – entscheidend – ob der Robot wusste, dass er verwirrt war.
Die Ergebnisse waren drastisch und offenbarten einen schwerwiegenden Fehler in der Art und Weise, wie diese Systeme derzeit aufgebaut sind. Als die Forscher selbst die geringste Menge an digitaler Täuschung einführten, brach die Fähigkeit der Roboter, Emotionen zu erkennen, zusammen. Systeme, die unter sauberen Bedingungen zuvor zu 76 Prozent korrekt waren, fielen auf eine Genauigkeit von nahezu Null zurück. Sie begannen wild zu raten und identifizierten beispielsweise ein glückliches Gesicht als wütend oder ein trauriges Gesicht als überrascht. Die alarmierendste Entdeckung war jedoch nicht, dass die Roboter Fehler machten, sondern dass sie sich ihrer Fehler völlig unbewusst waren. Selbst wenn die Roboter durch die Täuschung dazu gebracht wurden, die falsche Emotion zu sehen, blieben sie unglaublich sicher in ihren falschen Antworten. Tatsächlich meldeten die Computerprogramme eine Sicherheit von fast 96 Prozent bei ihren falschen Vermutungen.
Dieser Befund stellt eine gängige Sicherheitsstrategie in der Robotik infrage. Ingenieure programmieren Roboter oft so, dass sie eine Vorhersage ignorieren, wenn der Konfidenzwert des Computers zu niedrig ist, in der Annahme, dass ein niedriger Wert bedeutet, dass sich der Roboter unsicher ist und auf eine bessere Lesung warten sollte. Die Forscher fanden heraus, dass dieses Sicherheitsnetz gegen diese digitalen Tricks nutzlos ist. Da die Roboter selbst bei Fehlern so sicher blieben, schloss sich das Sicherheitsgate nie. Die Roboter handelten mit totaler Gewissheit nach ihren falschen Überzeugungen. Das Team bewies mathematisch, dass es nicht ausreichen würde, einfach die internen Einstellungen des Computers anzupassen, um ihn vorsichtiger zu machen, um das Problem zu lösen. Die Art und Weise, wie diese Systeme Konfidenz berechnen, ist strukturell nicht in der Lage, zwischen einem echten Gesicht und einem getäuschten Gesicht zu unterscheiden, wenn der Trick stark genug ist.
Die Forscher kamen zu dem Schluss, dass es nicht ausreicht, sich auf eine einzige Momentaufnahme eines Gesichts und den Konfidenzwert des Computers zu verlassen, um einen Roboter sicher zu halten. Sie zeigten, dass die Fähigkeit eines Roboters, eine Emotion zu erkennen, und die Fähigkeit, auf dieser Emotion sicher zu handeln, zwei verschiedene Dinge sind. Ein System kann im Labor sehr gut darin sein, Gesichter zu erkennen, aber in der realen Welt dennoch gefährlich fragil sein. Um wirklich sichere Roboter zu bauen, argumentieren die Forscher, dass wir eine neue Ebene der Verifizierung benötigen. Anstatt dass der Roboter unmittelbar nach dem Sehen eines Gesichts handelt, sollte das System die Vorhersage gegen andere Beweise prüfen, wie etwa wie lange der Ausdruck bereits anhält oder ob die anderen Sensoren des Roboters mit dem visuellen Input übereinstimmen. Bis solche Sicherheitsvorkehrungen implementiert sind, könnten die Roboter, die darauf angewiesen sind, unsere Gesichter zu lesen, uns eher missverstehen als uns zu verstehen, insbesondere wenn sie mit auch nur dem geringsten Versuch der Täuschung konfrontiert werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.