💻 informatique

Adversarial robustness and confidence miscalibration in emotion-based HRI systems

Cet article démontre que les systèmes de reconnaissance des émotions faciales pour la robotique, bien qu'atteignant une précision élevée sur les ensembles de données propres, souffrent d'une erreur de calibration de confiance catastrophique et structurellement non calibrable sous des attaques adverses, ce qui les rend fondamentalement dangereux pour le contrôle physique malgré une apparence de grande confiance.

Auteurs originaux : Ezekiel Olayide Tolulope, Franklin Tchakounté, Derrick Méthode BAGAZA, Shanay Rab, Almas Baimagambetov

Publié 2026-10-26

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ezekiel Olayide Tolulope, Franklin Tchakounté, Derrick Méthode BAGAZA, Shanay Rab, Almas Baimagambetov

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un robot conçu pour aider les gens, peut-être dans un hôpital ou une école, censé comprendre les sentiments humains en observant les visages. S'il voit un sourire, il pourrait offrir une salutation joyeuse ; s'il voit un froncement de sourcils, il pourrait offrir du réconfort. Cette capacité à lire les émotions est une pierre angulaire de la robotique sociale moderne, reposant sur des programmes informatiques entraînés pour reconnaître les expressions faciales. Pour que ces machines soient sûres et utiles, leurs créateurs doivent avoir la certitude que l'interprétation qu'a le robot d'un visage est correcte. Si le robot interprète mal un visage neutre comme étant en colère, il pourrait réagir avec une prudence ou une agressivité inutiles, causant potentiellement du tort ou de la détresse. La question fondamentale pour les ingénieurs n'est pas seulement de savoir si le robot peut reconnaître les émotions avec précision dans un environnement parfait et contrôlé, mais s'il peut être fiable pour prendre des décisions lorsque le monde est désordonné ou lorsqu'une personne tente de le tromper.

Une équipe de chercheurs s'est donné pour mission de tester précisément cette fiabilité. Ils ont examiné cinq systèmes informatiques différents conçus pour reconnaître cinq émotions de base : la colère, le bonheur, la tristesse, la surprise et un état neutre. Ces systèmes ont été soumis à une série de tests rigoureux pour voir comment ils se comportaient lorsque les images reçues étaient légèrement floues, faiblement éclairées ou couvertes de bruit numérique. Plus important encore, les chercheurs ont soumis ces systèmes à un type spécifique de ruse numérique appelé attaque adversaire. Dans ce scénario, un programme informatique effectue des changements infimes, presque invisibles, sur la photo d'un visage — des changements si minimes que l'œil humain ne les remarquerait jamais — mais ces changements sont calculés pour confondre totalement le robot. Le but était de voir si le robot reconnaîtrait toujours correctement l'émotion et, surtout, si le robot saurait qu'il est confus.

Les résultats ont été frappants et ont révélé une faille grave dans la manière dont ces systèmes sont actuellement construits. Lorsque les chercheurs introduisaient la moindre trace de ruse numérique, la capacité des robots à reconnaître les émotions s'effondrait. Des systèmes qui étaient auparavant corrects 76 % du temps dans des conditions propres tombaient à une précision proche de zéro. Ils commençaient à deviner de manière aléatoire, identifiant souvent un visage joyeux comme étant en colère ou un visage triste comme étant surpris. La découverte la plus alarmante, cependant, n'était pas que les robots faisaient des erreurs, mais qu'ils étaient totalement inconscients de leurs propres erreurs. Même lorsque les robots étaient trompés en voyant la mauvaise émotion, ils restaient incroyablement confiants dans leurs mauvaises réponses. En fait, les programmes informatiques affichaient un niveau de certitude de près de 96 % pour leurs erreurs.

Cette découverte remet en question une stratégie de sécurité courante utilisée en robotique. Les ingénieurs programment souvent les robots pour ignorer une prédiction si le score de confiance de l'ordinateur est trop bas, supposant qu'un score faible signifie que le robot est incertain et doit attendre une meilleure lecture. Les chercheurs ont découvert que ce filet de sécurité est inutile contre ces ruses numériques. Parce que les robots restaient si confiants même lorsqu'ils se trompaient, la barrière de sécurité ne se ferait jamais fermer. Les robots continuaient à agir sur leurs fausses croyances avec une certitude totale. L'équipe a prouvé mathématiquement que le simple ajustement des paramètres internes de l'ordinateur pour le rendre plus prudent ne résoudrait pas le problème. La façon dont ces systèmes calculent la confiance est structurellement incapable de distinguer un vrai visage d'un visage trompé lorsque la ruse est suffisamment forte.

Les chercheurs ont conclu que se fier à un cliché unique d'un visage et au score de confiance de l'ordinateur ne suffit pas pour garder un robot en sécurité. Ils ont démontré la capacité d'un robot à reconnaître une émotion et sa capacité à agir en toute sécurité sur cette émotion sont deux choses différentes. Un système peut être très bon pour reconnaître les visages dans un laboratoire, tout en restant dangereusement fragile dans le monde réel. Pour construire des robots véritablement sécurisés, les chercheurs soutiennent que nous avons besoin d'une nouvelle couche de vérification. Au lieu de laisser le robot agir immédiatement après avoir vu un visage, le système devrait vérifier la prédiction par rapport à d'autres preuves, comme la durée de l'expression ou si les autres capteurs du robot concordent avec l'entrée visuelle. Tant que de tels garde-fous ne seront pas en place, les robots qui dépendent de la lecture de nos visages risquent davantage de nous mal comprendre que de nous comprendre, surtout face au moindre attempt de tromperie.

Résumé Technique : Robustesse Adversaire et Mauvaise Calibration de la Confiance dans les Systèmes d'HRI Basés sur les Émotions

Énoncé du Problème

L'article traite d'une faille de sécurité critique dans les systèmes d'Interaction Humain-Robot (HRI) utilisant la Reconnaissance des Émotions Faciales (FER). Bien que les modèles de FER soient généralement évalués sur la base de la précision de reconnaissance sur des ensembles propres (ex: précision, rappel, score F1), ces métriques ne parviennent pas à évaluer si une prédiction est suffisamment digne de confiance pour déclencher des actions physiques du robot. Le problème central est qu'un classifieur peut être précis sur des données standards tout en étant fragile face à une dégradation environnementale ou des perturbations adverses. De manière cruciale, les auteurs étudient si le seuil de confiance — une stratégie de mitigation courante où le système n'agit que si la probabilité softmax maximale dépasse un seuil — peut distinguer de manière fiable les entrées légitimes des entrées adverses. L'étude postule que si les attaques adverses produisent des erreurs à haute confiance, le filtrage par confiance échoue précisément au moment où les mécanismes de sécurité sont le plus nécessaires.

Méthodologie

Les auteurs ont mené une étude empirique contrôlée utilisant un sous-ensemble à cinq classes de l'ensemble de données FER2013 (Colère, Joie, Neutre, Tristesse, Surprise).

Pipelines Évalués : Cinq pipelines de FER ont été comparés :
1. DeepFace : Une base de référence prête à l'emploi (zero-shot).
2. Stratégie 1 : Un CNN personnalisé régularisé, entraîné à partir de zéro.
3. Stratégie 2 : VGG16 avec une base convolutionnelle gelée et une tête de classification entraînée.
4. Stratégie 3 : VGG16 entièrement réentraîné (fine-tuning de bout en bout).
5. Stratégie 4 : Un CNN résiduel profond entraîné à partir de zéro.
Environnement d'Évaluation : Toutes les expériences ont été menées sur du matériel uniquement CPU afin de refléter les contraintes de déploiement réel des robots.
Conditions de Stress :
- Corruption Environnementale : Bruit gaussien, flou, réduction de la luminosité et compression JPEG à cinq niveaux de sévérité.
- Attaques Adverses : Attaques non ciblées FGSM (Fast Gradient Sign Method) et PGD (Projected Gradient Descent) à travers un balayage du budget de perturbation ( $\epsilon$ ).
Analyse de Calibration : Une mise à l'échelle de température (temperature scaling) post-hoc a été appliquée aux logits pour tester si la recalibration pouvait séparer les entrées propres des entrées adverses. La porte opérationnelle a été fixée à un seuil $\tau = 0,70$ .
Métriques : L'étude est allée au-delà de la précision standard pour mesurer la solidité de l'actionnement (le risque d'une mauvaise action étant donné qu'une prédiction est admise) et la performance du détecteur (indice de Youden, AUROC) de la porte de confiance.

Contributions Clés

Formalisation de la Porte Perception-Action : L'article définit la « solidité de l'actionnement » comme une propriété de la sous-population admise, la distinguant de la précision de reconnaissance générale. Il établit qu'un système peut être précis en moyenne mais systématiquement erroné sur le sous-ensemble spécifique d'entrées sur lesquelles il choisit d'agir.
Évaluation Adverse Trans-Architecturale : L'étude démontre que la fragilité adverse est une propriété partagée entre diverses architectures (CNN personnalisés, apprentissage par transfert et réseaux résiduels) sous un budget de perturbation commun.
Résultat d'Impossibilité pour la Calibration Globale : Les auteurs prouvent analytiquement que la mise à l'échelle de température globale ne peut pas réparer l'échec des portes de confiance sous une attaque adverse. Étant donné que la probabilité softmax maximale est strictement croissante avec le vecteur d'écart des logits, et que la mise à l'échelle de température applique une transformation identique à toutes les entrées, aucune température unique ne peut simultanément admettre les prédictions légitimes (avec des écarts plus faibles) et rejeter les prédictions adverses (avec des écarts plus importants) lorsque l'écart adverse domine.
Bornes du Détecteur : L'article dérive des bornes montrant que l'indice de Youden de la porte de confiance est contraint par le taux d'admission adverse, prouvant que la porte est structurellement incapable de séparer les entrées propres des entrées adverses sous les conditions observées.

Résultats

Performance sur Données Propres : Le CNN résiduel profond (Stratégie 4) a obtenu la précision la plus élevée sur l'ensemble propre (0,760) et le macro-F1 (0,753) au débit temps réel sur CPU.
Robustesse Environnementale : La corruption environnementale a provoqué une dégradation des performances proportionnelle à la sévérité. Cependant, les attaques adverses ont provoqué un effondrement uniforme.
- FGSM : A réduit tous les modèles en dessous de 0,16 de précision à $\epsilon = 0,01$ .
- PGD : A réduit tous les modèles à une précision quasi nulle (effectivement < 0,005) à $\epsilon \ge 0,02$ .
Mauvaise Calibration de la Confiance : Malgré l'effondrement de la précision, les modèles attaqués restaient très confiants. Sous PGD, la confiance moyenne des prédictions adverses a atteint 0,964.
Échec du Seuil :
- 96,0 % des prédictions adverses ont dépassé le seuil opérationnel ( $\tau = 0,70$ ), même après mise à l'échelle de température.
- L'AUROC de la porte de confiance était de 0,144, indiquant que le détecteur est inversé (il admet les entrées adverses plus souvent que les légitimes).
- L'indice de Youden a été mesuré à -0,261, confirmant que la porte est anti-corrélée avec le besoin de rejet.
Invariance de la Calibration : La mise à l'échelle de température (ajustée à $T=0,982$ ) a eu un effet négligeable sur la séparation des entrées propres et adverses. L'analyse théorique a confirmé que la courbe ROC du score max-softmax est invariante à la mise à l'échelle de température sous l'hypothèse de structures de dauphins (runner-up) ordonnées.

Signification et Revendications

L'article affirme que la fragilité adverse dans la FER n'est pas spécifique à l'architecture et que les erreurs à haute confiance sont une caractéristique structurelle de l'attaque, et non un artefact de calibration qui peut être corrigé par un ré-étalonnage.

Séparation des Préoccupations : Les auteurs soutiennent que la précision de reconnaissance et la solidité de l'actionnement sont des propriétés distinctes. Une haute précision sur l'ensemble propre ne garantit pas un actionnement sûr.
Limitation des Mitigations Actuelles : L'étude conclut que s'appuyer uniquement sur le seuillage de confiance est insuffisant pour une HRI critique pour la sécurité. La « porte de confiance » échoue car les attaques adverses concentrent les erreurs dans la région de haute confiance que la porte est censée laisser passer.
Implication Architecturale : L'article motive la nécessité d'une couche de vérification au niveau du système entre le module FER et la politique d'action du robot. Cette couche doit intégrer la confiance avec d'autres flux de preuves (ex: persistance temporelle, contraintes de taux d'action) plutôt que de se fier aux scores softmax instantanés.
Portée : Les auteurs précisent explicitement qu'ils ne proposent pas de nouvelles méthodes d'entraînement robuste ou de meilleurs détecteurs. Au lieu de cela, ils démontent que la règle de décision la plus couramment déployée (seuil de confiance) échoue dans des conditions adverses et que cet échec ne peut être remédié par une calibration post-hoc. Les conclusions suggèrent que une robotique guidée par les émotions sûre nécessite des étapes de vérification explicites qui s'étendent au-delà des scores de confiance internes du classifieur.