💻 ciência da computação

Adversarial robustness and confidence miscalibration in emotion-based HRI systems

Este artigo demonstra que os sistemas de reconhecimento de emoções faciais para robótica, embora alcancem alta precisão em conjuntos limpos, sofrem de uma descalibração de confiança catastrófica e estruturalmente não calibrável sob ataques adversários, tornando-os fundamentalmente inseguros para controle físico, apesar de parecerem altamente confiantes.

Autores originais: Ezekiel Olayide Tolulope, Franklin Tchakounté, Derrick Méthode BAGAZA, Shanay Rab, Almas Baimagambetov

Publicado 2026-10-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ezekiel Olayide Tolulope, Franklin Tchakounté, Derrick Méthode BAGAZA, Shanay Rab, Almas Baimagambetov

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um robô projetado para ajudar pessoas, talvez em um hospital ou em uma escola, que deve entender os sentimentos humanos ao observar rostos. Se o robô vê um sorriso, ele pode oferecer uma saudação alegre; se vê uma carranca, pode oferecer conforto. Essa capacidade de ler emoções é um pilar da robótica social moderna, baseando-se em programas de computador treinados para reconhecer expressões faciais. Para que essas máquinas sejam seguras e úteis, seus criadores devem confiar que a interpretação do robô sobre um rosto está correta. Se o robô interpretar erroneamente um rosto neutro como irritado, ele pode reagir com cautela ou agressividade desnecessárias, potencialmente causando dano ou angústia. A questão central para os engenheiros não é apenas se o robô consegue reconhecer emoções com precisão em um ambiente perfeito e controlado, mas se ele pode ser confiável para tomar decisões quando o mundo é caótico ou quando alguém tenta enganá-lo.

Uma equipe de pesquisadores partiu justamente para testar essa confiabilidade. Eles examinaram cinco sistemas de computador diferentes projetados para reconhecer cinco emoções básicas: raiva, felicidade, tristeza, surpresa e um estado neutro. Esses sistemas foram submetidos a uma série de testes rigorosos para ver como performavam quando as imagens recebidas estavam levemente borradas, com iluminação baixa ou cobertas por ruído digital. Mais importante ainda, os pesquisadores submeteram os sistemas a um tipo específico de artimanha digital conhecida como ataque adversarial. Neste cenário, um programa de computador faz mudanças minúsculas, quase invisíveis, em uma foto de um rosto — mudanças tão pequenas que o olho humano jamais notaria — mas essas mudanças são calculadas para confundir o robô completamente. O objetivo era ver se o robô ainda reconheceria a emoção corretamente e, crucialmente, se o robô saberia que estava confuso.

Os resultados foram drásticos e revelaram uma falha grave na forma como esses sistemas são construídos atualmente. Quando os pesquisadores introduziram mesmo a menor quantidade de artimanha digital, a capacidade dos robôs de reconhecer emoções colapsou. Sistemas que anteriormente estavam corretos 76 por cento das vezes em condições limpas caíram para uma precisão próxima de zero. Eles começaram a adivinhar descontroladamente, frequentemente identificando um rosto feliz como irritado ou um rosto triste como surpreso. A descoberta mais alarmante, no entanto, não foi que os robôs cometiam erros, mas que eles eram completamente inconscientes de seus próprios erros. Mesmo quando os robôs estavam sendo enganados para ver a emoção errada, eles permaneciam incrivelmente confiantes em suas respostas incorretas. De fato, os programas de computador reportaram estar quase 96 por cento certos de seus palpites errados.

Essa descoberta desafia uma estratégia de segurança comum usada na robótica. Engenheiros frequentemente programam robôs para ignorar uma previsão se a pontuação de confiança do computador for muito baixa, assumindo que uma pontuação baixa significa que o robô está incerto e deve esperar por uma leitura melhor. Os pesquisadores descobriram que essa rede de segurança é inútil contra essas artimanhas digitais. Como os robôs permaneciam tão confiantes mesmo quando estavam errados, o portão de segurança nunca se fechava. Os robôs prossegiam para agir sobre suas crenças falsas com total certeza. A equipe provou matematicamente que simplesmente ajustar as configurações internas do computador para torná-lo mais cauteloso não resolveria o problema. A maneira como esses sistemas calculam a confiança é estruturalmente incapaz de distinguir entre um rosto real e um rosto enganado quando o truque é forte o suficiente.

Os pesquisadores concluíram que confiar em um único instantâneo de um rosto e na pontuação de confiança do computador não é suficiente para manter um robô seguro. Eles demonstraram que a capacidade de um robô de reconhecer uma emoção e a sua capacidade de agir com segurança sobre essa emoção são duas coisas diferentes. Um sistema pode ser muito bom em reconhecer rostos em um laboratório, mas ainda assim ser perigosamente frágil no mundo real. Para construir robôs verdadeiramente seguros, os pesquisadores argumentam que precisamos de uma nova camada de verificação. Em vez de deixar o robô agir imediatamente após ver um rosto, o sistema deve verificar a previsão contra outras evidências, como quanto tempo a expressão durou ou se os outros sensores do robô concordam com a entrada visual. Até que tais salvaguardas estejam em vigor, os robôs que dependem de ler nossos rostos podem estar mais propensos a nos entender mal do que a nos compreender, especialmente quando confrontados com o menor intento de nos enganar.

Resumo Técnico: Robustez Adversária e Descalibração de Confiança em Sistemas de HRI Baseados em Emoções

Definição do Problema

O artigo aborda uma lacuna de segurança crítica em sistemas de Interação Humano-Robô (HRI) que utilizam o Reconhecimento de Expressões Faciais (FER). Embora os modelos de FER sejam tipicamente avaliados com base na acurácia de reconhecimento em conjuntos limpos (ex: precisão, recall, F1-score), essas métricas falham em avaliar se uma predição é confiável o suficiente para disparar ações físicas de um robô. O problema central é que um classificador pode ser acurado em dados padrão, mas frágil sob degradação ambiental ou perturbações adversárias. Crucialmente, os autores investigam se o limiar de confiança (confidence thresholding) — uma estratégia de mitigação comum onde o sistema age apenas se a probabilidade máxima do softmax exceder um limite — pode distinguir de forma confiável entre entradas legítimas e adversárias. O estudo postula que, se ataques adversários produzem erros de alta confiança, o portão (gate) baseado em confiança falha precisamente quando os mecanismos de segurança são mais necessários.

Metodologia

Os autores conduziram um estudo empírico controlado utilizando um subconjunto de cinco classes do conjunto de dados FER2013 (Raiva, Felicidade, Neutro, Tristeza, Surpresa).

Pipelines Avaliados: Cinco pipelines de FER foram comparados:
1. DeepFace: Um baseline pronto para uso (off-the-shelf) (zero-shot).
2. Estratégia 1: Uma CNN customizada regularizada treinada do zero.
3. Estratégia 2: VGG16 com uma base convolucional congelada e cabeça de classificação treinada.
4. Estratégia 3: VGG16 totalmente retreinada (ajuste fino de ponta a ponta).
5. Estratégia 4: Uma CNN residual profunda treinada do zero.
Ambiente de Avaliação: Todos os experimentos foram conduzidos em hardware apenas com CPU para refletir as restrições de implantação de robôs no mundo real.
Condições de Estresse:
- Corrupção Ambiental: Ruído gaussiano, desfoque (blur), redução de brilho e compressão JPEG em cinco níveis de severidade.
- Ataques Adversários: Ataques não direcionados FGSM (Fast Gradient Sign Method) e PGD (Projected Gradient Descent) através de uma varredura de orçamento de perturbação ( $\epsilon$ ).
Análise de Calibração: O escalonamento de temperatura (temperature scaling) post-hoc foi aplicado aos logits para testar se a recalibração poderia separar entradas limpas de adversárias. O portão operacional foi fixado em um limiar $\tau = 0.70$ .
Métricas: O estudo foi além da acurácia padrão para medir a solidez da atuação (actuation soundness — o risco de uma ação errada dada uma predição admitida) e o desempenho do detector (índice de Youden, AUROC) do portão de confiança.

Contribuições Principais

Formalização do Portão de Percepção-para-Ação: O artigo define "solidez da atuação" como uma propriedade da subpopulação admitida, distinguindo-a da acurácia de reconhecimento geral. Estabelece que um sistema pode ser acurado na média, mas sistematicamente errado no subconjunto específico de entradas sobre as quais decide agir.
Avaliação Adversária Trans-Arquitetura: O estudo demonstra que a fragilidade adversária é uma propriedade compartilhada entre diversas arquiteturas (CNNs customizadas, aprendizado por transferência e redes residuais) sob um orçamento de perturbação comum.
Resultado de Impossibilidade para Calibração Global: Os autores provam analiticamente que o escalonamento de temperatura global não pode reparar a falha dos portões de confiança sob ataque adversário. Como a probabilidade máxima do softmax é estritamente crescente com o vetor de diferença de logits, e o escalonamento de temperatura aplica uma transformação idêntica a todas as entradas, nenhum único fator de temperatura pode simultaneamente admitir predições legítimas (com diferenças menores) e rejeitar as adversárias (com diferenças maiores) quando a diferença adversária domina.
Limites do Detector: O artigo deriva limites mostrando que o índice de Youden do portão de confiança é restringido pela taxa de admissão adversária, provando que o portão é estruturalmente incapaz de separar entradas limpas e adversárias sob as condições observadas.

Resultados

Desempenho em Dados Limpos: A CNN residual profunda (Estratégia 4) alcançou a maior acurácia no conjunto limpo (0.760) e macro-F1 (0.753) com throughput de tempo real em CPU.
Robustez Ambiental: A corrupção ambiental causou degradação de desempenho proporcional à severidade. No entanto, ataques adversários causaram um colapso uniforme.
- FGSM: Reduziu todos os modelos para abaixo de 0.16 de acurácia em $\epsilon = 0.01$ .
- PGD: Reduziu todos os modelos para quase zero de acurácia (efetivamente <0.005) em $\epsilon \ge 0.02$ .
Descalibração de Confiança: Apesar do colapso na acurácia, os modelos atacados permaneceram altamente confiantes. Sob PGD, a confiança média das predições adversárias atingiu 0.964.
Falha do Limiar (Thresholding):
- 96.0% das predições adversárias excederam o limiar operacional ( $\tau = 0.70$ ), mesmo após o escalonamento de temperatura.
- O AUROC do portão de confiança foi de 0.144, indicando que o detector está invertido (ele admite entradas adversárias com mais frequência do que as legítimas).
- O índice de Youden foi medido em -0.261, confirmando que o portão é anti-correlacionado com a necessidade de rejeição.
Invariância de Calibração: O escalonamento de temperatura (ajustado em $T=0.982$ ) teve efeito negligenciável na separação das entradas limpas e adversárias. A análise teórica confirmou que a curva ROC do escore max-softmax é invariante ao escalonamento de temperatura sob a suposição de estruturas de segundo lugar ordenadas.

Significância e Alegações

O artigo afirma que a fragilidade adversária em FER não é específica de arquitetura e que erros de alta confiança são uma característica estrutural do ataque, não um artefato de calibração que possa ser corrigido por reescalonamento.

Separação de Preocupações: Os autores argumentam que a acurácia de reconhecimento e a solidez da atuação são propriedades distintas. Uma alta acurácia no conjunto limpo não garante uma atuação segura.
Limitação das Mitigações Atuais: O estudo conclui que confiar apenas no limiar de confiança é insuficiente para HRI de missão crítica. O "portão de confiança" falha porque os ataques adversários concentram os erros na região de alta confiança que o portão foi projetado para permitir.
Implicação Arquitetônica: O artigo motiva a necessidade de uma camada de verificação de nível de sistema entre o módulo FER e a política de ação do robô. Esta camada deve integrar a confiança com outras correntes de evidência (ex: persistência temporal, restrições de taxa de ação) em vez de depender apenas de escores de softmax instantâneos.
Escopo: Os autores declaram explicitamente que não propõem novos métodos de treinamento robusto ou melhores detectores. Em vez disso, demonstram que a regra de decisão mais comumente implantada (limiar de confiança) falha sob condições adversárias e que essa falha não pode ser remediada por calibração post-hoc. As descobertas sugerem que a robótica guiada por emoção segura requer estágios de verificação explícitos que se estendam além dos escores de confiança internos do classificador.