💻 ciencias de la computación

Adversarial robustness and confidence miscalibration in emotion-based HRI systems

Este artículo demuestra que los sistemas de reconocimiento de emociones faciales para la robótica, si bien alcanzan una alta precisión en conjuntos de datos limpios, sufren una descalibración de confianza catastrófica y estructuralmente incalibrable bajo ataques adversarios, lo que los hace fundamentalmente inseguros para el control físico a pesar de parecer altamente confiables.

Autores originales: Ezekiel Olayide Tolulope, Franklin Tchakounté, Derrick Méthode BAGAZA, Shanay Rab, Almas Baimagambetov

Publicado 2026-10-26

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ezekiel Olayide Tolulope, Franklin Tchakounté, Derrick Méthode BAGAZA, Shanay Rab, Almas Baimagambetov

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un robot diseñado para ayudar a las personas, quizás en un hospital o una escuela, que se supone debe comprender los sentimientos humanos al observar los rostros. Si el robot ve una sonrisa, podría ofrecer un saludo alegre; si ve un ceño fruncido, podría ofrecer consuelo. Esta capacidad de leer emociones es un pilar de la robótica social moderna, que depende de programas informáticos entrenados para reconocer expresiones faciales. Para que estas máquinas sean seguras y útiles, sus creadores deben confiar en que la interpretación que el robot hace de un rostro es correcta. Si el robot malinterpreta un rostro neutro como uno enojado, podría reaccionar con precaución o agresividad innecesarias, lo que podría causar daño o angustia. La pregunta central para los ingenieros no es solo si el robot puede reconocer emociones con precisión en un entorno perfecto y controlado, sino si se puede confiar en él para tomar decisiones cuando el mundo es caótico o cuando alguien intenta engañarlo.

Un equipo de investigadores se propuso probar precisamente esta confiabilidad. Examinaron cinco sistemas informáticos diferentes diseñados para reconocer cinco emociones básicas: ira, felicidad, tristeza, sorpresa y un estado neutro. Estos sistemas fueron sometidos a una serie de pruebas rigurosas para ver cómo se desempeñaban cuando las imágenes que recibían estaban ligeramente borrosas, con poca luz o cubiertas de ruido digital. Más importante aún, los investigadores sometieron a los sistemas a un tipo específico de engaño digital conocido como ataque adversarial. En este escenario, un programa informático realiza cambios diminutos, casi invisibles, en una foto de un rostro —cambios tan pequeños que el ojo humano nunca los notaría—, pero estos cambios están calculados para confundir por completo al robot. El objetivo era ver si el robot seguiría reconociendo la emoción correctamente y, crucialmente, si el robot sabría que estaba confundido.

Los resultados fueron contundentes y revelaron una falla grave en la forma en que estos sistemas están construidos actualmente. Cuando los investigadores introdujeron la más mínima cantidad de engaño digital, la capacidad de los robots para reconocer emociones colapsó. Sistemas que anteriormente eran correctos el 76 por ciento de las veces en condiciones limpias, cayeron a una precisión cercana a cero. Comenzaron a adivinar salvajemente, identificando a menudo un rostro feliz como enojado o un rostro triste como sorprendido. El descubrimiento más alarmante, sin embargo, no fue que los robots cometieran errores, sino que eran completamente inconscientes de sus propios errores. Incluso cuando los investigadores estaban siendo engañados para ver la emoción equivocada, los robots mantenían una confianza increíble en sus respuestas erróneas. De hecho, los programas informáticos reportaron estar casi un 96 por ciento seguros de sus suposiciones incorrectas.

Este hallazgo desafía una estrategia de seguridad común utilizada en la robótica. Los ingenieros suelen programar a los robots para que ignoren una predicción si la puntuación de confianza de la computadora es demasiado baja, asumiendo que una puntuación baja significa que el robot no está seguro y debe esperar a una mejor lectura. Los investigadores encontraron que esta red de seguridad es inútil contra estos trucos digitales. Debido a que los robots mantenían tanta confianza incluso cuando estaban equivocados, la puerta de seguridad nunca se cerraba. Los robots procedían a actuar sobre sus creencias falsas con total certeza. El equipo demostró matemáticamente que simplemente ajustar la configuración interna de la computadora para que fuera más cautelosa no solucionaría el problema. La forma en que estos sistemas calculan la confianza es estructuralmente incapaz de distinguir entre un rostro real y uno engañado cuando el engaño es lo suficientemente fuerte.

Los investigadores concluyeron que confiar en una sola instantánea de un rostro y en la puntuación de confianza de la computadora no es suficiente para mantener seguro a un robot. Demostraron que la capacidad de un robot para reconocer una emoción y su capacidad para actuar de forma segura sobre esa emoción son dos cosas diferentes. Un sistema puede ser muy bueno reconociendo rostros en un laboratorio pero seguir siendo peligrosamente frágil en el mundo real. Para construir robots verdaderamente seguros, los investigadores argumentan que necesitamos una nueva capa de verificación. En lugar de dejar que el robot actúe inmediatamente después de ver un rostro, el sistema debería contrastar la predicción con otras evidencias, como cuánto tiempo ha durado la expresión o si los otros sensores del robot coinciden con la entrada visual. Hasta que tales salvaguardas no estén implementadas, los robots que dependen de leer nuestros rostros podrían ser más propensos a malinterpretarnos que a comprendernos, especialmente cuando se enfrentan al más mínimo intento de engañarlos.

Resumen Técnico: Robustez Adversaria y Descalibración de Confianza en Sistemas de HRI Basados en Emociones

Declaración del Problema

El artículo aborda una brecha de seguridad crítica en los sistemas de Interacción Humano-Robot (HRI) que utilizan el Reconocimiento de Emociones Faciales (FER). Mientras que los modelos de FER se evalúan típicamente basándose en la precisión de reconocimiento de conjuntos limpios (por ejemplo, precisión, exhaustividad, puntuación F1), estas métricas no logran evaluar si una predicción es lo suficientemente confiable como para activar acciones físicas del robot. El problema central es que un clasificador puede ser preciso en datos estándar, pero frágil ante la degradación ambiental o las perturbaciones adversarias. Crucialmente, los autores investigan si el umbral de confianza —una estrategia de mitigación común donde el sistema actúa solo si la probabilidad máxima de softmax supera un umbral— puede distinguir de manera fiable entre entradas legítimas y adversarias. El estudio postula que si los ataques adversarios producen errores de alta confianza, el filtrado basado en la confianza falla precisamente cuando los mecanismos de seguridad son más necesarios.

Metodología

Los autores realizaron un estudio empírico controlado utilizando un subconjunto de cinco clases del conjunto de datos FER2013 (Enojo, Felicidad, Neutral, Tristeza, Sorpresa).

Pipelines Evaluados: Se compararon cinco pipelines de FER:
1. DeepFace: Un baseline preentrenado (zero-shot).
2. Estrategia 1: Una CNN personalizada regularizada entrenada desde cero.
3. Estrategia 2: VGG16 con una base convolucional congelada y una cabeza de clasificación entrenada.
4. Estrategia 3: VGG16 reentrenada completamente (ajuste fino de extremo a extremo).
5. Estrategia 4: Una CNN residual profunda entrenada desde cero.
Entorno de Evaluación: Todos los experimentos se realizaron en hardware de solo CPU para reflejar las restricciones de despliegue de robots en el mundo real.
Condiciones de Estrés:
- Corrupción Ambiental: Ruido gaussiano, desenfoque, reducción de brillo y compresión JPEG en cinco niveles de severidad.
- Ataques Adversarios: Ataques no dirigidos FGSM (Método de la Firma del Gradiente Rápido) y PGD (Descenso de Gradiente Proyectado) a través de un barrido de presupuesto de perturbación ( $\epsilon$ ).
Análisis de Calibración: Se aplicó escalado de temperatura post-hoc a los logits para probar si la recalibración podía separar las entradas limpias de las adversarias. La puerta operativa se fijó en un umbral $\tau = 0.70$ .
Métricas: El estudio fue más allá de la precisión estándar para medir la solidez de la actuación (el riesgo de una acción errónea dada una predicción admitida) y el rendimiento del detector (índice de Youden, AUROC) de la puerta de confianza.

Contribuciones Clave

Formalización de la Puerta de Percepción-a-Acción: El artículo define la "solidez de la actuación" como una propiedad de la subpoblación admitida, distinguiéndola de la precisión de reconocimiento general. Establece que un sistema puede ser preciso en promedio pero sistemáticamente erróneo en el subconjunto específico de entradas sobre las cuales decide actuar.
Evaluación Adversaria de Arquitecturas Cruzadas: El estudio demuestra que la fragilidad adversaria es una propiedad compartida entre diversas arquitecturas (CNN personalizadas, aprendizaje por transferencia y redes residuales) bajo un presupuesto de perturbación común.
Resultado de Imposibilidad para la Calibración Global: Los autores demuestran analíticamente que el escalado de temperatura global no puede reparar el fallo de las puertas de confianza bajo un ataque adversario. Debido a que la probabilidad máxima de softmax aumenta estrictamente con el vector de diferencia de logits, y el escalado de temperatura aplica una transformación idéntica a todas las entradas, ningún escalado de temperatura puede admitir simultáneamente predicciones legítimas (con diferencias menores) y rechazar las adversarias (con diferencias mayores) cuando la diferencia adversaria predomina.
Límites del Detector: El artículo deriva límites que muestran que el índice de Youden de la puerta de confianza está constreñido por la tasa de admisión adversaria, demostrando que la puerta es estructuralmente incapaz de separar las entradas limpias de las adversarias bajo las condiciones observadas.

Resultados

Rendimiento en Conjuntos Limpios: La CNN residual profunda (Estrategia 4) logró la mayor precisión en el conjunto limpio (0.760) y la mayor F1 macro (0.753) con un rendimiento de procesamiento en CPU en tiempo real.
Robustez Ambiental: La corrupción ambiental causó una degradación del rendimiento proporcional a la severidad. Sin embargo, los ataques adversarios causaron un colapso uniforme.
- FGSM: Redujo todos los modelos a menos de 0.16 de precisión con $\epsilon = 0.01$ .
- PGD: Redujo todos los modelos a una precisión cercana a cero (efectivamente <0.005) con $\epsilon \ge 0.02$ .
Descalibración de Confianza: A pesar del colapso en la precisión, los modelos atacados mantuvieron una alta confianza. Bajo PGD, la confianza media de las predicciones adversarias alcanzó el 0.964.
Fallo del Umbral:
- El 96.0% de las predicciones adversarias superaron el umbral operativo ( $\tau = 0.70$ ) incluso después del escalado de temperatura.
- El AUROC de la puerta de confianza fue de 0.144, lo que indica que el detector está invertido (admite entradas adversarias con más frecuencia que las legítimas).
- El índice de Youden se midió en -0.261, confirmando que la puerta está anticorrelacionada con la necesidad de rechazo.
Invariancia de la Calibración: El escalado de temperatura (ajustado en $T=0.982$ ) tuvo un efecto insignificante en la separación de las entradas limpias y adversarias. El análisis teórico confirmó que la curva ROC del puntaje máximo de softmax es invariante al escalado de temperatura bajo la suposición de estructuras de segundo lugar ordenadas.

Significancia y Reivindicaciones

El artículo afirma que la fragilidad adversaria en FER no es específica de la arquitectura y que los errores de alta confianza son una característica estructural del ataque, no un artefacto de calibración que pueda corregirse mediante el reescalado.

Separación de Preocupaciones: Los autores argumentan que la precisión de reconocimiento y la solidez de la actuación son propiedades distintas. Una alta precisión en el conjunto limpio no garantiza una actuación segura.
Limitación de las Mitigaciones Actuales: El estudio concluye que confiar únicamente en el umbral de confianza es insuficiente para la HRI de seguridad crítica. La "puerta de confianza" falla porque los ataques adversarios concentran los errores en la región de alta confianza que la puerta está diseñada para permitir.
Implicación Arquitectónica: El artículo motiva la necesidad de una capa de verificación a nivel de sistema entre el módulo FER y la política de acción del robot. Esta capa debe integrar la confianza con otras corrientes de evidencia (por ejemplo, persistencia temporal, restricciones de tasa de acción) en lugar de depender de los puntajes de softmax instantáneos.
Alcance: Los autores declaran explícitamente que no proponen nuevos métodos de entrenamiento robusto o mejores detectores. En su lugar, demuestran que la regla de decisión más comúnmente desplegada (el umbral de confianza) falla bajo condiciones adversarias y que este fallo no puede remediarse mediante la calibración post-hoc. Los hallazgos sugieren que la robótica guiada por emociones segura requiere etapas de verificación explícitas que se extiendan más allá de los puntajes de confianza internos del clasificador.