A Multiscale Network with Supervised Contrastive Learning for Real-Time Facial Emotion Recognition

Este artículo presenta un sistema basado en aprendizaje profundo que utiliza una red multiescala y aprendizaje contrastivo supervisado para lograr el reconocimiento de emociones faciales en tiempo real mediante el modelado de cambios continuos en la expresión, demostrando un rendimiento satisfactorio en conjuntos de datos estándar para aplicaciones tales como el asesoramiento psicológico.

Lo esencial

Imagina que estás intentando comprender cómo se siente un amigo con solo observarlo. A veces, una sonrisa significa que está feliz; otras veces, puede significar que está siendo cortés o que está ocultando tristeza. Ahora, imagina intentar hacer esto con una computadora, pero la computadora solo recibe una instantánea en el tiempo. Es como intentar adivinar la trama de una película mirando solo un fotograma: es fácil equivocarse.

Este artículo presenta un nuevo sistema llamado MSFERNet (Red de Reconocimiento de Emociones Faciales Multiescala) diseñado para resolver este problema. Piensa en esto como una "cámara inteligente" que no solo mira un rostro una vez, sino que observa cómo cambia el rostro a lo largo del tiempo, muy parecido a un psicólogo que observa a un paciente durante una sesión.

Aquí tienes un desglose de cómo funciona, utilizando analogías sencillas:

1. El Problema: Las emociones son una película, no una foto

Los autores señalan que las emociones no son estáticas; fluyen y cambian. Una persona puede empezar en un estado neutral, ponerse ligeramente molesta y luego calmarse. La mayoría de los sistemas antiguos son como fotógrafos que toman una sola foto y adivinan el estado de ánimo. Este artículo argumenta que, para entender realmente a alguien, necesitas ver la "película" de su rostro.

2. La Solución: Una cámara de múltiples lentes (MSFERNet)

El núcleo de su sistema es un nuevo tipo de arquitectura de IA que construyeron. Imagina a un detective tratando de resolver un caso.

• El lente de "Gran Angular": Algunas partes del sistema observan el panorama general (la forma general del rostro).
• El lente de "Zoom": Otras partes hacen zoom en detalles diminutos (el tic de un labio o una arruga en el entrecejo).
• La "Memoria" (Aprendizaje Residual): Al igual que un detective que recuerda pistas de más temprano en el día, este sistema utiliza "bloques residuales" para recordar lo que vio previamente, de modo que no pierda el hilo de la historia mientras profundiza.
• El "Foco" (Mecanismo de Atención): El sistema tiene un foco integrado (llamado CBAM) que ignora el fondo (como una habitación desordenada o una ventana) y se concentra estrictamente en el rostro, resaltando las partes más importantes.

3. Entrenando el Cerebro: Aprendiendo de grupos

Para enseñar a este sistema, los investigadores no se limitaron a mostrarle imágenes y decirle "Esto es felicidad". Utilizaron una técnica llamada Aprendizaje Contrastivo Supervisado.

• La Analogía: Imagina a un profesor mostrando a un estudiante una pila de manzanas rojas y una pila de manzanas verdes. En lugar de solo decir "Rojo es rojo", el profesor dice: "Mira qué tan similares son estas manzanas rojas entre sí, y qué tan diferentes son de las verdes".
• Al agrupar emociones similares y separar las emociones diferentes en su "mente", la computadora aprende una imagen mucho más clara de cómo luce realmente cada emoción.

4. Simplificando el Lenguaje: El sistema de tres colores

Los investigadores se dieron cuenta de que la vida real es complicada. Un conjunto de datos estándar tiene 7 u 8 emociones diferentes (Enojo, Asco, Miedo, Tristeza, Felicidad, Sorpresa, Neutral, etc.).

• La Analogía: Decidieron simplificar esto en un sistema de "Semáforo" para su aplicación en tiempo real:
  • Verde: Positivo (Felicidad)
  • Amarillo: Neutral
  • Rojo: Negativo (Enojo, Asco, Miedo, Tristeza)
• Dejaron fuera deliberadamente la "Sorpresa" porque, como un giro en la trama de una película, puede significar cualquier cosa dependiendo del contexto, lo que la hace demasiado confusa para un análisis rápido.

5. La Herramienta en Tiempo Real (RT-FER)

Construyeron una aplicación fácil de usar llamada RT-FER.

• Cómo funciona: Puedes subir un video o usar tu cámara web. El sistema captura tu rostro de cada fotograma, lo pasa por la "Cámara de Múltiples Lentes" y te da una puntuación.
• La Puntuación: Traduce la emoción en un número entre -1 y 1.
  • -1 es puramente negativo.
  • 0 es neutral.
  • +1 es puramente positivo.
• El Gráfico: A medida que el video se reproduce, el sistema dibuja una línea de gráfico que muestra cómo tu estado de ánimo "surca las olas" hacia arriba y hacia abajo a lo largo del tiempo.

6. Los Resultados: Rápido, Ligero y Preciso

El equipo probó su sistema en conjuntos de datos estándar (como FER13 y CK+).

• Rendimiento: Le fue muy bien, obteniendo aproximadamente un 96.77% de precisión en un conjunto de datos y un 81.08% en su versión simplificada de 3 emociones.
• Eficiencia: Lo mejor es que el sistema es "ligero". Solo tiene 2.37 millones de parámetros (piensa en estos como el número de reglas que la computadora tiene que memorizar). Comparado con otros sistemas que son como camiones pesados y lentos, este es como una bicicleta ágil. Es lo suficientemente pequeño como para ejecutarse en dispositivos normales sin necesidad de una supercomputadora.

7. El Problema (Análisis de Errores)

Los autores fueron honestos sobre las fallas. Si los datos de entrenamiento tienen "malas fotos" —como una imagen con un logotipo en lugar de un rostro, o un rostro cubierto por una marca de agua gigante— el sistema se confunde. Es como intentar enseñarle a un niño a reconocer perros usando fotos de gatos con orejas de perro dibujadas.

Resumen

En resumen, este artículo presenta una IA inteligente y ligera que observa los rostros como un observador humano, buscando cambios a lo largo del tiempo en lugar de solo una instantánea única. Simplifica las emociones complejas en una puntuación clara de "Positivo/Negativo/Neutral", lo que la convierte en una herramienta útil para rastrear cambios emocionales en videos en tiempo real.

Resumen técnico

Resumen Técnico: Una Red Multiescala con Aprendizaje Contrastivo Supervisado para el Reconocimiento de Emociones Faciales en Tiempo Real

Planteamiento del Problema

El reconocimiento de emociones faciales (FER, por sus siglas en inglés) en tiempo real presenta desafíos significativos, particularmente en escenarios basados en video donde los estados emocionales evolucionan continuamente en lugar de forma discreta. Una dificultad primordial es la alta variabilidad intersujeto de las expresiones faciales y la ambigüedad de las emociones (por ejemplo, una sonrisa puede indicar felicidad, cortesía o sarcasmo dependiendo del contexto). Además, la investigación existente se ha centrado mayoritariamente en el reconocimiento de imágenes estáticas o en la clasificación de fotogramas únicos, dejando un vacío en la capacidad de analizar y monitorear los cambios emocionales durante periodos de tiempo prolongados. Esta limitación dificulta la comprensión integral del estado psicológico de un individuo, lo cual es crucial para aplicaciones en psicología y asesoramiento donde la proporción de expertos por paciente es insuficiente.

Metodología

Los autores proponen un sistema de dos fases que comprende una arquitectura de aprendizaje profundo para la extracción de características y la clasificación, y una interfaz de aplicación en tiempo real.

1. Arquitectura MSFERNet

El núcleo del sistema es MSFERNet (Red de Reconocimiento de Expresiones Faciales Multiescala), diseñada para abordar la degradación de características y el desvanecimiento de gradientes comunes en las redes CNN secuenciales profundas. La arquitectura incorpora:

• Backbone: Utiliza las etapas tempranas de una EfficientNet-B0 preentrenada para extraer características semánticas de bajo y medio nivel, reduciendo la complejidad computacional en comparación con el uso de la red completa.
• Refinamiento Residual: Los mapas de características extraídos pasan por un bloque de refinamiento que contiene una convolución de $3 \times 3$, Normalización por Lotes (Batch Normalization), ReLU y un Bloque Residual con conexiones de salto (skip connections) para preservar los mapeos de identidad y estabilizar el flujo de gradientes.
• Extracción de Características Multiescala: La red emplea ramas convolucionales paralelas con núcleos de $3 \times 3$ y $5 \times 5$.
  • Etapa 1: Las ramas se combinan mediante la suma elemento a elemento.
  • Etapa 2: Las ramas se concatenan por canales para preservar la información complementaria de diferentes campos receptivos.
• Mecanismo de Atención: Se aplica un Módulo de Atención de Bloque Convolucional (CBAM) después de cada etapa multiescala para enfatizar secuencialmente las regiones faciales informativas (atención de canal y espacial) mientras se suprimen los ruidos de fondo.
• Cabezal de Clasificación: Las características se reducen mediante submuestreo, se someten a un agrupamiento global (global pooling) y pasan a través de capas totalmente conectadas (128 y 64 unidades) con dropout (0.3) para prevenir el sobreajuste.
• Aprendizaje Contrastivo Supervisado: Un cabezal de proyección mapea las características en un espacio de incrustación (embedding) normalizado. El modelo se entrena utilizando una función de pérdida combinada:
  $$L = 1.0 \times L_{cross} + 0.1 \times L_{sup}$$
  Donde $L_{cross}$ es la Pérdida de Entropía Cruzada Categórica y $L_{sup}$ es la Pérdida Contrastiva Supervisada, diseñada para aprender mejores representaciones de las características emocionales al acercar las muestras positivas (misma clase) y alejar las muestras negativas en el espacio de incrustación.

2. Preprocesamiento y Modificación del Conjunto de Datos

El estudio utiliza los conjuntos de datos FER13 y CK+. Para alinearse con el objetivo de ayudar a los psicólogos a identificar estados mentales amplios, los autores modificaron el conjunto de datos FER13 estándar de 7 clases a un sistema de 3 clases:

• Positivo: Derivado de la clase 'Feliz' (Happy).
• Negativo: Fusionado de las clases 'Enojo' (Angry), 'Asco' (Disgust), 'Miedo' (Fear) y 'Tristeza' (Sad).
• Neutral: Se mantiene tal cual.
• Nota: La clase 'Sorpresa' (Surprise) fue excluida debido a su alta dependencia contextual y su tendencia a evocar emociones mixtas.
• Preprocesamiento: Las imágenes se redimensionaron a $128 \times 128$ y se aplicaron aumentaciones estándar (desplazamiento, zoom, cizallamiento, volteo). Se filtraron las imágenes corruptas.

3. Sistema RT-FER

Se desarrolló una aplicación de interfaz de usuario intuitiva llamada RT-FER para demostrar el monitoreo en tiempo real. Captura video en vivo o procesa videos cargados, extrae rostros de los fotogramas y los alimenta a la MSFERNet entrenada. El sistema genera:

• Predicción de Emoción: La clase predicha con sus respectivos puntajes de confianza.
• Puntuación de Emoción: Una puntuación continua calculada como $Score = p_{positivo} - p_{negativo}$ (mapeando Negativo a -1, Neutral a 0, Positivo a 1).
• Visualización: Una interfaz gráfica muestra la transmisión de video junto con un gráfico en tiempo real que rastrea la puntuación emocional a lo largo del tiempo.

Contribuciones Clave

1. Arquitectura MSFERNet: Propuesta de una red multiescala basada en atención que integra transferencia de aprendizaje, mecanismos residuales y aprendizaje contrastivo supervisado.
2. Adaptación del Conjunto de Datos: Creación de un conjunto de datos FER13 modificado de 3 clases adaptado para el análisis del estado psicológico, abordando la falta de conjuntos de datos estándar para categorías emocionales amplias.
3. Aplicación RT-FER: Desarrollo de una GUI funcional que permite el monitoreo de emociones en tiempo real y la visualización de cambios emocionales a lo largo del tiempo, incluyendo un reproductor de video para observar los cambios emocales inducidos por el contexto.

Resultados Experimentales

El modelo fue evaluado en los conjuntos de datos FER13 (7 clases originales y 3 clases modificadas) y CK+ utilizando una división de entrenamiento-prueba de 80:10.

• Desempeño:
  • FER13 (7 clases): 66.73% de precisión.
  • FER13 (3 clases): 81.08% de precisión.
  • CK+: 96.77% de precisión.
• Eficiencia: El modelo contiene solo 2.37 millones de parámetros entrenables, lo que lo hace significativamente más eficiente en recursos que modelos de vanguardia como AlexNet (62.30M) o VGGNet (84.00M).
• Impacto de la Pérdida Contrastiva Supervisada: La inclusión de $L_{sup}$ mejoró la precisión en todos los conjuntos de datos (por ejemplo, la precisión de FER13 de 7 clases mejoró del 64.19% al 66.73%; CK+ mejoró del 95.56% al 96.77%).
• Comparación: El MSFERNet propuesto superó a varios modelos existentes de vanguardia (SOTA) tanto en los conjuntos de datos FER13 como en CK+, manteniendo un menor número de parámetros.

Significado y Limitaciones

El artículo afirma que el sistema propuesto cierra la brecha entre el reconocimiento de emociones estático y el monitoreo continuo del estado psicológico. Al proporcionar una herramienta para rastrear cambios emocionales a lo largo del tiempo, ofrece una ayuda potencial para que los psicólogos obtengan información adicional sobre el estado emocional de un sujeto, aliviando potencialmente la carga de la observación manual.

Los autores reconocen modestamente las limitaciones, señalando que, a pesar del preprocesamiento, los datos de entrenamiento contenían muestras erróneas (por ejemplo, imágenes con logotipos o marcas de agua) que afectaron el entrenamiento. También destacan que el reconocimiento en tiempo real sigue siendo un desafío debido a las variaciones en la calidad de la imagen y la ambigüedad inherente de las expresiones faciales. El trabajo concluye que, si bien los resultados actuales son satisfactorios, se podrían lograr mejoras futuras mediante el entrenamiento en conjuntos de datos más grandes del mundo real e incorporando mecanismos de atención más robustos.