Resumen Técnico: La atención no lo es todo para el reconocimiento de emociones

Declaración del Problema

Este estudio aborda el desafío del reconocimiento de emociones multimodal utilizando el conjunto de datos EAV, que contiene grabaciones sincronizadas de EEG, audio y video de 42 participantes en interacciones conversacionales. Si bien este conjunto de datos ofrece un recurso único para la investigación multimodal, presenta una restricción significativa para el aprendizaje profundo: tras una división de datos estándar, solo hay aproximadamente 280 muestras de entrenamiento por sujeto.

La pregunta central de investigación investiga si los mecanismos de atención complejos (específicamente la atención factorizada) mejoran el rendimiento en estos conjuntos de datos tan pequeños, o si enfoques más simples que aprovechan características apropiadas al dominio ofrecen resultados superiores. Los autores plantean la hipótesis de que la complejidad arquitectónica puede conducir al sobreajuste (overfitting) y a la degradación de las características preentrenadas en regímenes de bajos datos.

Metodología

Los autores evaluaron sistemáticamente tres categorías de modelos a través de las tres modalidades (EEG, Audio, Visión):

1. M1: Transformers Base (Baselines)

Los autores implementaron arquitecturas transformer estándar utilizando backbones preentrenados de Hugging Face para establecer un rendimiento de referencia:

• EEG: Una arquitectura personalizada con extracción de características convolucionales 1D seguida de un codificador transformer de 6 capas con 4 cabezales de atención.
• Audio: Ajuste fino (fine-tuning) de el Audio Spectrogram Transformer (AST) con un clasificador de 5 clases personalizado, utilizando una estrategia de entrenamiento de dos etapas (backbone congelado seguido de uno descongelado).
• Visión: Un Vision Transformer (ViT) preentrenado específicamente en el reconocimiento de emociones faciales, procesando 25 fotogramas por segmento de video con predicciones promediadas.

2. M2: Mecanismos de Atención Factorizada

Motivados por las estructuras únicas de cada modalidad, los autores diseñaron modelos de atención factorizada novedosos destinados a superar a los modelos base:

• M2-EEG (Tri-Stream): Un transformer que se ramifica en tres flujos paralelos: espacial (interacciones de canales), temporal (dinámicas de tiempo) y asimetría hemisférica (diferencias izquierda-derecha basadas en el modelo de Davidson). Incluye una conexión de salto (skip connection) aprendible para preservar las características convolucionales.
• M2-EEG (EEGNet-Mejorado): Un EEGNet mejorado que incorpora bloques de excitación por compresión (squeeze-excitation), convoluciones multiescala y técnicas de regularización avanzadas.
• M2-Audio: Un mecanismo de Atención Dual Temporal-Frecuencial aplicado a las características de AST. Remodela los parches en una cuadrícula 2D (tiempo × frecuencia) y aplica bloques secuenciales de atención temporal y de frecuencia, preservando aproximadamente el 88% de las características preentrenadas mediante una conexión de salto.
• M2-Visión: Un modelo de Atención Espacio-Temporal Factorizada (siguiendo el Modelo 2 de ViViT) que descompone la atención espacio-temporal completa en atención espacial dentro de los fotogramas y atención temporal a través de los fotogramas para reducir la complejidad computacional.

3. M3: Baselines CNN Mejorados

Tras el bajo rendimiento de M2, los autores exploraron modificaciones mínimas a las CNN base, centrándose en correcciones de errores (bugs) e ingeniería de características específicas del dominio:

• Audio: Aumentaron el conjunto de características con delta MFCCs (derivadas temporales) para capturar la dinámica espectral de corto plazo, aumentando la dimensionalidad de entrada de 180 a 220.
• EEG:
  • v1 (Corrección de Bug): Eliminaron una capa nn.Softmax errónea aplicada antes de CrossEntropyLoss en la implementación original.
  • v2 (Potencia de Banda): Reemplazaron las señales puras del dominio del tiempo con características del dominio de la frecuencia, incluyendo potencia de banda (delta, theta, alpha, beta, gamma), entropía diferencial y características explícitas de asimetría alfa (306 dimensiones en total), alimentadas a un MLP simple.
• Visión:
  • v1 (Corrección SE): Corrigieron la relación de reducción del bloque Squeeze-and-Excitation (SE) de 1 (sin cuello de botella) a 16 para asegurar un reponderado de canales efectivo.
  • v2 (Características Delta): Añadieron características delta temporales para capturar la dinámica de expresión fotograma a fotograma.

Resultados Clave

Los experimentos, realizados en GPUs NVIDIA RTX 6000 Ada con evaluación dependiente del sujeto, arrojaron los siguientes hallazgos (Tabla 1 del artículo):

• Bajo Rendimiento de M2: Todos los modelos de atención factorizada (M2) fueron consistentemente inferiores a sus respectivos modelos base por 5 a 13 puntos porcentuales.

  • EEG Tri-Stream: 48.00% (frente al 60.00% del baseline del artículo).
  • Audio Dual-Attention: 49.46% (frente al 62.70% del baseline del artículo).
  • Visión tipo ViViT: 69.54% (frente al 74.50% del baseline del artículo).
  • Los autores atribuyen esto al sobreajuste, la destrucción de las características preentrenadas y la incapacidad de los sesgos inductivos complejos para generalizar con ~280 muestras.

• Éxito de M3: Las modificaciones simples y apropiadas al dominio lograron resultados de estado del arte en el conjunto de datos:

  • EEG: Las características de potencia de banda alcanzaron el 67.62% (+7.62pp sobre el baseline del artículo).
  • Audio: Los delta MFCCs alcanzaron el 65.56% (+3.66pp sobre el baseline del artículo).
  • Visión: Las características delta alcanzaron el 72.68% (+1.28pp sobre la CNN del artículo).
  • Notablemente, el Vision Transformer M1 (75.30%) superó a todas las modificaciones CNN de M3, demostrando que el preentrenamiento específico del dominio puede ser más impactante que los cambios arquitectónicos.

• Variabilidad de los Sujetos: Se observaron diferencias individuales significativas. El Sujeto 17 alcanzó consistentemente la mayor precisión en todas las modalidades (hasta 93.33% para visión), mientras que los Sujetos 35 y 12 presentaron desafíos persistentes, probablemente debido a expresiones sutiles o diferencias fisiológicas.

Significado y Reivindicaciones

El artículo concluye que para tareas de reconocimiento de emociones a pequeña escala (aprox. 280 muestras de entrenamiento por sujeto), el conocimiento del dominio y una implementación adecuada superan a la complejidad arquitectónica.

Los autores reivindican tres contribuciones principales:

1. Demostración de Fallo: Demuestran que los mecanismos de atención factorizada, a pesar de estar teóricamente motivados, fallan consistentemente en conjuntos de datos pequeños, rindiendo por debajo de los modelos base más simples.
2. Validación de Características Simples: Demuestran que las modificaciones simples y apropiadas al dominio (específicamente las características del dominio de la frecuencia para EEG y los coeficientes delta para audio/video) logran los mejores resultados en este conjunto de datos.
3. Análisis Metodológico: Proporcionan un análisis de los modos de fallo, identificando que la degradación de las representaciones preentrenadas, la insuficiencia de datos de entrenamiento para sesgos inductivos complejos y los errores de implementación (por ejemplo, el doble softmax) son factores críticos en regímenes de pocas muestras.

La lección práctica enfatizada es que los investigadores deben priorizar la verificación de errores en las implementaciones de los modelos base, la aplicación de ingeniería de características específicas del dominio y el ajuste de la capacidad del modelo a los datos disponibles antes de introducir mecanismos de atención complejos. Los autores señalan que estos enfoques factorizados aún podrían ser beneficiosos en conjuntos de datos de emociones más grandes donde exista la supervisión suficiente para aprender una fusión estable.