An Adaptive Cross Attention Multimodal Transformer Architecture for Multilingual Speech Emotion Recognition

Resumen Técnico: Transformador Multimodal de Atención Cruzada Adaptativa para el Reconocimiento de la Emoción en el Habla Multilingüe

Planteamiento del Problema
Los sistemas actuales de Reconocimiento de la Emoción en el Habla (SER, por sus siglas en inglés) enfrentan tres limitaciones primarias. Primero, muchos sistemas de alto rendimiento son unimodales, descartando evidencia léxica y visual valiosa. Segundo, los sistemas multimodales existentes suelen depender de métodos de fusión estáticos (por ejemplo, concatenación o promedio de pesos fijos) que no logran adaptarse a la fiabilidad de la modalidad dependiente de la instancia, donde la confiabilidad de las señales acústicas, textuales o visuales varía según la emisión, el hablante o el idioma. Tercero, el campo sigue siendo predominantemente centrado en el inglés, y el SER multilingüe y translingüe ha sido poco explorado, particularmente en lo que respecta a la adaptación eficiente de parámetros. Además, los protocolos de evaluación estándar a menudo no logran distinguir entre el rendimiento dentro de un corpus y la verdadera generalización trans-corpus o translingüe.

Metodología: La Arquitectura ACAMT
El artículo propone el Transformador Multimodal de Atención Cruzada Adaptativa (ACAMT), un marco diseñado para integrar modalidades acústica, textual y visual a través de un mecanismo bidireccional dinámico.

• Extracción de Características:

  • Acústica: Combina características artesanales (MFCC de 40 dimensiones con deltas, espectrogramas log-mel de 128 bandas) con incrustaciones (embeddings) autosupervisadas de un modelo preentrenado Wav2Vec 2.0 (facebook/wav2vec2-large-xlsr-53). El flujo acústico utiliza una combinación ponderada entrenable de todas las capas del transformador.
  • Textual: Utiliza XLM-RoBERTa-base, un codificador transformador multilingüe preentrenado en más de 100 idiomas, para procesar las transcripciones. Para los corpus de solo audio, las transcripciones se generan mediante Whisper large-v3.
  • Visual: Emplea un backbone ResNet-18 (preentrenado en VGGFace2) seguido de un GRU bidireccional para capturar la dinámica de la expresión facial (inicio–ápice–final).

• Núcleo de Atención Cruzada Bidireccional:
  A diferencia de los sistemas previos de dos modalidades, ACAMT calcula seis mapas de atención cruzada direccionales que cubren todos los pares de las tres modalidades (Acústica↔Texto, Texto↔Visual, Visual↔Acústica).

  • Debido a que las salidas de la atención cruzada conservan la longitud de la secuencia de consulta (por ejemplo, $A \to T$ tiene la longitud acústica, $T \to A$ tiene la longitud textual), la arquitectura concatena las dos salidas direccionales para cada par y las proyecta a una dimensión fija $d=256$.
  • Estas se agrupan mediante un promedio temporal (mean-pooling) para crear tres vectores de par de longitud fija: $z_{AT}$, $z_{TV}$ y $z_{VA}$.

• Puerta Adaptativa Enmascarada (Masked Adaptive Gating):
  Los tres vectores de par se fusionan mediante una puerta adaptativa por instancia y enmascarada.

  • Gestión de Modalidades Ausentes: Si una modalidad no está disponible para un corpus o emisión específica (por ejemplo, el video para TESS o EMO-DB), la puerta asigna logits de $-\infty$ a cualquier vector de par que dependa de esa modalidad ausente. Esto asegura que el par no disponible reciba exactamente cero peso tras la operación softmax, en lugar de depender de una redistribución implícita.
  • Desconexión de Modalidad (Modality Dropout): Durante el entrenamiento, se enmascara aleatoriamente una modalidad disponible con una probabilidad de $p=0.15$ para asegurar que la puerta aprenda a redistribuir los pesos de manera robusta incluso cuando una modalidad normalmente disponible está ausente en el momento de la prueba.

• Estrategia de Entrenamiento:
  El modelo emplea un protocolo de dos etapas:

  1. Preentrenamiento: Entrenamiento conjunto en el conjunto de datos de seis corpus para aprender parámetros compartidos de acústica y fusión.
  2. Ajuste Fino (Fine-tuning): Se aplica la Adaptación de Bajo Rango (LoRA) a las matrices de proyección de consulta y valor de Wav2Vec 2.0, XLM-R y los bloques de atención cruzada (rango $r=8$, escala $\alpha=16$). Todos los demás parámetros del backbone permanecen congelados, apuntando a un presupuesto de parámetros entrenables de aproximadamente el 0.5–1% del modelo completo.

Protocolo de Evaluación
El artículo define un riguroso protocolo de evaluación de cuatro regímenes para probar la generalización:

1. Dentro del Corpus (Within-Corpus): Validación cruzada de 5 pliegues independiente del hablante (2 pliegues para TESS debido a que solo cuenta con 2 hablantes).
2. Multilingüe Agrupado (Pooled-Multilingual): Validación cruzada de 5 pliegues sobre el conjunto armonizado de seis corpus.
3. Dejar un Corpus Fuera (Leave-One-Corpus-Out - LOCO): Entrenar en cinco corpus y probar en el sexto para medir la generalización trans-corpus.
4. Dejar un Idioma Fuera (Leave-One-Language-Out - LOLO): Entrenar en dos idiomas y probar en el tercero para medir la transferencia translingüe.

Las métricas incluyen Exactitud, Precisión, Sensibilidad (Recall), F1, ROC-AUC, Coeficiente de Correlación de Matthews (MCC) y Kappa de Cohen.

Resultados y Estado Empírico
El artículo establece explícitamente que el entrenamiento empírico completo no se ha completado. Debido a la falta de acceso a GPU y a la disponibilidad de los conjuntos de datos de origen en el entorno de autoría al momento de la redacción, no se reportan cifras de exactitud medidas ni resultados de rendimiento.

El manuscrito presenta la arquitectura, una formulación matemática corregida y un protocolo de evaluación totalmente especificado. Posiciona el método propuesto frente al trabajo previo (por ejemplo, MemoCMT, híbridos CNN-LSTM) en términos de alcance arquitectónico (tri-modal, bidireccional, consciente de la ausencia de modalidades), pero no reclama una superioridad de rendimiento, ya que la validación empírica se identifica como el siguiente paso inmediato.

Significancia y Contribuciones
Los autores posicionan la significancia de este trabajo no en la invención de la atención cruzada o de la puerta adaptativa individualmente —ambas de las cuales han sido demostradas en entornos de dos modalidades o unimodales— sino en su instanciación conjunta en un contexto trimodal y multilingüe.

Las contribuciones clave incluyen:

1. Fusión Bidireccional Tri-Modal: Una formulación matemáticamente consistente para la atención cruzada de seis direcciones que resuelve las discrepancias de dimensionalidad entre secuencias de longitud variable.
2. Gestión Explícita de Modalidades Ausentes: Un mecanismo de puerta que garantiza la exclusión de los pares de modalidades no disponibles mediante enmascaramiento, en lugar de asumir una redistribución implícita.
3. Adaptación Multilingüe Eficiente de Parámetros: Un protocolo de ajuste fino basado en LoRA diseñado para manejar idiomas de bajos recursos (alemán, italiano) junto con el inglés sin necesidad de reentrenar los backbones masivos.
4. Diseño de Evaluación Exhaustivo: Un protocolo de cuatro regímenes que separa el rendimiento dentro del corpus de la generalización trans-corpus y translingüe, abordando un vacío en la literatura actual donde la evaluación suele confundir estas capacidades distintas.

El artículo concluye delineando el trabajo futuro, incluyendo la extensión de la cobertura lingüística a idiomas de bajos recursos tipológicamente distintos, la compresión del modelo para la inferencia en dispositivos, la auditoría de equidad y la extensión del marco a tareas de regresión continua.