Resumen Técnico: AffectVerse: Modelos Mundiales Emocionales para la Computación Afectiva Multimodal

1. Planteamiento del Problema

Los Modelos de Lenguaje Grandes Multimodales (MLLM) actuales suelen tratar el reconocimiento de emociones como una tarea estática de coincidencia de patrones sobre entradas audiovisuales y textuales completas. Este paradigma falla al capturar la dinámica temporal del afecto, como la escalada, la recuperación o los conflictos cruzados entre modalidades, reduciendo procesos emocionales complejos a instantáneas estáticas. Mientras que los humanos infieren emociones integrando señales observadas con predicciones sobre cómo pueden desarrollarse los estados afectivos, los MLLM existentes carecen de un mecanismo para modelar estos "estados de creencia predictiva" bajo observaciones parciales. El artículo identifica una brecha entre el reconocimiento multimodal estático y la naturaleza temporalmente evolutiva de la inferencia afectiva humana.

2. Metodología

Los autores proponen AffectVerse, un modelo construido sobre Qwen2.5-Omni que integra un Módulo de Mundo Emocional (EWM). A diferencia de los modelos mundiales tradicionales utilizados en el aprendizaje por refuerzo, que predicen estados futuros basándose en acciones y recompensas, AffectVerse emplea una formulación libre de acciones diseñada específicamente para la inferencia afectiva. El EWM opera bajo el principio del procesamiento predictivo, donde el modelo predice representaciones audiovisuales latentes futuras a partir de prefijos observados para actualizar el estado de creencia del LLM.

El EWM consta de tres componentes principales:

2.1 Imaginación Temporal Cruzada entre Modalidades

Fundamentado en teorías de procesamiento predictivo e integración multisensorial, este módulo predice representaciones futuras de video y audio a partir de tokens pasados.

• Mecanismo: Utiliza un proceso de despliegue de múltiples pasos ($S=3$) con tokens de consulta futuros aprendibles ($N_s=8$).
• Contexto Cruzado entre Modalidades: Cada rama de imaginación de una modalidad atiende tanto a sus propios tokens pasados como a los tokens pasados de la otra modalidad, distinguidos por incrustaciones de etiquetas aprendibles ($e_{self}, e_{cross}$).
• Señal de Entrenamiento: El módulo se entrena mediante un objetivo auto-supervisado donde los tokens futuros predichos se comparan con los tokens futuros reales (desconectados del flujo principal del gradiente) utilizando una combinación de pérdidas de similitud MSE y coseno. Esto obliga al modelo a aprender regularidades de transición sin requerir datos futuros en el momento de la inferencia.

2.2 Agregación de Creencias MAMA (Atención Multi-paso Consciente de la Modalidad)

Inspirado en el Modelo de Proceso de Componentes de Scherer, este módulo agrega los tokens imaginados de múltiples pasos en "tokens de creencia" compactos.

• Proceso: Ensambla tokens imaginados de video y audio en un banco de memoria, distinguidos por incrustaciones de tipo.
• Capacidad Dinámica: El número de tokens de consulta de creencia ($N_q$) se adapta a las modalidades disponibles (8 para modalidad dual, 4 para modalidad única).
• Inyección de Límites: Para preservar el contexto en el punto de división temporal, los tokens de creencia agregados se aumentan con una inyección residual de los últimos "tokens de límite" observados ($v_b, a_b$) del pasado.

2.3 Inyección de Creencias

Los tokens de creencia compactos resultantes se proyectan de nuevo a la dimensión oculta del LLM e intercalan en la secuencia de tokens en dos posiciones específicas:

1. Inmediatamente después del último token audiovisual (para enriquecer la codificación de texto con contexto afectivo).
2. Inmediatamente antes de la región de respuesta (para proporcionar un "prior emocional" para la generación de respuestas).
   Esta estrategia asegura que el LLM pueda atender tanto a la evidencia observada como a las continuaciones afectivas imaginadas durante el razonamiento.

2.4 Estrategia de Entrenamiento

• División Temporal: Durante el entrenamiento, se aplica una proporción de retención aleatoria $\kappa \sim \text{Uniforme}[0.7, 1.0)$ para truncar los tokens futuros, simulando observaciones parciales.
• Eliminación de Modalidades: Una modalidad se elimina aleatoriamente con probabilidad $p=0.15$ para mejorar la robustez ante evidencia sensorial faltante.
• Objetivos: El modelo se entrena de extremo a extremo con dos pérdidas: Pérdida de Modelado de Lenguaje ($L_{lm}$) para el rendimiento de la tarea y Pérdida de Imaginación ($L_{imagine}$) para el aprendizaje de representaciones predictivas, equilibradas con $\lambda_{img}=1.0$.

3. Contribuciones Clave

1. Modelo Mundial Libre de Acciones para el Afecto: Una adaptación novedosa del aprendizaje de representaciones predictivas estilo modelo mundial a la computación afectiva, eliminando la necesidad de acciones, recompensas o políticas de control.
2. Módulo de Mundo Emocional (EWM): Una arquitectura específica que comprende Imaginación Temporal Cruzada entre Modalidades, Agregación de Creencias MAMA e Inyección de Creencias, lo que permite a los MLLM razonar sobre dinámicas afectivas latentes.
3. Modelado de Estados de Creencia Predictiva: Demostrar que formular la comprensión de las emociones como modelado de estados de creencia predictiva bajo observaciones parciales produce un rendimiento superior en comparación con enfoques de fusión estática.
4. Evaluación Exhaustiva: Experimentos extensos en nueve puntos de referencia (MER2023/2024, MELD, IEMOCAP, MOSI, MOSEI, SIMS, OV-MERD+) que muestran mejoras consistentes.

4. Resultados Experimentales

AffectVerse fue evaluado en nueve puntos de referencia bajo tres configuraciones de modalidad (Audio+Texto, Video+Texto, Audio+Video+Texto).

• Resultados Principales: En la configuración completa Audio+Video+Texto, AffectVerse logró una puntuación media del 77.34%, superando la sólida línea base Qwen2.5-Omni (74.76%) y AffectGPT (74.77%) en +2.57%. Ocupó el primer lugar en 8 de los 9 puntos de referencia.
• Robustez: El modelo demostró una degradación suave bajo truncamiento temporal (variando $\kappa$) y modalidades faltantes. Cabe destacar que el truncamiento temporal moderado durante el entrenamiento actuó como un regularizador, mejorando a veces el rendimiento sobre el entrenamiento con observación completa en conjuntos de datos específicos (por ejemplo, CMU-MOSI).
• Estudios de Ablación:
  • Predicción Temporal: Añadir solo la división temporal mejoró la línea base en +0.87%.
  • Imaginación Cruzada entre Modalidades: Esto proporcionó la mayor ganancia individual (+1.00% sobre la división temporal), destacando la importancia de aprovechar señales complementarias cruzadas entre modalidades.
  • Construcción de Creencias: La agregación MAMA, la inyección intercalada y la inyección residual de límites contribuyeron con ganancias aditivas, confirmando la necesidad de la tubería completa del EWM.
  • Hiperparámetros: El rendimiento óptimo se encontró con pasos de despliegue $S=3$ y una probabilidad de eliminación de modalidades de $p=0.15$.

5. Significado y Afirmaciones

El artículo afirma que el modelado de estados de creencia predictiva es una alternativa práctica y efectiva para la computación afectiva. Al tratar la emoción no como una categoría perceptual fija, sino como un proceso que se desarrolla temporalmente moldeado por la inferencia predictiva, AffectVerse permite que los modelos actualicen su comprensión a medida que llega nueva evidencia, separando señales transitorias de estados afectivos finales.

Los autores sitúan este trabajo como un puente entre la ciencia afectiva (específicamente teorías de procesamiento predictivo y de evaluación) y el aprendizaje profundo multimodal. Afirman que su módulo mundial "libre de acciones" codifica con éxito señales de transición predictivas del cambio afectivo subsiguiente, permitiendo un reconocimiento de emociones más robusto y dinámico sin requerir señales no vistas en el momento de la inferencia.

Limitaciones Reconocidas:
Los autores señalan que la evaluación actual depende de hiperparámetros fijos de despliegue y proporción de retención. El análisis de robustez se centra en observaciones parciales de modalidad y temporal en lugar de cambios de dominio más amplios (por ejemplo, ruido, acento, cambios de tema). Se sugiere trabajo futuro para extender el modelado de creencias predictivas a una alineación más fuerte, evaluación de cambios de dominio y seguimiento de emociones a nivel de diálogo.