Resumen Técnico: De las Unidades de Acción a las Emociones

Declaración del Problema

El Reconocimiento de Expresiones Faciales (FER, por sus siglas en inglés) sigue estando limitado por desafíos prácticos como las variaciones de iluminación, las diferencias de pose y la escasez de datos anotados. Los modelos de aprendizaje profundo existentes suelen sufrir de una mala adaptabilidad cross-domain, sobreajuste e insuficiencia de interpretabilidad. Además, aunque los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) ofrecen una comprensión semántica avanzada, con frecuencia carecen de la sensibilidad para percibir deformaciones geométricas faciales sutiles y microexpresiones. El ajuste fino (fine-tuning) tradicional de extremo a extremo de los MLLMs sobre señales de "video-etiqueta" a menudo descuida las representaciones intermedias de grano fino (Unidades de Acción) que subyacen a las expresiones emocionales, lo que conduce a cadenas de razonamiento subóptimas.

Metodología

El artículo propone un Marco de Ajuste Fino de Dos Etapas con Fusión a Nivel de Decisión diseñado para cerrar la brecha entre la percepción facial de bajo nivel y la semántica emocional de alto nivel.

1. Ajuste Fino Progresivo de Dos Etapas

La estrategia central descompone el FER en dos etapas de aprendizaje secuenciales para lograr una "triple desvinculación": la percepción del razonamiento, el conocimiento independiente del dominio del conocimiento específico del dominio, y las observaciones físicas de las etiquetas de emoción.

• Etapa 1: Ajuste Fino de Detección de AU (Percepción)

  • Datos: Utiliza el conjunto de datos CAS(ME)³, que proporciona anotaciones de Unidades de Acción (AU) a nivel de fotograma.
  • Tarea: Reformula el reconocimiento de AU como una tarea de Preguntas y Respuestas Visuales (VQA). Se le instruye al modelo para identificar las AU activas basándose en la entrada visual, aprovechando el conocimiento previo del Sistema de Codificación de la Acción Facial (FACS).
  • Modelo: El modelo multimodal Qwen3-VL-32B-Instruct es ajustado mediante LoRA (Low-Rank Adaptation) para actualizar solo un pequeño subconjunto de parámetros (matrices Query y Value), preservando el conocimiento semántico-visual preentrenado mientras aprende la detección de AU.
  • Objetivo: Establecer capacidades perceptivas robustas y ajenas al dominio para micromovimientos faciales sutiles.

• Etapa 2: Ajuste Fino de Reconocimiento de Expresiones (Razonamiento)

  • Datos: Se transfiere al conjunto de datos FER-2013 (imágenes estáticas con etiquetas de emoción pero sin anotaciones de AU).
  • Tarea: El modelo, inicializado con los pesos de la Etapa 1, es ajustado adicionalmente para mapear las combinaciones de AU detectadas hacia categorías de emoción. El formato de salida requiere que el modelo razone desde las AU hacia la etiqueta de emoción final, manteniendo la estructura de VQA.
  • Estrategia: Solo se optimizan los nuevos adaptadores LoRA para el reconocimiento de emociones; el codificador visual y los adaptadores de la Etapa 1 permanecen congelados para preservar la cadena de razonamiento de AU a emoción.

2. Fusión a Nivel de Decisión

Para abordar las limitaciones de los modelos grandes puros en la percepción de deformaciones geométricas de grano fino, el marco integra el Qwen3-VL ajustado con OpenFace 3.0, un modelo de FER especializado y ligero basado en CNN.

• Mecanismo: Una interpolación lineal ponderada fusiona las distribuciones de probabilidad ($P_{VLM}$ y $P_{OpenFace}$) de los dos modelos:
  $$P_{final} = \alpha \cdot P_{OpenFace} + (1 - \alpha) \cdot P_{VLM}$$
• Racional: OpenFace 3.0 proporciona sensibilidad a los puntos de referencia faciales locales y características geométricas, mientras que el MLLM ajustado ofrece comprensión semántica de alto nivel y razonamiento contextual.

Contribuciones Clave

1. Validación de Baselines de Modelos Grandes: Evaluó sistemáticamente el rendimiento zero-shot y few-shot de Qwen3-VL-32B-Instruct en FER, estableciendo un baseline sólido.
2. Ajuste Fino de Dos Etapas Guiado por AU: Introdujo un paradigma de aprendizaje por currículo donde el modelo primero aprende la detección de AU en CAS(ME)³ antes de mapearlo a emociones en FER-2013. Esto permite que el modelo adquiera capacidades de inferencia de AU y razone a través de una cadena interpretable ("primero la inferencia de AU, segundo la predicción de emoción").
3. Colaboración de Modelos Heterogéneos: Demostró la viabilidad de la fusión a nivel de decisión entre un modelo multimodal grande y un modelo pequeño especializado (OpenFace 3.0), validando sus fortalezas complementarias.
4. Desempeño Empírico Robusto: Mostró que el marco propuesto supera significativamente a los baselines no ajustados y a los modelos especializados independientes, particularmente al mejorar el recall para clases minoritarias y aumentar la interpretabilidad.

Resultados Experimentales

Los experimentos se realizaron en el conjunto de prueba FER-2013 utilizando métricas que incluyen Exactitud (ACC), Precisión, Recall y F1-Score.

• Desempeño vs. Baselines:
  • El Qwen3-VL ajustado logró una exactitud del 66.73%, una mejora de 8 puntos porcentuales sobre el baseline no ajustado (58.73%).
  • El Modelo Fusionado (Qwen3-VL + OpenFace 3.0) logró una exactitud del 67.37%.
  • Comparado con las CNN tradicionales, el modelo fusionado supera ligeramente a GoogLeNet (67.04%) pero queda por detrás de ResNet-50 (69.33%), VGG-16 (68.75%) y DenseNet (69.38%).
  • A pesar de no superar a los modelos CNN especializados óptimos en exactitud general, el modelo fusionado demostró una Precisión Ponderada (Weighted Precision) superior (69.47%), comparable a ResNet50 (69.84%).
• Ventajas de la Fusión:
  • El modelo fusionado mostró una mejora significativa en el Macro-Recall (62.71%) comparado con el modelo grande puro (58.64%), indicando una mejor captura de clases minoritarias (ej. disgusto, miedo).
  • Comparado con OpenFace 3.0 por sí solo (48.02% de exactitud), el marco conjunto mejoró la exactitud en 19.35 puntos porcentuales (una mejora relativa del 40.3%).
• Interpretabilidad: El modelo generó con éxito explicaciones en lenguaje natural vinculando activaciones de AU específicas (ej. AU4, AU7) con juicios de emoción, proporcionando una cadena de razonamiento trazable ausente en las CNN de "caja negra".

Significado y Reivindicaciones

El artículo afirma que la estrategia de ajuste fino de dos etapas propuesta logra extraer características discriminativas para deformaciones geométricas faciales sutiles y expresiones de baja intensidad de los modelos visuales grandes, que típicamente tienen dificultades con tales detalles de grano fino.

Los autores sostienen que, si bien los modelos visuales grandes puros poseen una formidable comprensión semántica de alto nivel, exhiben limitaciones inherentes para percibir deformaciones faciales sutiles. El método propuesto aborda esto mediante:

1. Mejora de la Interpretabilidad: El uso de las AU como representaciones intermedias permite salidas de modelo trazables, aumentando la confiabilidad.
2. Mejora de la Robustez: La fusión a nivel de decisión compensa la falta de priors espaciales de grano fino en los modelos grandes, aumentando significativamente el desempeño en clases minoritarias y reduciendo el sesgo hacia las clases principales.
3. Provisión de una Nueva Vía: El estudio ofrece un paradigma técnico para construir sistemas de FER altamente robustos e interpretables mediante el aprovechamiento de las fortalezas complementarias de los MLLMs y los modelos geométricos especializados, validado por resultados empíricos que muestran ganancias sustanciales sobre la inferencia independiente de cualquiera de los dos tipos de modelos.

Los autores concluyen que, aunque la exactitud actual aún no supera a las mejores CNN especializadas absolutas, el marco demuestra una clara superioridad en la confianza de la predicción, la interpretabilidad arquitectónica y el potencial para aplicaciones sinérgicas de modelos grandes en la computación afectiva.