iMiGUE-3K: A Large-Scale Benchmark for Micro-Gesture Analysis with Self-Supervised Learning

Resumen Técnico: iMiGUE-3K: Un Benchmark a Gran Escala para el Análisis de Micro-Gestos con Aprendizaje Auto-Supervisado

Planteamiento del Problema
La investigación actual en computación afectiva y comprensión de emociones depende predominantemente de las expresiones faciales y el habla, pasando por alto con frecuencia el lenguaje corporal. Aunque existen conjuntos de datos para comportamientos faciales posados o espontáneos, hay una brecha significativa en recursos a gran escala para los Micro-Gestos (MG): movimientos involuntarios y subconscientes impulsados por sentimientos internos (por ejemplo, frotarse las manos debido al estrés). Estos gestos son cruciales para comprender emociones reprimidas, pero son difíciles de capturar y analizar debido a su naturaleza espontánea. Además, los conjuntos de datos de gestos existentes suelen ser de pequeña escala, lo que genera sobreajuste y una transferencia limitada en los modelos fundamentales. Asimismo, muchos conjuntos de datos existentes dependen de datos biométricos sensibles, planteando preocupaciones de privacidad. Actualmente no existe un conjunto de datos a gran escala, en condiciones reales (in-the-wild), diseñado para apoyar el pre-entrenamiento de modelos fundamentales específicamente para el análisis de micro-gestos.

Metodología
El artículo propone un marco integral que comprende un nuevo conjunto de datos, una estrategia de muestreo de datos y una serie de modelos fundamentales.

1. Construcción del Conjunto de Datos iMiGUE-3K:

   • Fuente: Los videos se recopilaron de conferencias de prensa posteriores a partidos de jugadores de tenis profesionales durante siete años. Este escenario proporciona un desencadenante emocional natural (victoria/derrota) y minimiza el tiempo de preparación, eliciting micro-gestos espontáneos.
   • Escala: El conjunto de datos contiene 3.484 clips de video (que suman más de 37 millones de cuadros) de 332 sujetos distintos.
   • Anotación: Incluye 32 clases de micro-gestos organizadas en cinco grupos de partes del cuerpo (Cuerpo, Cabeza, Mano, Cuerpo-Mano, Cabeza-Mano) y etiquetas de emoción a nivel de video (Victoria/Derrota).
   • Particionamiento: El conjunto de datos se divide en un subconjunto etiquetado (341 videos, 17.800 instancias de MG anotadas manualmente) para la evaluación aguas abajo y un gran subconjunto no etiquetado (aproximadamente 3.000 videos) para el pre-entrenamiento auto-supervisado.
   • Características: Los datos exhiben una distribución de cola larga de categorías de gestos y abarcan diversos orígenes culturales y de género.

2. Estrategia de Muestreo de Datos para Aprendizaje Auto-Supervisado (SSL):

   • Para utilizar los videos no etiquetados sin anotaciones temporales exhaustivas, los autores proponen una estrategia de muestreo para generar clips candidatos de alta calidad.
   • Mecanismo: La estrategia muestrea clips basándose en una prioridad de duración empírica derivada del conjunto de entrenamiento etiquetado. Impone restricciones de visibilidad de puntos clave faciales (asegurando que anclajes como la nariz y los ojos sean detectables) y filtrado de no superposición temporal para reducir la redundancia y el ruido.
   • Salida: Este proceso produce 120K clips de esqueleto no etiquetados adecuados para el pre-entrenamiento.

3. MG-FMs (Modelos Fundamentales):

   • Los autores introducen MG-FMs, una serie de modelos fundamentales discriminativos diseñados para aprender representaciones transferibles para MG.
   • Arquitectura: El marco incluye dos ramas específicas de modalidad:
     • MG-FM-Skele: Un modelo basado en esqueleto que adapta la arquitectura USDRL con un Codificador Espacio-Temporal Doble Densamente Conectado (DSTE) de doble flujo. Utiliza objetivos de decorrelación de características (similitud, varianza, correlación cruzada) sobre vistas aumentadas (jitter de velocidad, omisión de cuadros, corrupción de articulaciones).
     • MG-FM-RGB: Un modelo basado en RGB que utiliza un marco de modelado de video enmascarado estilo maestro-alumno SMILE. Reconstruye objetivos semánticos de alto nivel (extraídos por un encoder ViCLIP congelado) en lugar de píxeles crudos, empleando una estrategia de pre-entrenamiento progresivo en dos etapas.

4. Protocolos de Evaluación:
   El benchmark evalúa los modelos en cinco tareas:

   • Reconocimiento no supervisado de MG (Sondeo lineal).
   • Reconocimiento semi-supervisado de MG (Ajuste fino con el 10% de datos etiquetados).
   • Reconocimiento supervisado de MG (Ajuste fino completo).
   • Recuperación de MG (Búsqueda de vecinos más cercanos sin entrenamiento).
   • Reconocimiento de emociones basado en MG (Clasificación binaria a nivel de video: Victoria vs. Derrota).

Contribuciones Clave

1. iMiGUE-3K: El primer conjunto de datos a gran escala, en condiciones reales, diseñado específicamente para el análisis de micro-gestos, que apoya el pre-entrenamiento de modelos fundamentales. Cierra la brecha entre el reconocimiento de comportamiento y la comprensión de emociones vinculando MG con estados emocionales (victoria/derrota).
2. Benchmark Ampliado: Extiende el alcance más allá de la clasificación de conjunto cerrado para incluir la recuperación de MG y el reconocimiento de emociones basado en MG, avanzando hacia el análisis afectivo a nivel de instancia y a nivel de video.
3. Estrategia de Muestreo Novel: Un método escalable para generar clips candidatos de alta calidad y longitud de MG a partir de videos no etiquetados utilizando prioridades de duración empíricas y restricciones de visibilidad, habilitando un SSL efectivo.
4. MG-FMs: Una serie de modelos pre-entrenados auto-supervisados (ramas de esqueleto y RGB) que aprenden representaciones transferibles para micro-gestos.
5. Evaluación Integral: Experimentos extensos que demuestran que el pre-entrenamiento auto-supervisado a gran escala mejora significativamente el rendimiento en diversas tareas aguas abajo, a menudo igualando o superando las líneas base totalmente supervisadas.

Resultados

• Reconocimiento No Supervisado: La variante multi-flujo basada en esqueleto (MG-FM-Skele) logró una precisión Top-1 del 57,61% mediante sondeo lineal, desempeñándose al nivel del BlockGCN de 4 flujos totalmente supervisado (57,85%). La rama RGB logró un 43,59%.
• Reconocimiento Semi-Supervisado: Con solo el 10% de datos etiquetados, MG-FM-RGB mejoró significativamente hasta un 60,16% Top-1, mientras que la rama de esqueleto se mantuvo competitiva.
• Reconocimiento Supervisado: MG-FM-RGB logró la mayor precisión entre los métodos comparados con un 69,42% Top-1. Un ensamble multimodal (combinando esqueleto y RGB) alcanzó un 71,60% Top-1, superando a los métodos de ensamble supervisados existentes.
• Recuperación: El modelo de esqueleto demostró un rendimiento de recuperación sin entrenamiento superior (40,06% Top-1 para el flujo de movimiento) en comparación con el modelo RGB (22,56%).
• Reconocimiento de Emociones: En la tarea a nivel de video (predecir victoria/derrota), el método propuesto de dos flujos logró una precisión de 0,64, superando a las líneas base externas (0,63) que utilizaban pipelines más complejos que incluían características faciales.

Significado y Afirmaciones
El artículo afirma que este trabajo proporciona herramientas integrales para el análisis de micro-gestos y establece una base sólida para futuras investigaciones en diagnóstico psicológico, computación afectiva e interacción humano-computadora. Al demostrar que el aprendizaje auto-supervisado en datos a gran escala que preservan la privacidad (no específicos de biométricos) puede generar representaciones altamente transferibles a tareas aguas abajo, los autores argumentan que el análisis basado en micro-gestos es un enfoque viable y efectivo para mejorar la comprensión de las emociones. El trabajo destaca que las máquinas pueden reconocer e interpretar con precisión estas señales sutiles e involuntarias para inferir estados emocionales, ofreciendo una alternativa que preserva la privacidad al reconocimiento de emociones basado en biométricos tradicionales.