💻 computer science

GMoT: Gated Motion-Aware Tokenization for Fine-Grained Micro-Gesture Video Reasoning with Multimodal LLMs

Este artículo presenta GMoT, un módulo de Tokenización Consciente del Movimiento con Puerta (Gated Motion-Aware Tokenization) combinado con un paradigma de refinamiento de política guiado por recompensa progresiva, para mejorar la capacidad de los Modelos de Lenguaje de Gran Escala Multimodales para realizar el razonamiento de videos de microgestos finos mediante la destilación explícita de evidencia cinemática dispersa y fundamentación anatómica, logrando un rendimiento de vanguardia en los bancos de pruebas iMiGUE y SMG.

Autores originales: Taorui Wang, Wei Xia, Hui Ma, Zijia Song, Jiayu Zhang, Zeheng Wang, Yong Xu, Zitong Yu

Publicado 2026-07-21

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Taorui Wang, Wei Xia, Hui Ma, Zijia Song, Jiayu Zhang, Zeheng Wang, Yong Xu, Zitong Yu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a entender el lenguaje corporal humano. Le muestras un vídeo de una persona y quieres que el robot te diga exactamente qué está sintiendo o pensando esa persona basándose en un movimiento diminuto. Este es el mundo de la visión artificial, una rama de la ciencia donde las computadoras aprenden a "ver" e interpretar el mundo visual. Por lo general, estas computadoras son excelentes detectando acciones grandes y obvias como correr, saltar o saludar. Pero existe un rincón complicado en este mundo llamado microgestos. Estos son los movimientos súper sutiles que todos hacemos sin pensar: un rápido tic en un dedo, un encogimiento de hombros apenas perceptible o un tensado momentáneo de los labios. Ocurren tan rápido y en un espacio tan pequeño que son fáciles de pasar por alto.

El problema es que las computadoras más inteligentes que leen vídeo hoy en día, conocidas como Modelos de Lenguaje Extensos Multimodales (MLLM), son como estudiantes que son muy buenos leyendo libros de texto pero terribles viendo una obra de teatro en vivo. Están tan enfocadas en el panorama general —la postura estática, el fondo, el rostro de la persona— que a menudo pasan por alto las pistas diminutas y fugaces que realmente revelan la verdad. Podrían mirar a una persona con los brazos cruzados y adivinar "enojado", perdiendo por completo el hecho de que la persona acaba de dar un golpecito con el dedo una vez, lo cual significa "impaciente". Este artículo aborda el desafío de enseñar a estos poderosos modelos de IA a dejar de adivinar basándose en el panorama general y empezar a prestar atención a los detalles diminutos y móviles que importan.

El Problema: La Trampa de la "Instantánea Estática"

Piensa en una IA de vídeo estándar como un fotógrafo que toma una única instantánea borrosa de una película e intenta adivinar la trama. Si la película trata sobre una persona sacudiendo los hombros con nerviosismo, una IA estándar podría simplemente ver a una persona de pie e interpretar "parado". Se pierde el movimiento porque observa el vídeo con demasiada lentitud o promedia todo, eliminando los pequeños y rápidos movimientos.

Los autores de este artículo, Taorui Wang y su equipo, notaron que los modelos de IA existentes estaban haciendo "conjeturas apresuradas". Observaban una postura de brazos cruzados e inmediatamente decidían que la persona estaba "defensiva", ignorando un sutil golpecito de dedos que podría significar algo completamente distinto. Los modelos dependían de apariencias estáticas (cómo se ve la persona) en lugar de evidencia cinemática (cómo se movió). Peor aún, debido a que los modelos solo eran recompensados por acertar la respuesta final, a veces "alucinaban": inventaban una razón sofisticada para su conjetura que sonaba lógica pero que no tenía nada que ver con lo que realmente estaba sucediendo en el vídeo.

La Solución: GMoT (El "Detective del Movimiento")

Para solucionar esto, el equipo construyó una nueva herramienta llamada GMoT (Tokenización Consciente del Movimiento con Compuerta). Imagina que tienes un detective muy inteligente pero un poco perezoso (el modelo de IA) que intenta resolver un misterio. El detective suele simplemente echar un vistazo a la escena del crimen y adivinar. GMoT es como un asistente especializado que le entrega al detective una lupa y un resaltador.

Así es como funciona GMoT, paso a paso:

Iluminar la Acción: En lugar de mirar todos los fotogramas del vídeo por igual, GMoT actúa como un reflector. Escanea el vídeo para encontrar exactamente dónde está ocurriendo el movimiento (como un dedo específico o un hombro) e ignora el ruido aburrido del fondo.
2.Congelar el Movimiento: Toma dos fotogramas del vídeo que están uno al lado del otro y resta uno del otro. Esto es como tomar dos fotos de un corredor y restar la primera de la segunda para dejar solo el "desenfoque" del movimiento. Esto aisla la energía pura del movimiento, eliminando las partes estáticas del cuerpo de la persona.
La Inyección con "Compuerta": El equipo temía que añadir esta nueva "información de movimiento" pudiera confundir el cerebro existente de la IA. Por ello, construyeron una "compuerta" (un interruptor de control). Al principio, la compuerta está casi cerrada, permitiendo que la IA dependa de lo que ya sabe. A medida que la IA aprende, la compuerta se abre lentamente, dejando entrar la cantidad justa de pistas de movimiento para ayudar a la IA a hacer una mejor conjetura sin abrumarla.

El Entrenamiento: Aprender a Explicar, No Solo a Adivinar

El equipo no solo quería que la IA obtuviera la respuesta correcta; querían que explicara su razonamiento basado en lo que realmente vio. Para lograrlo, crearon un proceso de entrenamiento especial con cuatro etapas:

Calentamiento: Enseñaron al nuevo módulo GMoT cómo encontrar movimiento en vídeos generales primero.
Adaptación de Dominio: Le mostraron miles de vídeos de microgestos para que aprendiera el lenguaje específico de los movimientos diminutos.
Aprendizaje de Cadena de Pensamiento (CoT): Enseñaron a la IA a escribir sus pensamientos antes de dar la respuesta. En lugar de solo decir "Sacudir Hombros", tenía que decir: "Veo los hombros moviéndose arriba y abajo rápidamente, lo que indica...".
Refinamiento Guiado por Recompensa: Este fue el pulido final. Establecieron un sistema de puntuación que castigaba a la IA por "conjeturas perezosas" (elegir la respuesta más común sin mirar) y la recompensaba por centrarse en el movimiento real. Si la IA intentaba inventar una historia sobre el fondo o el estado de ánimo de la persona sin ver el movimiento, recibía una penalización. Si señalaba la parte específica del cuerpo que se movía, recibía una recompensa.

Los Resultados: Ver lo Invisible

El equipo probó su nuevo sistema en dos conjuntos de datos principales para microgestos: iMiGUE y SMG.

En el conjunto de datos iMiGUE, su modelo (basado en la arquitectura Qwen3-VL-8B) alcanzó una precisión del 67.32%. Esto fue un gran salto, mejorando el modelo base en 6.80 puntos.
En el conjunto de datos SMG, alcanzó un 73.11% de precisión, una mejora de 3.11 puntos sobre el modelo base.

Estas cifras significan que el modelo es significativamente mejor para detectar esos movimientos fugaces y diminutos que otros modelos pasan por alto. Pero el equipo no se detuvo solo en la puntuación. Introdujeron una nueva forma de medir si la IA estaba realmente "anclada" en la realidad. Comprobaron si la explicación de la IA mencionaba la parte del cuerpo correcta (como "labios" o "hombros") cuando acertaba la respuesta. A esto lo llaman Recuperación de Anclaje de Región Corporal (BRG Recall). Su modelo demostró que no estaba simplemente adivinando; realmente estaba mirando en los lugares correctos.

Por Qué Esto Importa

Este artículo sugiere que, para que la IA comprenda verdaderamente el comportamiento humano, debe dejar de depender de instantáneas estáticas y empezar a prestar atención al "parpadeo" del movimiento. Al construir un sistema que busca explícitamente estas pistas diminutas y transitorias y obliga a la IA a explicar su razonamiento basándose en ellas, los investigadores han creado un modelo que es menos propenso a las alucinaciones y más propenso a comprender el lenguaje sutil y no verbal del cuerpo humano. Es un paso hacia una IA que no solo ve cómo nos vemos, sino que entiende lo que estamos haciendo.

Resumen Técnico: GMoT para el Razonamiento de Video de Microgestos de Grano Fino

Planteamiento del Problema

El reconocimiento de microgestos (MGR) implica la detección de movimientos humanos fugaces y espacialmente localizados (por ejemplo, un ligero encogimiento de hombros o una presión de los labios) que revelan estados afectivos y cognitivos latentes. Estas acciones se caracterizan por una baja amplitud, una duración corta y regiones espaciales estrechas, que a menudo abarcan solo unos pocos fotogramas.

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) actuales, aunque potentes para la comprensión de video general, tienen dificultades con el MGR debido a dos limitaciones principales:

Sesgo Estático: Los MLLMs de video estándar dependen de un muestreo temporal disperso y de la agrupación temporal (pooling), lo que diluye o pierde señales cinemáticas sutiles. En consecuencia, los modelos tienden a depender de "priors de postura estática" (por ejemplo, clasificar una postura de brazos cruzados) en lugar de las señales de movimiento discriminativas.
Razonamiento Alucinado: Sin restricciones explícitas, los MLLMs suelen generar trazas de razonamiento que suenan plausibles pero que carecen de fundamento visual ("adivinación apresurada") para satisfacer la etiqueta de clasificación final, fallando al proporcionar explicaciones basadas en evidencia.

Las evaluaciones existentes que se centran únicamente en la precisión Top-1 dentro de un único conjunto de datos no logran verificar si los modelos capturan verdaderamente micro-dinámicas transferibles o si simplemente memorizan sesgos de apariencia específicos del conjunto de datos.

Metodología: GMoT

Los autores proponen GMoT (Gated Motion-Aware Tokenization - Tokenización Consciente del Movimiento mediante Puerta), un módulo ligero diseñado para inyectar un sesgo cinemático explícito en un MLLM convencional sin interrumpir su interfaz visual-lingüística preentrenada. GMoT opera a través de tres mecanismos centrales:

1. Tokenización Consciente del Movimiento

GMoT destila pistas espacio-temporales dispersas en una secuencia compacta de tokens de movimiento antes de que se fusionen con el flujo visual:

Saliencia Espacial Impulsada por el Movimiento: Un evaluador ligero proyecta los tokens de parches para generar puntuaciones de relevancia, aplicando un softmax espacial para crear una representación ponderada a nivel de fotograma. Esto actúa como un filtro aprendido para amplificar la evidencia de movimiento localizado mientras se suprime el ruido de fondo.
Diferenciación Temporal Inspirada en la Cinemática: En lugar de depender de mezclas temporales complejas, GMoT computa diferencias temporales explícitas entre fotogramas adyacentes. Esto se desacopla en dos flujos: la magnitud media (que cuantifica la energía del movimiento) y la diferencia con signo (que preserva la cinemática direccional). Estos se concatenan y proyectan en un token de movimiento de longitud fija.
Puerta Adaptativa de Preservación Semántica: Para evitar la interrupción del espacio semántico-visual alineado del MLLM preentrenado, el token de movimiento se fusiona mediante una puerta semántica de inicialización conservadora ( $\tilde{z}_t = z_t + \sigma(g) \odot m_t$ ). La puerta comienza en un régimen de "casi cerrada", permitiendo que el modelo aprenda gradualmente cuánta evidencia de movimiento introducir.

2. Estrategia de Entrenamiento

Los autores emplean un pipeline de entrenamiento progresivo de cuatro etapas para transicionar el modelo desde la clasificación simple hacia el razonamiento basado en evidencia:

Etapa 0 (Calentamiento/Warm-up): El módulo GMoT se entrena en conjuntos de datos de video generales mientras se congelan el codificador de visión y el LLM para estabilizar la generación de tokens de movimiento.
Etapa 1 (Emparejamiento Video-Etiqueta): Ajuste fino supervisado (SFT) en pares de video-etiqueta de microgestos utilizando LoRA para alinear las representaciones visuales con la semántica específica del dominio.
Etapa 2 (SFT de formato CoT): El modelo es entrenado para generar descripciones de Cadena de Pensamiento (CoT) centradas en la evidencia de movimiento observable. Esta etapa utiliza un pipeline de anotación semiautomático donde múltiples LMMs generan descripciones candidatas, y un selector (Qwen3-VL-MoE) elige la que es correcta en clase, está fundamentada visualmente y está libre de alucinaciones.
Etapa 3 (Refinamiento de Política Guiado por Recompensa): Una fase de aprendizaje por refuerzo utilizando Optimización de Política Relativa de Grupo (GRPO). La función de recompensa ( $R_i$ $R_{i}$ ) combina cuatro términos:
- Corrección de Etiqueta ( $R_{label}$ ): Recompensa coincidencias exactas, penaliza adivinaciones incorrectas y penaliza severamente las alucinaciones fuera del dominio.
- Penalización de Predicción Perezosa ( $R_{lazy}$ ): Desalienta al modelo de explotar distribuciones de cola larga mediante el uso repetitivo de clases de alta frecuencia.
- Cumplimiento de Formato ( $R_{format}$ ): Asegura que la salida siga la plantilla de CoT requerida.
- Enfoque en la Observación ( $R_{focus}$ ): Penaliza las trazas de razonamiento que contienen palabras clave irrelevantes del fondo.

Principales Contribuciones

Módulo GMoT: Un enfoque de tokenización novedoso que integra saliencia espacial, diferenciación temporal explícita y fusión mediante puerta en los MLLMs, permitiéndoles capturar microgestos sutiles sin convoluciones 3D pesadas.
Entrenamiento Orientado al Razonamiento: Un marco que combina la supervisión de CoT semiautomática con una estrategia de refinamiento de política progresiva guiada por recompensas. Esto fomenta la fundamentación anatómica y la resistencia a la "adivinación perezosa" basada en la apariencia.
Protocolos de Evaluación más Amplios:
- Recall de Fundamentación de Región Corporal (BRG): Una nueva métrica computada en muestras clasificadas correctamente para cuantificar con qué frecuencia el razonamiento del modelo identifica correctamente la región anatómica relevante.
- Transferencia de Dominio Cruzado: Un protocolo de transferencia de etiquetas superpuestas entre los conjuntos de datos iMiGUE y SMG para probar la robustez bajo el cambio de dataset.

Resultados Experimentales

El método fue evaluado en los conjuntos de datos iMiGUE y SMG utilizando el backbone Qwen3-VL-8B.

Precisión Top-1: GMoT logró un 67.32% en iMiGUE y un 73.11% en SMG. Esto representa una mejora de +6.80 y +3.11 puntos sobre el baseline Qwen3-VL-8B, respectivamente.
Comparación: El modelo aumentado con GMoT superó a todos los baselines de CNN, Transformer y Modelos de Espacio de Estado (SSM), así como a otros MLLMs (ej. InternVL2.5, Video-LLaMA2).
Robustez: El modelo mantuvo ganancias claras bajo corrupciones que preservan las etiquetas y demostró fuertes capacidades de transferencia de dominio cruzado.
Fundamentación: El marco demostró una alta fundamentación anatómica en sus razonamientos generados, según lo medido por el propuesto Recall de BRG.

Significado y Reivindicaciones

El artículo argumenta que el campo del reconocimiento de microgestos requiere un cambio de paradigma de un reconocimiento puramente impulsado por etiquetas hacia un razonamiento cinemático basado en evidencia.

Los autores afirman que GMoT aborda con éxito el "sesgo estático" inherente a los MLLM de video actuales al destilar explícitamente el movimiento local débil en tokens compactos. Al imponer un régimen de entrenamiento que penaliza las alucinaciones y recompensa el enfoque anatómico, el marco no solo mejora la precisión de la clasificación, sino que también genera explicaciones interpretables y visualmente fundamentadas. El trabajo destaca que, para el análisis conductual de grano fino, los modelos deben ser forzados a atender a qué se movió y cómo cambió, en lugar de depender de patrones de apariencia estática.

Los autores señalan que, si bien el enfoque muestra mejoras significativas, está diseñado específicamente para el razonamiento de microgestos y no resuelve inherentemente los desafíos del aprendizaje incremental de clases, aunque se inspira en métodos de aprendizaje continuo respecto a la adaptación de representaciones. Todo el código está programado para ser liberado públicamente.