💻 computer science

SignMAE: Segmentation-Driven Self-Supervised Learning for Sign Language Recognition

SignMAE introduce un método de preentrenamiento auto-supervisado impulsado por segmentación que utiliza enmascaramiento basado en segmentación para capturar mejor las señales manuales de alta precisión, logrando un rendimiento de vanguardia en múltiples conjuntos de datos de lengua de señas con requisitos de entrada reducidos.

Autores originales: Kunyuan Xie, Zhixi Cai, Kalin Stefanov

Publicado 2026-05-05

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kunyuan Xie, Zhixi Cai, Kalin Stefanov

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina intentar aprender un idioma donde no puedes oír una sola palabra, pero debes entender cada pequeño movimiento de las manos, la cara y el cuerpo de alguien. Esto es el Reconocimiento de la Lengua de Señas. El desafío es que las "palabras" (señas) a menudo se realizan mediante movimientos muy específicos y sutiles de las manos, mientras que el resto del video es simplemente ruido de fondo como una pared, una camisa o una habitación.

La mayoría de los programas informáticos que intentan aprender este idioma son como estudiantes que tratan de leer un libro entero para entender una sola oración. Observan todo el cuadro del video, se distraen con el fondo y a menudo pasan por alto los pequeños movimientos cruciales de las manos que realmente transmiten el significado.

El artículo presenta un nuevo método llamado SignMAE. Imagínalo como un tutor inteligente que enseña a una computadora a enfocarse solo en las manos, ignorando el resto del mundo.

Así es como funciona SignMAE, desglosado en pasos simples:

1. La Preparación del "Foco" (Preprocesamiento de Datos)

Antes de que la computadora comience a aprender, el sistema actúa como un director de escena. Escanea el video y pregunta: "¿Dónde están las manos?".

Si las manos de la persona están simplemente colgando a los lados (no están haciendo señas), el sistema elimina esos cuadros.
Luego hace zoom y resalta las áreas específicas del video donde se mueven las manos y los brazos.
La Analogía: Imagina a un profesor que toma una foto borrosa de un aula, recorta los pupitres y las caras de los estudiantes, y los pega en una nueva hoja de papel para que el estudiante pueda estudiar solo las caras, ignorando los pupitres desordenados del fondo.

2. El Entrenamiento con "Venda" (Aprendizaje Auto-supervisado)

Esta es la magia central del artículo. El sistema utiliza una técnica llamada Codificación Automática enmascarada.

El Juego: Se le muestra a la computadora un video de alguien haciendo señas, pero partes del video están cubiertas por una "venda" (enmascaradas).
La Tarea: La computadora debe adivinar qué hay bajo la venda basándose en lo que puede ver.
El Giro: En los métodos anteriores, la venda se colocaba al azar. A veces cubría las manos; a veces cubría la pared vacía. Esto era ineficiente.
La Estrategia de SignMAE: La venda es inteligente. Está guiada por el mapa de segmentación. Cubre específicamente las manos y los brazos, obligando a la computadora a deducir la forma y el movimiento de la mano basándose en el contexto de las otras partes visibles.
- Analogía: Imagina un rompecabezas donde faltan las piezas de las "manos". Un solucionador de rompecabezas estándar podría adivinar al azar. SignMAE obliga al solucionador a observar las pistas restantes del brazo y el cuerpo para deducir exactamente cómo es la pieza faltante de la mano. Esto enseña a la computadora a entender la relación entre las manos y el cuerpo.

3. Dos Lentes Diferentes (Aprendizaje Multi-canal)

SignMAE no utiliza solo una forma de ver el video. Entrena dos "cerebros" (codificadores) diferentes simultáneamente:

El Cerebro "Global": Este observa todo el video con una venda aleatoria. Aprende la imagen general: el flujo general del movimiento y el contexto del fondo.
El Cerebro "Enfocado en las Manos": Este utiliza la venda inteligente guiada por las manos. Aprende los pequeños movimientos detallados de los dedos y las muñecas.
El Cerebro "Esqueleto": Este observa un mapa simplificado de las articulaciones (puntos clave) en lugar de los píxeles brutos del video. Se centra puramente en la geometría del movimiento.

4. La "Reunión de Equipo" (Fusión)

Una vez que estos cerebros se han entrenado por separado, se unen.

El sistema congela su conocimiento para que no olviden lo aprendido.
Luego utiliza un mecanismo de Atención Cruzada. Imagina esto como una reunión de equipo donde el "Cerebro Global" le pregunta al "Cerebro Enfocado en las Manos": "¿Qué estaba haciendo exactamente ese dedo?" y el "Cerebro Esqueleto" interviene diciendo: "La articulación se movió de esta manera".
Combinan sus respuestas para tomar una decisión final sobre qué seña se realizó.

Los Resultados: Por Qué Importa

Los autores probaron esto en tres conjuntos de datos importantes de lenguas de señas (estadounidense, chino y ruso).

Mayor Precisión: SignMAE logró los mejores resultados (Estado del Arte) en comparación con métodos anteriores.
Eficiencia: Funciona mejor incluso cuando utiliza menos cuadros de video (32 cuadros en lugar de 64) y menos tipos de datos (solo video y mapas de manos, sin necesidad de sensores adicionales como cámaras de profundidad).
Enfoque: Las visualizaciones mostraron que, mientras los modelos antiguos se distraían con el fondo o con la cara del firmante, SignMAE mantuvo su atención firmemente bloqueada en las manos, exactamente donde se habla el idioma.

En resumen: SignMAE es una nueva forma de enseñar a las computadoras la lengua de señas obligándolas a ignorar el fondo y jugar un juego de "rellenar los espacios en blanco" enfocado específicamente en las manos. Esto les ayuda a aprender los detalles sutiles y finos de la lengua de señas mucho más rápido y con mayor precisión que antes.

Resumen Técnico: SignMAE

Enunciado del Problema

El Reconocimiento de Lenguaje de Señas Aislado (ISLR) enfrenta desafíos significativos debido a las sutiles diferencias visuales entre las señas, donde las manos —que portan la señal lingüística primaria— ocupan solo una pequeña porción del cuadro de video. Los métodos existentes a menudo dependen de codificadores preentrenados en conjuntos de datos genéricos de reconocimiento de acciones (por ejemplo, VideoMAE), que tratan el cuadro completo de manera uniforme. Este enfoque falla en capturar eficazmente las señales manuales de alta resolución, ya que las estrategias de enmascaramiento aleatorio suelen muestrear regiones de fondo en lugar de las áreas lingüísticamente relevantes de manos y brazos. Además, aunque existen métodos basados en esqueletos, a menudo sufren errores en la detección de puntos clave y carecen de detalles visuales de alta resolución, mientras que los métodos basados en video suelen subestimar las manos a pesar de su importancia.

Metodología

Los autores proponen SignMAE, un marco de aprendizaje auto-supervisado impulsado por segmentación, diseñado para aprender representaciones complementarias centradas en las manos a partir de video y puntos clave. La tubería consta de cuatro etapas secuenciales:

1. Preprocesamiento de Datos

Para maximizar la relación señal-ruido, el marco estandariza los videos crudos y extrae las regiones relevantes:

Recorte: Un modelo de detección identifica el cuadro delimitador del firmante para recortar los cuadros.
Filtrado de Cuadros: Se eliminan los cuadros donde las manos cuelgan naturalmente o están ausentes basándose en parámetros geométricos (ángulos y distancias hombro-codo-muñeca).
Extracción de Parches: El video se divide en parches espacio-temporales ( $2 \times 16 \times 16$ ), con un enfoque en extraer "parches importantes" que contienen manos.

2. Preentrenamiento Auto-Supervisado Multi-Corriente

SignMAE emplea una arquitectura de tres corrientes donde los codificadores se preentrenan de forma independiente para aprender sesgos inductivos distintos:

Codificador de Video (Enmascaramiento de Tubo): Preentrenado utilizando enmascaramiento aleatorio de tubos (enfoque estándar de VideoMAE) para capturar contexto global de baja resolución y patrones de movimiento a larga distancia.
Codificador de Video (Enmascaramiento Guiado por Manos): Preentrenado utilizando una estrategia de enmascaramiento espacio-temporal basada en segmentación. Este codificador se centra exclusivamente en reconstruir regiones de manos y brazos. La estrategia de enmascaramiento se adapta al tipo de seña:
- Señas con dos manos: Se aplica enmascaramiento espacial direccional basado en las tasas de superposición de las manos para prevenir la fuga de información.
- Señas con una mano: El brazo estático se preserva mientras la mano en movimiento se enmascara direccionalmente.
- Enmascaramiento temporal: Se eliminan cuadros consecutivos en el medio de la secuencia para forzar la inferencia de trayectorias de movimiento.
Codificador de Mapas de Calor de Puntos Clave: Preentrenado de manera similar al codificador de video guiado por manos, pero restringido solo a regiones de manos, enfatizando las trayectorias de las articulaciones sobre la apariencia de los píxeles.

El objetivo es una tarea de enmascarar y reconstruir donde el decodificador reconstruye solo los tokens enmascarados (regiones de manos/brazos para video, regiones de manos para puntos clave) utilizando la pérdida de Error Cuadrático Medio (MSE).

3. Ajuste Fino Unimodal

Los decodificadores de reconstrucción se reemplazan con cabezales de clasificación lineales ligeros. Los dos codificadores de video y el codificador de puntos clave se ajustan finamente por separado en la tarea de ISLR utilizando mixup en modo por lotes para generar etiquetas suaves.

4. Fusión Multimodal

Los codificadores preentrenados se congelan y sus representaciones se fusionan utilizando un mecanismo de atención cruzada:

Fusión Video-Video: Los tokens del codificador enmascarado por tubo actúan como consultas, mientras que los tokens del codificador guiado por manos sirven como claves y valores.
Fusión Video-Puntos Clave: Los tokens de video fusionados resultantes actúan como consultas, mientras que los tokens del mapa de calor de puntos clave sirven como claves y valores.
El vector de características concatenado final se pasa a un cabezal de predicción para la clasificación de glosas.

Contribuciones Clave

Marco SignMAE: Un marco auto-supervisado que aprende representaciones complementarias centradas en las manos a partir de video y puntos clave específicamente para ISLR.
Enmascaramiento Guiado por Segmentación: La introducción de estrategias de enmascaramiento que reconstruyen solo tokens de regiones de manos durante el preentrenamiento. Esto fuerza a los codificadores a centrarse en información lingüísticamente relevante en lugar de ruido de fondo, abordando la ineficiencia del enmascaramiento aleatorio de tubos en contextos de lenguaje de señas.
Rendimiento del Estado del Arte: Validación en tres conjuntos de datos principales (WLASL, NMFs-CSL y Slovo) que demuestra una mayor precisión con menos cuadros de entrada y modalidades en comparación con métodos anteriores.

Resultados Experimentales

Los autores evaluaron SignMAE en tres conjuntos de datos:

WLASL (2,000 glosas): Logró una precisión Top-1 por instancia del 60.95% y una precisión Top-1 por clase del 58.29%. Esto supera al estado del arte anterior (SAM-SLR-v2) en un 1.56% y un 1.66% respectivamente, a pesar de usar solo clips de 32 cuadros y menos modalidades (video + puntos clave vs. video + puntos clave + flujo óptico + profundidad).
NMFs-CSL (Lenguaje de Señas Chino): Logró una precisión Top-1 del 80.8%, superando al mejor anterior (MASA) en un 0.7%.
Slovo (Lenguaje de Señas Ruso): Logró una precisión Top-1 del 76.86%, mejorando al mejor anterior en un 0.33%.

Estudios de Ablación confirmaron que:

El enmascaramiento espacio-temporal guiado por manos supera significativamente al enmascaramiento aleatorio de tubos y a las estrategias de reconstrucción de cuadros completos.
El rendimiento escala con el volumen de datos de preentrenamiento.
La fusión multimodal mediante atención cruzada produce la mayor precisión, confirmando que la apariencia del video y el movimiento de los puntos clave proporcionan señales complementarias.
Las visualizaciones muestran que el codificador guiado por manos atiende con mayor fidelidad a las manos tanto en contextos de señas estáticas como dinámicas en comparación con los codificadores enmascarados por tubo.

Significancia

El artículo afirma que SignMAE aborda la ineficiencia fundamental del preentrenamiento de reconocimiento de acciones genérico para el lenguaje de señas. Al ubicar explícitamente las regiones de las manos durante el preprocesamiento y guiar el proceso de aprendizaje auto-supervisado con señales de segmentación, el método aprende representaciones que capturan la apariencia de alta resolución y los patrones de movimiento únicos del lenguaje de señas. Los autores enfatizan que este enfoque permite un rendimiento sólido con una configuración más ligera (menos cuadros y modalidades) que los métodos competidores, validando que un enfoque en regiones lingüísticamente informativas es crítico para avanzar en ISLR.