ViPo-MLLM: Visual-Pose Multimodal LLM for Gloss-Free Sign Language Translation

Resumen Técnico: ViPo-MLLM para la Traducción de Lengua de Señas sin Glosas

Planteamiento del Problema
La traducción de lengua de señas (SLT, por sus siglas en inglés) tiene como objetivo cerrar las brechas de comunicación convirtiendo videos de lengua de señas en oraciones habladas. Mientras que los sistemas iniciales dependían de enfoques basados en "glosas" utilizando anotaciones de tipo palabra como intermediarios, estos métodos sufren de altos costos de anotación, escalabilidad limitada y estructuras de oraciones rígidas. La SLT "sin glosas" (gloss-free), que traduce videos directamente a texto fluido sin glosas intermedias, es una alternativa prometedora pero sigue siendo un desafío. Los métodos actuales sin glosas suelen depender de características de un solo modo o representaciones de fusión débil, fallando al capturar los detalles articulatorios finos (manos, cuerpo, señales faciales) y las dependencias temporales de largo alcance necesarias para una traducción precisa. Además, la fusión ingenua de datos visuales y de pose a menudo no logra alinear estas modalidades de manera efectiva.

Metodología: ViPo-MLLM
Los autores proponen ViPo-MLLM (Modelo de Lenguaje Multimodal de Visual-Pose), un marco diseñado para integrar características RGB espacio-temporales y pistas de pose humana a través de un mecanismo de atención transmodal. La arquitectura opera de la siguiente manera:

1. Extracción de Características:

   • Características RGB Espacio-Temporales ($Z_s$): Extraídas utilizando un codificador USTM preentrenado (basado en etapas de Swin Transformer con adaptadores temporales). El codificador está congelado y las cabezas específicas de la tarea (MS-TCN, BiLSTM) se descartan para evitar el sesgo temporal, produciendo representaciones a nivel de fotograma.
   • Características de Pose ($Z_p$): Extraídas mediante OpenPose para estimar la pose de todo el cuerpo y de las manos con gran detalle. En lugar de mapas de calor, las características intermedias se agrupan espacialmente por fotograma para crear vectores de dimensión fija.

2. Fusión Multimodal:

   • Modelado Temporal Intra-Modal (IMTM): Tanto $Z_s$ como $Z_p$ son proyectados en un espacio compartido y procesados por una Red Convolucional Temporal (TCN) de 1D compartida de 2 capas para capturar la dinámica temporal local dentro de cada modalidad.
   • Modelado Temporal Transmodal (CMTM): Las salidas de los bloques IMTM se concatenan y se pasan a través de un módulo de Atención Transmodal (CMA) de 4 capas. Este bloque permite el modelado temporal global y captura las dependencias entre las modalidades visual y de pose.
   • Proyección: La representación fusionada se proyecta mediante un MLP para coincidir con la dimensión de incrustación (embedding) del Modelo de Lenguaje Grande (LLM).

3. Modelado de Lenguaje y Entrenamiento:

   • Construcción de Prompts: Las características fusionadas de visual-pose se concatenan con un prompt estructurado que contiene instrucciones de la tarea y ejemplos de pocos disparos (ej. traducciones al español/francés/inglés) para condicionar al LLM.
   • Objetivos de Aprendizaje: El modelo se entrena de extremo a extremo utilizando una combinación de dos pérdidas:
     • Pérdida Contrastiva: Alinea una representación global del video (agrupada desde las características fusionadas) con la representación global de la incrustación del texto de referencia (ground-truth).
     • Pérdida de Entropía Cruzada: Pérdida estándar de modelado de lenguaje donde el LLM genera la traducción objetivo basada en la entrada conjunta del prompt y las características fusionadas.
   • Ajuste Fino (Fine-Tuning): El esqueleto del LLM (mT0-XL) se ajusta mediante LoRA (Adaptación de Bajo Rango).

Contribuciones Clave
El artículo describe cuatro contribuciones principales:

1. Marco ViPo-MLLM: Una arquitectura novedosa que integra pistas de RGB espacio-temporal y de pose mediante atención transmodal para la SLT sin glosas.
2. Estrategia de Fusión Explícita: Un mecanismo específico de fusión video-pose (IMTM + CMTM) que modela cuándo y cómo la información de la pose influye en la traducción, capturando dependencias tanto locales como globales.
3. Análisis Exhaustivo: Experimentos extensos que demuestran los roles complementarios de la información de pose y las pistas visuales espacio-temporales en la SLT sin glosas.
4. Rendimiento de Vanguardia (SOTA): Logrando nuevos mejores resultados en conjuntos de datos de referencia mientras mantiene la competitividad con los métodos basados en glosas.

Resultados Experimentales
El modelo fue evaluado en dos conjuntos de datos: PHOENIX14T (Lengua de Señas Alemana) y CSL-Daily (Lengua de Señas China).

• PHOENIX14T: ViPo-MLLM logró una puntuación BLEU-4 de 27.10 y ROUGE-L de 51.50, superando a los métodos existentes débilmente supervisados y totalmente sin glosas (ej. VAP, ConSLT, MMSLT). Se mantuvo competitivo con los enfoques basados en glosas a pesar de no utilizar anotaciones de glosas.
• CSL-Daily: El modelo logró un BLEU-4 de 25.85 y un ROUGE-L de 54.53, estableciendo un nuevo estado del arte para los métodos sin glosas y igualando el rendimiento de los modelos basados en glosas.

Perspectivas de Ablación

• Modalidades: La combinación de características RGB y de pose superó significativamente el uso de una sola modalidad. El aprendizaje contrastivo mejoró aún más la alineación semántica para ambas.
• Profundidad de CMA: El rendimiento alcanzó su punto máximo con una profundidad de CMA de 4; capas más profundas (ej. 8) provocaron una degradación del rendimiento, probablemente debido al suavizado excesivo o al sobreajuste.
• Elección del LLM: Los modelos más grandes dentro de la familia mT0 (mT0-XL) arrojaron mejores resultados que las variantes más pequeñas.
• Prompting: Los prompts instructivos (guía directa de la tarea) produjeron el mejor rendimiento, mientras que los prompts interrogativos o de juego de roles redujeron la precisión.

Significancia
El artículo afirma que ViPo-MLLM demuestra que el entrenamiento sin glosas puede igualar o exceder el rendimiento de los enfoques supervisados por glosas. Al aprovechar eficazmente las pistas de pose y la atención transmodal, el método propuesto captura con éxito el movimiento fino y los patrones temporales de largo alcance críticos para la traducción sin el costo prohibitivo de la anotación de glosas. El trabajo valida la efectividad de integrar el prompting estructurado y la alineación contrastiva dentro de un marco de LLM multimodal. Se sugiere como trabajo futuro explorar modalidades adicionales y representaciones de pose ligeras para la escalabilidad en tiempo real.