Resumen Técnico: Aumento de Corpus para la Traducción de Lengua de Señas mediante el Ensamblaje de Vídeo Guiado por LLM

Planteamiento del Problema

La Traducción de Lengua de Señas (SLT, por sus siglas en inglés) tiene como objetivo convertir vídeos de lengua de señas en texto de lenguaje hablado. Si bien los grandes conjuntos de datos débilmente alineados han permitido la escala y los métodos sin glosas (gloss-free) han reducido la dependencia de la anotación experta, los pares de vídeo-texto paralelos de alta calidad para el ajuste fino (fine-tuning) siguen siendo escasos. Esta escasez limita la generalización en el vocabulario de cola larga (long-tail) y en construcciones no vistas. Los enfoques de aumento de datos existentes enfrentan obstáculos significativos: el ensamblaje a nivel de características está ligado a codificadores específicos, los métodos a nivel de esqueleto requieren pasos de renderizado para ser utilizables por modelos RGB, y la generación de vídeo realista sigue siendo un desafío abierto. Además, evaluaciones controladas recientes (p. ej., Sincan et al.) sugieren que muchas mejoras reportadas en SLT sin glosas desaparecen bajo condiciones estrictas, siendo la mayor ganancia verificada sobre una línea base de solo +0.98 BLEU-4.

Metodología

Los autores proponen un flujo de trabajo de aumento de corpus que genera pares de vídeo-texto RGB sintéticos sin requerir corpus de vídeo externos, modelos de vídeo generativos o anotación humana adicional. El flujo de trabajo depende únicamente de un corpus de entrenamiento con anotación de glosas existente y un Modelo de Lenguaje de Gran Escala (LLM). El proceso consta de tres etapas:

1. Extracción de Clips por Glosa: Utilizando la segmentación de alineación forzada CTC (basada en Zuo et al.), el sistema extrae clips de nivel de fotograma para glosas individuales de vídeos de entrenamiento existentes. Esto crea una base de datos de vídeo "indexada por glosas" sin anotaciones de tiempo manuales.
2. Generación de Glosa-Oración Guiada por LLM: Un LLM anclado al corpus genera nuevos pares de glosa-oración. Para evitar la deriva del vocabulario y asegurar la consistencia del dominio (pronósticos meteorológicos alemanes), se proporciona al LLM:
   • El vocabulario completo de glosas de Phoenix.
   • 500 ejemplos muestreados aleatoriamente del corpus como contexto.
   • Pares "ancla" seleccionados mediante una estrategia de menor uso para asegurar la cobertura de la distribución de entrenamiento.
     Los secuencias generadas se filtran para eliminar coincidencias exactas, subsecuencias de oraciones existentes y duplicados, asegurando contenido lingüístico genuinamente nuevo.
3. Ensamblaje de Vídeo: Las secuencias sintéticas se ensamblan muestreando aleatoriamente oraciones del grupo generado y asignándolas a clips.
   • Selección de Signante: Para las oraciones generadas por el LLM, se selecciona un signante uniformemente de aquellos que han registrado clips para cada glosa en la secuencia.
   • Asignación de Clips: Los clips se seleccionan aleatoriamente de las ocurrencias disponibles para el signante asignado.
   • Manejo de Transiciones: Los fotogramas de transición se muestrean de la distribución empírica de las brechas entre glosas en el conjunto de datos real. Notablemente, los autores excluyen explícitamente la optimización de la transición basada en L2 (suavizado de límites), encontrándola contraproducente.

El vídeo sintético resultante consiste en pares de vídeo-texto RGB estándar, lo que lo hace agnóstico a la arquitectura y directamente consumible por modelos de SLT basados en RGB o convertible a representaciones de pose/características.

Contribuciones Clave

1. Flujo de Trabajo Escalable y Agnóstico a la Arquitectura: Un método para expandir los corpus de SLT utilizando solo las anotaciones de glosas existentes y un LLM, produciendo pares de vídeo-texto RGB sintéticos compatibles con cualquier arquitectura basada en RGB descendente.
2. Ganancia de Rendimiento Significativa bajo Condiciones Controladas: Dentro del riguroso marco de evaluación establecido por Sincan et al., el aumento propuesto logra una mejora de +2.92 BLEU-4 sobre la línea base reproducida de GFSLT-VLP (21.38 → 24.30). Esta ganancia se logra sin alterar la arquitectura del modelo, el objetivo de entrenamiento o los hiperparámetros.
3. Verificación de la Fuente de la Ganancia: Los autores demuestran que la mejora no es un artefacto de un aumento en los pasos de gradiente. Una línea base de datos reales "doblemente muestreada" (emparejada para la computación) puntuó 21.17 BLEU-4, estadísticamente indistinguible de la línea base de solo reales, confirmando que el contenido sintético en sí mismo impulsa el rendimiento.
4. Hallazgos Empíricos Contraintuitivos:
   • Daño al VLP: La introducción de datos ensamblados sintéticos durante el Preentrenamiento de Lenguaje-Visión (VLP) causa un colapso en el rendimiento descendente, a pesar de mejorar los objetivos de preentrenamiento. Los autores sugieren que el codificador visual aprende representaciones que se ajustan a las discontinuidades sintéticas pero fallan al generalizar a la signación continua real.
   • Suavizado de Transiciones: Optimizar las transiciones de los clips para la suavidad visual (vía distancia L2) perjudica el rendimiento del ajuste fino. Los autores proponen que los límites abruptos pueden actuar como una forma de regularización implícita, obligando al modelo a depender del contenido visual central en lugar de las claves de los límites temporales.

Resultados

• Resultados Primarios (200 Épocas): El modelo aumentado logró 24.30 BLEU-4 y 46.09 ROUGE-L, comparado con el 21.38 BLEU-4 y 41.69 ROUGE-L de la línea base.
• Ablación sobre el Contenido del LLM: Reemplazar las oraciones generadas por el LLM con oraciones originales de Phoenix (manteniendo la asignación aleatoria de clips) causó que el rendimiento cayera a 20.04 BLEU-4, situándose por debajo de la línea base sin aumento. Esto confirma que el contenido lingüístico novedoso, y no solo la variación visual, es el principal motor de la ganancia.
• Análisis de Contaminación: Las secuencias de glosas sintéticas no mostraron una proximidad más cercana a los conjuntos de desarrollo o de prueba que las oraciones reales de entrenamiento (puntuaciones max-BLEU-4 más bajas), descartando la fuga de la evaluación.

Significancia

El artículo sostiene que los enfoques centrados en los datos, específicamente la inyección de pares sintéticos lingüísticamente diversos, son un motor más efectivo para mejorar la SLT que los ajustes arquitectónicos o las estrategias de preentrenamiento que introducen discontinuidades visuales. Al demostrar una ganancia de casi +3 BLEU-4 en un entorno controlado donde otros métodos no lograron mostrar una mejora significativa, este trabajo destaca el potencial de la generación de datos guiada por LLM para superar la escasez de datos paralelos de lengua de señas de alta calidad. Los hallazgos respecto a los efectos perjudiciales del suavizado visual y el preentrenamiento VLP con datos sintéticos ofrecen una guía crítica para futuras estrategias de aumento, sugiriendo que preservar las discontinuidades "naturales" puede ser beneficioso para la robustez del modelo.