Cross-Lingual Transfer Learning and LLM-Assisted Gloss Generation for Low-Resource Tamil Voice and Text to Sign Language Pose Generation
Este artículo presenta el primer sistema de generación de poses de lenguaje de señas a partir de voz y texto para el tamil de bajos recursos, combinando la generación de glosas asistida por LLM mediante el ajuste fino de LoRA con el aprendizaje de transferencia translingüística desde la lengua de señas alemana, logrando un rendimiento de vanguardia a través de un proceso que transcribe el habla, genera glosas y sintetiza poses validadas mediante retrotraducción.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
La comunicación es una necesidad humana fundamental, pero para millones de personas sordas o con dificultades auditivas, el puente entre el lenguaje hablado y su lengua de signos nativa a menudo permanece roto. Aunque las computadoras se han vuelto extraordinariamente buenas leyendo texto o comprendiendo el habla, enseñarles a generar los movimientos fluidos y continuos de la lengua de signos ha resultado difícil, especialmente para lenguas que carecen de vastas bibliotecas digitales de ejemplos grabados. Este desafío es particularmente agudo para la Lengua de Signos Tamil, utilizada por una gran población en la India pero que carece de los masivos conjuntos de datos anotados en los que los investigadores suelen confiar para entrenar la inteligencia artificial. Sin estos recursos, construir un sistema que pueda traducir automáticamente una oración hablada en una secuencia de movimientos de manos y cuerpo es como intentar enseñar a un estudiante una habilidad compleja sin suficientes libros de texto o compañeros de práctica.
El núcleo de este problema reside en la naturaleza misma de la lengua de signos. No es meramente una serie de gestos estáticos de las manos, sino un flujo dinámico de movimiento que involucra las manos, los brazos, la cara y el cuerpo, todo moviéndose con un ritmo específico. Para enseñar esto a una computadora, los investigadores suelen necesitar miles de horas de video que muestren a signantes nativos realizando oraciones específicas. Cuando tales datos escasean, como ocurre con el tamil, los métodos estándar fallan. La solución requiere un enfoque diferente: uno que tome prestados conocimientos de otras áreas y los adapte cuidadosamente a las necesidades específicas de una lengua de bajos recursos. Aquí es donde entra el trabajo de Ramya Cauvery D y la Dra. Josephine Usha L, ofreciendo una nueva forma de construir un puente entre el tamil hablado y el lenguaje visual de los signos.
Los investigadores se propusieron crear el primer sistema capaz de tomar tamil hablado o escrito y convertirlo directamente en una secuencia de poses corporales que representen una actuación en lengua de signos. Su objetivo no era solo traducir palabras, sino generar los movimientos físicos reales que una persona realizaría. Para lograrlo, tuvieron que superar dos grandes obstáculos: la falta de un gran conjunto de datos de la lengua de signos tamil y la dificultad de enseñar a una computadora a moverse de forma natural sin quedarse estancada con los limitados datos de los que disponían. Abordaron estos problemas dividiendo el problema en dos pasos distintos y utilizando una estrategia ingeniosa de préstamo de conocimientos de una lengua completamente diferente.
Primero, el equipo abordó la traducción de palabras a signos. En la lingüística de la lengua de signos, existe un concepto llamado "glosa", que actúa como una representación simbólica simplificada de un signo, similar a cómo la definición de un diccionario resume una palabra. En lugar de intentar saltar directamente de una oración hablada a un movimiento 3D complejo, los investigadores utilizaron un paso intermedio: convertir la oración en tamil en esta secuencia de glosas simbólicas. Para gestionar la escasez de datos, emplearon un modelo de lenguaje de gran tamaño, un tipo de inteligencia artificial entrenada en vastas cantidades de texto, y lo adaptaron específicamente para esta tarea utilizando una técnica que le permite aprender de muy pocos ejemplos sin olvidar lo que ya sabe. Este modelo tomó la oración de entrada y generó la secuencia correcta de glosas, actuando efectivamente como un traductor lingüístico que comprendía la estructura de los signos tamiles incluso con un entrenamiento limitado.
Una vez que el sistema obtuvo la secuencia de glosas, el segundo desafío fue convertir esos símbolos en movimiento real. Aquí es donde los investigadores aplicaron una estrategia conocida como aprendizaje por transferencia translingüística. Se dieron cuenta de que, aunque las palabras y la gramática de la Lengua de Signos Alemana y la Lengua de Signos Tamil son diferentes, la física del movimiento humano es universal. Una mano que se mueve desde el pecho hacia la cabeza sigue las mismas reglas físicas independientemente de la lengua que se esté signando. Para aprovechar esto, tomaron un modelo computacional potente que ya había sido entrenado con miles de horas de videos de la Lengua de Signos Alemana. Este modelo había aprendido los patrones generales de cómo se mueve el cuerpo humano al signar. Los investigadores tomaron este modelo preentrenado y lo ajustaron utilizando su propio pequeño conjunto de datos personalizados de videos de señas tamiles. Esto permitió que el sistema comenzara con una comprensión sólida del movimiento humano y simplemente ajustara su conocimiento para adaptarse al estilo y ritmo específicos de los signantes tamiles.
Los datos utilizados para este entrenamiento fueron construidos cuidadosamente para asegurar que el sistema pudiera funcionar para cualquier persona, no solo para las personas específicas que grabaron los videos. El equipo grabó a cinco signantes nativos, cada uno realizando trescientas oraciones diferentes, lo que resultó en mil quinientas piezas de video. Para probar si el sistema realmente comprendía la lengua y podía generalizar a nuevas personas, utilizaron un método de prueba riguroso donde entrenaron el modelo con cuatro de los signantes y lo probaron con el quinto, repitiendo este proceso hasta que cada signante fue sujeto de la prueba. Esto aseguró que el sistema estuviera aprendiendo la lengua en sí, en lugar de simplemente memorizar los movimientos de un solo individuo.
Los resultados de este enfoque fueron prometedores. Cuando el sistema generaba una secuencia de poses, los investigadores evaluaban su calidad ejecutando los movimientos generados a través de un sistema de reconocimiento independiente y separado para ver si podía "leer" los signos de vuelta a la oración original en tamil. Este proceso de retro-traducción mostró que el sistema capturaba con éxito el significado de la oración original. Los signos generados fueron significativamente más precisos y fluidos que los intentos anteriores, y el sistema reconstruía correctamente el significado de las oraciones de una manera que superaba los puntos de referencia existentes para la producción de la lengua de signos tamil. El uso del modelo de movimiento preentrenado de la base de datos alemana resultó crucial, ya que proporcionó la base necesaria para un movimiento fluido que el pequeño conjunto de datos de tamil por sí solo no habría podido enseñar.
Sin embargo, los investigadores tienen cuidado de señalar los límites de su trabajo. El sistema es un paso significativo hacia adelante para una lengua de bajos recursos, pero aún no es perfecto. El conjunto de datos, aunque cuidadosamente curado, sigue siendo pequeño en comparación con las bibli masas bibliotecas utilizadas para las lenguas de altos recursos. Los movimientos generados, aunque matemáticamente precisos, se muestran actualmente a una tasa de fotogramas inferior a la que se recomienda típicamente para un lenguaje de signos de apariencia natural, y el sistema aún no captura las expresiones faciales sutiles o las formas detalladas de las manos que son vitales para el significado lingüístico completo. Además, la generación de la glosa depende de la interpretación de la computadora, lo que significa que cualquier error en ese paso inicial de traducción afectará el movimiento final.
A pesar de estas limitaciones, el estudio demuestra un camino viable hacia adelante para las lenguas que han sido dejadas atrás por la revolución digital. Al combinar un modelo de lenguaje especializado para manejar las palabras con un modelo de movimiento tomado prestado para manejar el movimiento, los investigadores demostraron que es posible construir sistemas de lengua de signos efectivos sin necesidad de millones de horas de datos. El trabajo sugiere que, para muchas lenguas de signos subrepresentadas, la clave del progreso no reside en esperar a que aparezcan conjuntos de datos masivos, sino en adaptar inteligentemente las herramientas existentes a nuevos contextos. Este enfoque ofrece una esperanza realista de que la brecha entre las lenguas habladas y las de signos pueda reducirse, haciendo que la comunicación sea más accesible para los millones de personas que dependen de la lengua de signos cada día.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.