🤖 AI

Deep Learning-Based Sign Language Recognition from Videos and Cross-Lingual Translation to Indian Vernaculars

Este artículo presenta un proceso de aprendizaje profundo de dos etapas que utiliza un transformador VideoMAE ajustado para reconocer gestos aislados de la lengua de señas de la India a partir de videos y traduce las etiquetas resultantes en inglés a hindi, telugu y bengalí utilizando el modelo NLLB-200, al tiempo que proporciona una demostración en Streamlit y analiza las limitaciones de rendimiento en un conjunto de datos a pequeña escala.

Autores originales: Chandranath Adak, Ramesh Nandipalli

Publicado 2026-06-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Chandranath Adak, Ramesh Nandipalli

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a una computadora a entender un lenguaje secreto hablado con las manos y el rostro en lugar de palabras. Eso es esencialmente lo que hace este artículo, pero con un giro específico: ayuda a traducir la Lengua de Señas India (ISL) a tres de los principales idiomas hablados en la India (hindi, telugu y bengalí) utilizando el inglés como intermediario.

Aquí hay un desglose sencillo de cómo construyeron este sistema, utilizando analogías de la vida cotidiana.

El panorama general: Una carrera de relevos de dos etapas

Los investigadores no intentaron enseñar a la computadora a saltar directamente de "Señas de manos" a "Palabras en hindi". Eso sería como intentar enseñarle a un perro a hablar francés directamente. En su lugar, establecieron una carrera de relevos de dos etapas:

Etapa 1 (El Traductor): Una cámara de video observa a una persona haciendo señas. Una IA inteligente (llamada VideoMAE) observa el video y dice: "Ah, esa seña significa la palabra en inglés 'Happy' (Feliz)".
Etapa 2 (El Intérprete): Una vez que la IA sabe que la palabra es "Happy", pasa esa palabra a una segunda IA (llamada NLLB). Esta segunda IA actúa como un políglota traductor, convirtiendo instantáneamente la palabra inglesa "Happy" en "Khush" (hindi), "Santosham" (telugu) y "Sukhi" (bengalí).

Los ingredientes: Lo que utilizaron

El Maestro (VideoMAE): Piensa en esto como un estudiante que ya ha visto millones de horas de videos generales (como películas y deportes) y ha aprendido a reconocer acciones. Los investigadores tomaron a este "superestudiante" y le dieron un curso intensivo específicamente sobre videos de lengua de señas.
El Libro de Texto (El Conjunto de Datos): No tenían toda una biblioteca de videos de lengua de señas para trabajar debido a los límites de almacenamiento de la computadora. En su lugar, utilizaron una pequeña "guía de estudio" curada del IIT Madras. Contenía videos de solo 13 señas específicas (como "fuerte", "silencioso", "sombrero", "vestido", "sordo", "ciego").
La Prueba: Dividieron su pequeña guía de estudio en una "prueba de práctica" (entrenamiento) y un "examen final" (validación).

Cómo se desempeñó: La boleta de calificaciones

Los resultados fueron una mezcla de "A-plus" (sobresaliente) y "necesita mejorar", lo cual es común cuando se aprende una nueva habilidad con práctica limitada.

La Ronda de Práctica (Entrenamiento): La IA estudió las 13 señas y obtuvo un 99% de precisión. Fue como un estudiante que memorizó las fichas de estudio perfectamente.
El Examen Final (Validación): Cuando se probó con videos nuevos y no vistos, la precisión bajó al 78%. Esto sigue siendo una puntuación sólida, pero muestra que la IA se enfocó demasiado en memorizar las fichas de práctica en lugar de comprender verdaderamente el concepto.

Donde la IA se trabó (Los fallos):
El artículo destaca dos tipos específicos de confusión, como un estudiante que confunde palabras de apariencia similar:

La confusión de la "Ropa": La IA a veces confundió señas de prendas de vestir. Por ejemplo, podría confundir la seña de un "Sombrero" por un "Vestido" o una "Camisa" por un "Traje". Esto tiene sentido porque estas señas suelen implicar movimientos de manos similares cerca de la cabeza o el torso.
La confusión de los "Sentimientos": La IA tuvo dificultades con conceptos abstractos como "Hermoso", "Feo", "Sordo" y "Ciego". A menudo los confundía entre sí o con la palabra "Triste". Los investigadores sospechan que esto se debe a que estas señas dependen mucho de las expresiones faciales, y la IA no tenía suficientes ejemplos para aprender las sutiles diferencias.

La Demo: Una herramienta amigable para el usuario

El equipo no solo se detuvo en las matemáticas; construyeron una aplicación Streamlit (una interfaz web sencilla).

Cómo funciona: Un usuario sube un video corto de alguien haciendo señas.
Qué sucede: La aplicación extrae 16 fotogramas (como tomar 16 instantáneas rápidas), los pasa a través de la IA y muestra el resultado.
El Resultado: Muestra la palabra en inglés (por ejemplo, "Happy") e inmediatamente la traduce a los alfabetos de hindi, telugu y bengalí.

Las Limitaciones: Lo que este sistema no puede hacer todavía

Los autores son muy honestos sobre los límites de su trabajo. Esto no es una varita mágica que puede traducir una conversación completa todavía.

Una palabra a la vez: El sistema solo entiende palabras aisladas (como "Sombrero"). No puede entender una oración completa como "Estoy usando un sombrero". Es como un diccionario que conoce las palabras pero no la gramática.
Vocabulario Pequeño: Solo conoce 13 palabras específicas. Si haces una seña distinta, no sabrá qué hacer.
Sin Velocidad en Tiempo Real: Está diseñado para procesar videos cargados, no para observar a un signante en vivo y traducir instantáneamente en tiempo real.
Problemas de Contexto: Debido a que traduce palabras sueltas, puede confundirse. Por ejemplo, la palabra "Suit" (Traje/Adecuar) podría significar una prenda de vestir o la frase "adecuarse a alguien". Sin una oración completa, la computadora tiene que adivinar.

La Conclusión

Este artículo es una prueba de concepto. Demuestra que puedes tomar una IA de video potente, enseñarle algunas palabras de lengua de señas y conectarla a una IA de traducción para cerrar la brecha entre la lengua de señas y los idiomas regionales de la India. Aunque aún no está lista para reemplazar a un intérprete humano en un tribunal o un hospital, es un prototipo funcional que muestra el camino hacia el desarrollo de tecnología más accesible para la comunidad sorda y con discapacidad auditiva en la India.

Resumen Técnico: Reconocimiento de Lengua de Señas Basado en Aprendizaje Profundo desde Videos y Traducción Cruzada a Lenguas Vernáculas de la India

Definición del Problema
La lengua de señas sirve como el modo de comunicación primario para la comunidad global de personas sordas y con discapacidad auditiva; sin embargo, los sistemas automatizados capaces de reconocer gestos de señas a partir de videos y traducirlos a un lenguaje natural siguen siendo limitados, particularmente para las lenguas de baja dotación de recursos de la India. Las soluciones existentes suelen depender de la clasificación de imágenes estáticas o manejan solo vocabularios estrechos, fallando al capturar la naturaleza temporal y de cuerpo completo de la comunicación gestual. Además, la escasez de corpus paralelos que vinculen la Lengua de Señas de la India (ISL) directamente con lenguas regionales (como el hindi, el telugu y el bengalí) dificulta el desarrollo de sistemas de traducción de extremo a extremo. Este trabajo aborda dos subproblemas acoplados: (1) predecir la etiqueta de la palabra en inglés a partir de un clip de video corto de ISL, y (2) traducir esa etiqueta en inglés al hindi, telugu y bengalí.

Metodología
Los autores proponen un flujo de trabajo de aprendizaje profundo de dos etapas diseñado para sortear la falta de datos directos de seña a lengua regional utilizando el inglés como un idioma pivote de altos recursos.

Clasificación de Video a Inglés:
- Arquitectura: El sistema utiliza un transformador VideoMAE (Autoencoder de Máscara para Video) ajustado, específicamente el checkpoint MCG-NJU/videomae-base de Hugging Face.
- Procesamiento de Entrada: Los videos de entrada se decodifican y se muestrean 16 fotogramas de manera uniforme. Estos fotogramas se redimensionan a 224×224 y se normalizan utilizando las estadísticas de ImageNet.
- Entrenamiento: El modelo se ajusta (fine-tuning) en un subconjunto de 13 clases del corpus de la Lengua de Señas de la India de AI4Bharat (publicado por el IIT Madras). El conjunto de datos consiste en aproximadamente 197 clips que cubren adjetivos (p. ej., fuerte, silencioso, feliz, triste, hermoso, feo, sordo, ciego) y sustantivos de vestimenta (p. ej., sombrero, vestido, traje, falda, camisa).
- Configuración: La cabeza de clasificación se reemplaza con una capa lineal de 13 unidades. El entrenamiento emplea el optimizador AdamW (tasa de aprendizaje $1 \times 10^{-5}$ ), pérdida de entropía cruzada, precisión mixta (FP16) y un tamaño de lote de 2 durante 15 épocas. El conjunto de entrenamiento se divide en un 80/20 (estratificado) a partir de los clips disponibles.
Traducción de Inglés a Lengua Regional:
- Arquitectura: La etiqueta en inglés predicha se pasa al modelo de traducción multilingüe NLLB-200 de Meta AI (No Language Left Behind) (facebook/nllb-200-distilled-600M).
- Proceso: El modelo traduce la palabra aislada en inglés de forma independiente a tres lenguas objetivo: hindi (hin_Deva), telugu (tel_Telu) y bengalí (ben_Beng). La traducción se realiza forzando el token de inicio de secuencia del decodificador al código de la lengua objetivo específica.
Sistema de Inferencia:
- El flujo de trabajo se empaqueta en una aplicación interactiva de Streamlit. Los usuarios cargan archivos de video y el sistema devuelve la etiqueta predicha en inglés junto con sus traducciones en las tres lenguas vernáculas.

Resultados Clave
Evaluado en un conjunto de validación de 40 clips (el 20% de los 197 totales), el sistema logró lo siguiente:

Precisión: El modelo alcanzó una precisión de entrenamiento del 99.4% y una precisión de validación del 77.5% tras 15 épocas.
Rendimiento por Clase:
- Alto Rendimiento: Clases como fuerte (loud), silencioso (quiet), feliz (happy), Traje (Suit) y Falda (Skirt) lograron una recuperación perfecta (100%).
- Rendimiento Moderado: Sombrero (Hat), Vestido (Dress) y Camisa (Shirt) alcanzaron un 75% de recuperación.
- Modos de Fallo: El modelo falló completamente (0% de recuperación) en Hermoso (Beautiful), Sordo (Deaf) y Ciego (Blind), y se desempeñó a niveles de azar en Feo (Ugly).
Análisis de Errores: La confusión ocurrió principalmente en dos grupos:
1. Visual/Postural: Los artículos de ropa (Sombrero, Vestido, Camisa, Traje) se confundieron debido a la superposición de las colocaciones de las manos cerca del torso y la cabeza.
2. Semántico/Afectivo: Hermoso, Feo, Sordo y Ciego se confundieron entre sí, probablemente debido a la superposición de expresiones faciales y señales manuales, exacerbado por tamaños de muestra extremadamente pequeños (1–2 clips de validación por clase).
Sobreajuste (Overfitting): La brecha significativa entre la precisión de entrenamiento (>99%) y la de validación (~78%) indica sobreajuste, atribuido al tamaño pequeño del conjunto de datos y a la limitada diversidad intra-clase.

Significancia y Alcance
El artículo posiciona este trabajo como un estudio de viabilidad inicial a pequeña escala, más que como un sistema listo para producción. Sus principales contribuciones son:

Demostrar un Flujo de Trabajo de Dos Etapas: Validar que un codificador VideoMAE preentrenado, cuando se ajusta en un subconjunto pequeño de ISL, puede clasificar eficazmente gestos aislados, y que un enfoque de pivote en inglés usando NLLB-200 puede cerrar la brecha hacia las lenguas regionales de la India sin requerir corpus directos de seña a lengua regional.
Identificar Limitaciones: El estudio destaca explícitamente los desafíos de la clasificación de palabras aisladas, la sensibilidad al estilo del signante y las condiciones de grabación, así como la ambigüedad inherente al traducir palabras sueltas sin contexto de nivel de oración (p. ej., distinguir "traje" como prenda de vestir frente a un verbo).
Reproducibilidad: Los autores han liberado el código para la carga de datos, el ajuste del modelo y la demostración de inferencia en Streamlit para apoyar la extensión de la comunidad.

Direcciones Futuras
Los autores delinean rutas específicas para trabajos futuros, incluyendo el escalado al vocabulario completo de AI4Bharat, la transición de la clasificación de palabras aisladas a la traducción de lengua de señas continua (generación de oraciones completas), la expansión a más lenguas de la India soportadas por NLLB, y la optimización de la latencia del modelo para el despliegue en dispositivos móviles o de borde (edge computing).