American Sign Language Recognition Using Mediapipe and Deep Learning: A Real-Time Approach

Resumen Técnico: Reconocimiento de la Lengua de Señas Americana mediante Mediapipe y Aprendizaje Profundo

Planteamiento del Problema
Las barreras de comunicación para las personas sordas o con deficiencia auditiva hacen necesario el desarrollo de sistemas de reconocimiento de la Lengua de Señas Americana (ASL) accesibles y en tiempo real. Históricamente, el reconocimiento de ASL dependía de guantes basados en sensores o cámaras de profundidad. Aunque estos sistemas eran precisos en entornos controlados, resultaban poco prácticos para una adopción generalizada debido a sus altos costos, dependencias de hardware y limitada escalabilidad. Además, los modelos tempranos de aprendizaje profundo basados en imágenes a menudo requerían un preprocesamiento extensivo y GPUs de alto rendimiento, lo que generaba problemas de latencia y restringía su despliegue a entornos especializados. El desafío central abordado en este trabajo es desarrollar un sistema que equilibre una alta precisión con la eficiencia computacional, permitiendo la operación en tiempo real en dispositivos de consumo sin necesidad de sensores especializados, manteniendo al mismo tiempo la robustez ante variaciones en la iluminación, oclusiones de la mano y diferencias específicas de cada signante.

Metodología
El sistema propuesto presenta una solución de extremo a extremo para el reconocimiento de gestos estáticos del alfabeto ASL (A–Z) utilizando un flujo de trabajo de dos etapas:

1. Detección de Puntos de Referencia de la Mano (Landmark Detection): El sistema utiliza el marco de trabajo Mediapipe de Google para procesar transmisiones de video RGB desde una cámara web estándar. El módulo "Hands" de Mediapipe extrae 21 puntos de referencia 3D de la mano (coordenadas x, y, z) por fotograma, lo que resulta en un vector de características de 63 dimensiones. Este enfoque elimina la necesidad de sensores de profundidad o guantes y proporciona puntos clave de la mano precisos y robustos frente al ruido de fondo.
2. Preprocesamiento de Datos: Las coordenadas de los puntos de referencia originales se normalizan dividiéndolas por su valor máximo para asegurar la invarianza de escala, mitigando las variaciones en el tamaño de la mano o la distancia de la cámara. Las etiquetas se codifican mediante one-hot encoding para las 26 clases (A–Z). El conjunto de datos consta de 6,605 muestras, divididas en un conjunto de entrenamiento del 80% (5,284 muestras) y un conjunto de validación del 20% (1,321 muestras).
3. Arquitectura del Modelo: La clasificación se realiza mediante una red neuronal totalmente conectada y ligera, diseñada para la eficiencia. La arquitectura incluye:
   • Una capa de entrada que acepta vectores de 63 dimensiones.
   • Una primera capa oculta con 128 unidades (activación ReLU) y 30% de dropout.
   • Una segunda capa oculta con 64 unidades (activación ReLU) y 30% de dropout.
   • Una capa de salida con 26 unidades utilizando activación softmax para las probabilidades de clase.
4. Entrenamiento e Inferencia: El modelo fue entrenado utilizando el optimizador Adam con pérdida de entropía cruzada categórica durante 5,000 épocas en una MacBook con 8GB de RAM (basada en CPU). Para la inferencia en tiempo real, el flujo de trabajo procesa fotogramas de la cámara web a 30 fps, normalizando los puntos de referencia y alimentando el modelo entrenado para predecir la letra ASL con la mayor probabilidad.

Resultos Clave
El sistema fue evaluado con un conjunto de datos personalizado de 6,605 muestras de gestos estáticos. Las métricas clave de rendimiento incluyen:

• Precisión (Accuracy): El modelo alcanzó una precisión de entrenamiento del 99% y una precisión de validación del 98.49%.
• Robustez: La matriz de confusión indica una alta precisión en todas las 26 letras, con una puntuación F1 promedio macro de 98.68%. Se observaron confusiones menores entre letras con gestos manuales similares (específicamente M, N y T).
• Capacidad Discriminativa: Las curvas ROC demuestran un sólido desempeño, con un AUC promedio macro de 99.83% y AUCs de clases individuales superiores a 0.95.
• Latencia: El tiempo de inferencia promedio es de aproximadamente 32.20 ms por muestra. Esto se sitúa por debajo del umbral de 33 ms requerido para el procesamiento de video a 30 FPS, confirmando la capacidad del sistema para operar en tiempo real en hardware estándar sin soporte de GPU.

Significancia y Contribuciones
Este trabajo contribuye al campo del reconocimiento accesible de ASL al demostrar que los sistemas de alto rendimiento pueden ser tanto computacionalmente eficientes como robustos ante la variabilidad del mundo real. Las principales contribuciones son:

1. Eficiencia de Muestreo: El enfoque reduce la dependencia de conjuntos de datos masivos etiquetados mediante la recolección y el aumento de datos dirigidos, logrando una alta precisión con 6,605 muestras.
2. Desempeño en Tiempo Real: Al integrar Mediapipe con una red neuronal compacta, el sistema minimiza la carga computacional, permitiendo la ejecución fluida en computadoras portátiles y dispositivos móviles de consumo.
3. Generalización Contextual: El sistema aborda la necesidad de robustez en entornos no ideales, como condiciones de iluminación variables y oclusiones parciales, sin requerir hardware especializado.

El autor posiciona este sistema como un paso práctico hacia tecnologías de asistencia escalables, cerrando la brecha entre los resultados de laboratorio controlados y las aplicaciones orientadas al usuario. El trabajo futuro delineado en el documento se centra en extender el sistema al reconocimiento de señas dinámicas (frases y palabras) mediante modelado temporal, desarrollar interfaces web o móviles para una mayor accesibilidad e integrar la salida de voz para una traducción completa de ASL a voz.