A Hybrid CNN–MLP Model Using Confidence-Gated Fusion Framework for Real-Time Indian Sign Language Recognition

La comunicación es una necesidad humana fundamental, pero para millones de personas sordas o con dificultades auditivas, el puente hacia el mundo exterior suele permanecer roto. La lengua de señas sirve como un lenguaje completo y rico para estas comunidades, pero sin un sistema de traducción universal, la brecha entre los usuarios de señas y los no usuarios persiste. En años recientes, los científicos han recurrido a las computadoras para construir este puente, enseñando a las máquinas a "ver" gestos manuales y a traducirlos en palabras habladas o escritas. Este campo se apoya en dos formas principales de ver. Un enfoque trata a la mano como una fotografía, analizando la forma, el color y la textura de la piel y los dedos para adivinar el significado. El otro enfoque ignora la imagen por completo, centrándose en cambio en la geometría precisa de la mano, mapeando la posición exacta de las articulaciones y las yemas de los dedos como un conjunto de coordenadas. Si bien cada método tiene sus fortalezas, ambos luchan cuando el mundo real se vuelve caótico. Un sistema basado en cámaras podría fallar si la iluminación cambia o si el fondo está desordenado, mientras que un sistema basado en la geometría podría perder detalles sutiles que distinguen un signo de otro.

En un nuevo estudio, investigadores del Galgotias College of Engineering & Technology en la India han propuesto una solución que combina estas dos formas distintas de ver para crear un traductor más confiable para la Lengua de Señas India. En lugar de obligar a una computadora a elegir entre mirar la apariencia de la mano o su estructura, el equipo construyó un sistema híbrido que utiliza ambas simultáneamente. Crearon dos "cerebros" digitales separados: uno entrenado para reconocer gestos mirando imágenes de manos, y otro entrenado para reconocerlos leyendo las coordenadas matemáticas de los puntos de referencia de la mano. La innovación no reside solo en tener dos modelos, sino en cómo trabajan juntos. Los investigadores diseñaron un mecanismo de conmutación inteligente que actúa como un guardián. En la operación en tiempo real, el sistema verifica constantemente qué tan seguro está el modelo basado en imágenes de su suposición. Si el modelo basado en imágenes tiene dudas debido a una mala iluminación, el sistema delega automáticamente al modelo basado en la geometría, el cual es priorizado por su robustez ante las variaciones ambientales. Si la geometría no es clara, se apoya en la imagen. Esta toma de decisiones dinámica es luego suavizada a lo largo del tiempo para asegurar que la salida final no parpadee o salte erráticamente de una letra a otra.

El equipo probó su sistema utilizando una gran colección de imágenes estáticas de manos que representan el alfabeto y algunos comandos específicos, sumando un total de 87,000 imágenes. Entrenaron su modelo de lectura de imágenes utilizando una arquitectura ligera conocida como MobileNetV2, la cual está diseñada para ser lo suficientemente rápida para el uso en tiempo real, y entrenaron su modelo de lectura de geometría utilizando una red neuronal estándar que procesa los 21 puntos clave de la mano detectados por una herramienta llamada MediaPipe. Cuando pusieron a prueba los modelos individuales, los resultados fueron reveladores. El modelo basado en imágenes fue increíblemente preciso, alcanzando casi el 100% de precisión en pruebas controladas, pero mostró signos de incertidumbre al enfrentarse a las condiciones variables de una transmisión de cámara en vivo. El modelo basado en la geometría fue ligeramente menos preciso por sí solo, puntuando alrededor del 97%, pero se mantuvo notablemente estable independientemente del fondo o la iluminación.

Cuando los investigadores fusionaron estos dos enfoques, el resultado fue un sistema que priorizó la estabilidad sobre el rendimiento máximo bruto. El modelo híbrido logró una precisión del 95% en las pruebas, una cifra que, aunque ligeramente inferior al máximo teórico del modelo de solo imagen, demostró ser mucho más consistente en la práctica. En los ensayos en tiempo real, el sistema híbrido mantuvo un nivel de confianza cercano al 100%, eliminando eficazmente la vacilación y los errores que afectaban a los sistemas de un solo modelo. El estudio encontró que, al permitir que los dos modelos seleccionen la respuesta basándose en umbrales de confianza y luego suavizar los resultados sobre una ventana de tiempo corta, el sistema podía manejar las condiciones variables del entorno. Este enfoque redujo con éxito las clasificaciones erróneas observadas en el modelo de solo geometría mientras mantenía predicciones estables, demostando la efectividad de combinar características visuales y de puntos de referencia para el reconocimiento de gestos.

Los investigadores concluyen que este marco híbrido ofrece un camino práctico hacia las herramientas de comunicación asistida. Al reconocer que ningún método es perfecto en todas las situaciones, y al crear un sistema que puede apoyarse dinámicamente en el método que sea más confiable en cualquier momento dado, han creado un reconocedor de gestos lo suficientemente robusto para el uso en el mundo real. El trabajo demuestra que combinar la apariencia visual con la estructura geométrica, gestionada por un proceso de decisión basado en la confianza, produce una herramienta que no solo es precisa, sino también estable y dependiente.