A Hybrid CNN–MLP Model Using Confidence-Gated Fusion Framework for Real-Time Indian Sign Language Recognition

A comunicação é uma necessidade humana fundamental, mas para milhões de pessoas surdas ou com deficiência auditiva, a ponte para o mundo exterior muitas vezes permanece quebrada. A língua de sinais serve como uma linguagem completa e rica para essas comunidades, mas sem um sistema de tradução universal, a lacuna entre sinalizadores e não sinalizadores persiste. Nos últimos anos, cientistas voltaram-se para os computadores para construir essa ponte, ensinando máquinas a "ver" gestos manuais e a traduzi-los em palavras faladas ou escritas. Este campo baseia-se em duas formas principais de ver. Uma abordagem trata a mão como uma fotografia, analisando a forma, a cor e a textura da pele e dos dedos para adivinhar o significado. A outra abordagem ignora a imagem inteiramente, focando, em vez disso, na geometria precisa da mão, mapeando a posição exata das articulações e pontas dos dedos como um conjunto de coordenadas. Embora cada método tenha seus pontos fortes, ambos lutam quando o mundo real se torna caótico. Um sistema baseado em câmera pode falhar se a iluminação mudar ou se o fundo estiver poluído, enquanto um sistema baseado em geometria pode perder detalhes sutis que distinguem um sinal de outro.

Em um novo estudo, pesquisadores do Galgotias College of Engineering & Technology, na Índia, propuseram uma solução que combina essas duas formas distintas de ver para criar um tradutor mais confiável para a Língua de Sinais Indiana. Em vez de forçar um computador a escolher entre olhar para a aparência da mão ou para sua estrutura, a equipe construiu um sistema híbrido que utiliza ambos simultaneamente. Eles criaram dois "cérebros" digitais distintos: um treinado para reconhecer gestos olhando para imagens de mãos, e outro treinado para reconhecê-los lendo as coordenadas matemáticas de marcos manuais. A inovação não reside apenas em ter dois modelos, mas em como eles trabalham juntos. Os pesquisadores projetaram um mecanismo de alternância inteligente que atua como um porteiro. Na operação em tempo real, o sistema verifica constantemente o quão confiante o modelo baseado em imagem está em seu palpite. Se o modelo baseado em imagem estiver incerto devido à má iluminação, o sistema recorre automaticamente ao modelo baseado em geometria, que é priorizado por sua robustez às variações ambientais. Se a geometria estiver obscura, ele depende da imagem. Essa tomada de decisão dinâmica é então suavizada ao longo do tempo para garantir que a saída final não oscile ou salte erraticamente de uma letra para outra.

A equipe testou seu sistema usando uma grande coleção de imagens estáticas de mãos representando o alfabeto e alguns comandos específicos, totalizando 87.000 fotos. Eles treinaram seu modelo de leitura de imagem usando uma arquitetura leve conhecida como MobileNetV2, que é projetada para ser rápida o suficiente para uso em tempo real, e treinaram seu modelo de leitura de geometria usando uma rede neural padrão que processa os 21 pontos-chave da mão detectados por uma ferramenta chamada MediaPipe. Quando colocaram os modelos individuais à prova, os resultados foram reveladores. O modelo baseado em imagem foi incrivelmente preciso, atingindo quase 100% de precisão em testes controlados, mas mostrou sinais de incerteza quando confrontado com as condições variáveis de uma transmissão de câmera ao vivo. O modelo baseado em geometria foi ligeiramente menos preciso por conta própria, pontuando cerca de 97%, mas permaneceu notavelmente estável, independentemente do fundo ou da iluminação.

Quando os pesquisadores fundiram essas duas abordagens, o resultado foi um sistema que priorizou a estabilidade sobre o desempenho bruto de pico. O modelo híbrido alcançou uma precisão de 95% nos testes, um número que, embora ligeiramente inferior ao máximo teórico do modelo de apenas imagem, provou-se muito mais consistente na prática. Em testes de tempo real, o sistema híbrido manteve um nível de confiança de quase 100%, eliminando efetivamente a hesitação e os erros que atormentavam os sistemas de modelo único. O estudo descobriu que, ao permitir que os dois modelos selecionassem a resposta com base em limiares de confiança e depois suavizarem os resultados ao longo de uma janela de tempo curta, o sistema poderia lidar com as condições variáveis do ambiente. Esta abordagem reduziu com sucesso as classificações incorretas observadas no modelo de apenas geometria, mantendo previsões estáveis, demonstrando a eficácia da combinação de características visuais e baseadas em marcos.

Os pesquisadores concluem que este framework híbrido oferece um caminho prático para ferramentas de comunicação assistiva. Ao reconhecer que nenhum método é perfeito em todas as situações, e ao criar um sistema que pode apoiar-se dinamicamente no método que for mais confiável em qualquer momento dado, eles criaram um reconhecedor de gestos que é robusto o suficiente para o uso no mundo real. O trabalho demonstra que combinar a aparência visual com a estrutura geométrica, gerenciada por um processo de decisão baseado em confiança, produz uma ferramenta que é não apenas precisa, mas também estável e dependente, trazendo a promessa de uma comunicação contínua entre ouvintes e surdos um passo mais próxima da realidade.