Deep Learning-Based Sign Language Recognition from Videos and Cross-Lingual Translation to Indian Vernaculars

Resumo Técnico: Reconhecimento de Língua de Sinais Baseado em Deep Learning a partir de Vídeos e Tradução Cross-Lingual para Vernáculos Indianos

Definição do Problema
A língua de sinais serve como o modo de comunicação primário para a comunidade global de surdos e com deficiência auditiva, embora sistemas automatizados capazes de reconhecer gestos de sinais a partir de vídeos e traduzi-los para a linguagem natural permaneçam limitados, particularmente para línguas indianas de baixos recursos. As soluções existentes frequentemente dependem de classificação de imagens estáticas ou lidam apenas com vocabulários restritos, falhando em capturar a natureza temporal e de corpo inteiro da sinalização. Além disso, a escassez de corpora paralelos que liguem a Língua de Sinais Indiana (ISL) diretamente às línguas regionais (como hindi, telugo e bengali) dificulta o desenvolvimento de sistemas de tradução de ponta a ponta. Este trabalho aborda dois subproblemas acoplados: (1) prever o rótulo da palavra em inglês a partir de um curto clipe de vídeo de ISL e (2) traduzir esse rótulo em inglês para hindi, telugo e bengali.

Metodologia
Os autores propõem um pipeline de deep learning de dois estágios projetado para contornar a falta de dados diretos de sinal-para-língua-regional usando o inglês como uma língua pivô de altos recursos.

1. Classificação Vídeo-para-Inglês:

   • Arquitetura: O sistema utiliza um transformer VideoMAE (Masked Autoencoder for Video) ajustado (fine-tuned), especificamente o checkpoint MCG-NJU/videomae-base do Hugging Face.
   • Processamento de Entrada: Os vídeos de entrada são decodificados e 16 quadros são amostrados uniformemente. Esses quadros são redimensionados para 224×224 e normalizados usando estatísticas do ImageNet.
   • Treinamento: O modelo é ajustado em um subconjunto de 13 classes do corpus AI4Bharat Indian Sign Language (lançado pelo IIT Madras). O conjunto de dados consiste em aproximadamente 197 clipes cobrindo adjetivos (ex: loud, quiet, happy, sad, beautiful, ugly, deaf, blind) e substantivos de vestuário (ex: hat, dress, suit, skirt, shirt).
   • Configuração: A cabeça de classificação é substituída por uma camada linear de 13 unidades. O treinamento emprega o otimizador AdamW (taxa de aprendizado $1 \times 10^{-5}$), perda de entropia cruzada (cross-entropy loss), precisão mista (FP16) e um tamanho de lote (batch size) de 2 por 15 épocas. O conjunto de treinamento é dividido em 80/20 (estratificado) a partir dos clipes disponíveis.

2. Tradução Inglês-para-Regional:

   • Arquitetura: O rótulo em inglês previsto é passado para o modelo de tradução multilíngue NLLB-200 da Meta AI (facebook/nllb-200-distilled-600M).
   • Processo: O modelo traduz a palavra isolada em inglês independentemente para três línguas alvo: hindi (hin_Deva), telugo (tel_Telu) e bengali (ben_Beng). A tradução é realizada forçando o token de início de sequência do decodificador para o código específico da língua alvo.

3. Sistema de Inferência:

   • O pipeline é encapsulado em uma aplicação Streamlit interativa. Usuários fazem o upload de arquivos de vídeo e o sistema exibe o rótulo em inglês previsto juntamente com suas traduções nos três vernáculos.

Principais Resultados
Avaliado em um conjunto de validação de 40 clipes (20% do total de 197), o sistema alcançou o seguinte:

• Acurácia: O modelo atingiu 9 compete 9,4% de acurácia de treinamento e 77,5% de acurácia de validação após 15 épocas.
• Desempenho por Classe:
  • Alto Desempenho: Classes como loud, quiet, happy, Suit e Skirt alcançaram recall perfeito (100%).
  • Desempenho Moderado: Hat, Dress e Shirt alcançaram 75% de recall.
  • Modos de Falha: O modelo falhou completamente (0% de recall) em Beautiful, Deaf e Blind, e performou em níveis de acaso em Ugly.
• Análise de Erro: A confusão ocorreu principalmente em dois clusters:
  1. Visual/Postural: Itens de vestuário (Hat, Dress, Shirt, Suit) foram confundidos devido à sobreposição de posicionamentos das mãos próximas ao torso e à cabeça.
  2. Semântico/Afetivo: Beautiful, Ugly, Deaf e Blind foram mutuamente confundidos, provavelmente devido a expressões faciais e pistas manuais sobrepostas, exacerbadas por tamanhos de amostra extremamente pequenos (1–2 clipes de validação por classe).
• Overfitting: A lacuna significativa entre a acurácia de treinamento (>99%) e a de validação (~78%) indica overfitting, atribuído ao tamanho reduzido do dataset e à diversidade intra-classe limitada.

Significância e Escopo
O artigo posiciona este trabalho como um estudo de viabilidade inicial e de pequena escala, em vez de um sistema pronto para produção. Suas principais contribuições são:

1. Demonstração de um Pipeline de Dois Estágios: Validar que um codificador VideoMAE pré-treinado, quando ajustado em um pequeno subconjunto de ISL, pode classificar efetivamente gestos isolados, e que uma abordagem de pivô em inglês usando NLLB-200 pode fazer a ponte para línguas indianas de baixos recursos sem exigir corpora diretos de sinal-para-regional.
2. Identificação de Limitações: O estudo destaca explicitamente os desafios da classificação de palavras isoladas, a sensibilidade ao estilo do sinalizador e às condições de gravação, e a ambiguidade inerente à tradução de palavras únicas sem contexto de nível de frase (ex: distinguir "suit" como vestuário vs. um verbo).
3. Reprodutibilidade: Os autores liberaram o código para carregamento de dados, ajuste fino do modelo e a demo de inferência em Streamlit para apoiar a extensão pela comunidade.

Direções Futuras
Os autores delineiam caminhos específicos para trabalhos futuros, incluindo a escala para o vocabulário completo da AI4Bharat, a transição da classificação de palavras isoladas para a tradução de língua de sinais contínua (geração de frases completas), a expansão para outras línguas indianas suportadas pelo NLLB, e a otimização da latência do modelo para implantação em dispositivos de borda (edge/mobile).