Visual Hand Gesture Recognition with Deep Learning: A Comprehensive Review of Methods, Datasets, Challenges and Future Research Directions

Resumo Técnico: Reconhecimento Visual de Gestos Manuais com Aprendizado Profundo

Declaração do Problema
O Reconhecimento Visual de Gestos Manuais (VHGR) é um subcampo crítico da visão computacional que permite a Interação Humano-Computador (HCI), a Interação Humano-Robô (HRI) e o Reconhecimento de Língua de Sinais (SLR) naturais. Embora o aprendizado profundo (DL) tenha avançado significativamente o campo, o cenário de pesquisa permanece fragmentado. As pesquisas existentes frequentemente focam em técnicas tradicionais de aprendizado de máquina, cobrem metodologias desatualizadas (anteriores a 2021) ou restringem seu escopo a domínios específicos como Língua de Sinais, deixando uma lacuna em revisões abrangentes e atualizadas de VHGR baseado em DL. Os pesquisadores carecem de uma visão estruturada para navegar pelas centenas de artigos recentes, identificar métodos de Estado da Arte (SOTA) e compreender o desempenho comparativo entre diferentes tarefas e modalidades.

Metodologia
Esta pesquisa emprega uma metodologia de revisão sistemática da literatura para mapear o cenário evolutivo do VHGR.

• Escopo e Seleção: A revisão foca exclusivamente em métodos baseados em visão (RGB, profundidade, IR, pose, fluxo óptico) publicados principalmente entre 2021 e 2025. Abordagens baseadas em sensores foram excluídas para manter um escopo focado em modalidades visuais.
• Estratégia de Busca: Consultas foram executadas no Scopus, Web of Science, Google Scholar e arXiv usando operadores booleanos específicos e palavras-chave relacionadas ao reconhecimento de gestos e língua de sinais.
• Categorização: De um conjunto inicial de mais de 900 publicações, 278 trabalhos relevantes foram selecionados (185 métodos, 72 conjuntos de dados, 21 pesquisas). Estes foram organizados em uma taxonomia estruturada baseada em oito critérios: Domínio de Aplicação, Tarefa, Modalidade de Entrada, Tipo de Informação, Ponto de Vista da Câmera, Arquitetura, Estratégia de Aprendizado e Modo de Processamento (Online vs. Offline).
• Análise: O artigo analisa métodos em três tarefas principais: VHGR Estático (SHGR), VHGR Dinâmico Isolado (IDHGR) e VHGR Dinâmico Contínuo (CDHGR). Ele avalia técnicas SOTA, compara o desempenho em benchmarks padrão e sintetiza desafios e direções futuras.

Principais Contribuições

1. Taxonomia Estruturada: O artigo introduz uma taxonomia abrangente que classifica os métodos VHGR por tipo de entrada, complexidade da tarefa, arquitetura (espacial, temporal, espaço-temporal) e estratégias de aprendizado (ex: aprendizado por transferência, aprendizado contrastivo, supervisão fraca).
2. Revisão SOTA Orientada a Tarefas:
   • VHGR Estático (SHGR): Revisa métodos para reconhecimento de quadro único, destacando a dominância de 2DCNNs (ex: variantes VGG, DenseNet) e arquiteturas leves para HCI e HRI. Observa-se que, embora a precisão seja alta, os conjuntos de dados permanecem pequenos e carecem de diversidade.
   • VHGR Dinâmico Isolado (IDHGR): Analisa abordagens para sequências curtas e pré-segmentadas. Contrasta métodos unimodais baseados em aparência (usando 3DCNNs, Transformers) com métodos baseados em pose (usando Redes de Convolução em Grafos - GCNs) e estratégias de fusão multimodal.
   • VHGR Dinâmico Contínuo (CDHGR): Foca em fluxos de vídeo não segmentados, principalmente para Reconhecimento Contínuo de Língua de Sinais (CSLR). Detalha o pipeline padrão de três estágios (Codificador Espacial + Modelo Temporal de Curto Prazo + Modelo de Contexto de Longo Prazo) e abordagens emergentes de ponta a ponta usando Modelos de Difusão e Grandes Modelos de Linguagem (LLMs).
3. Síntese de Conjuntos de Dados e Métricas: O artigo cataloga 72 conjuntos de dados, distinguindo aqueles para SLR (ex: PHOENIX, WLASL, MSASL) e gestos semafóricos (ex: HaGRID, Jester). Esclarece as métricas de avaliação, diferenciando entre métricas de classificação (Precisão, F1-Score) para tarefas estáticas/isoladas e métricas de sequência para sequência (Taxa de Erro de Palavra - WER) para tarefas contínuas.
4. Análise Crítica de Desafios: A pesquisa identifica cinco principais gargalos:
   • Fatores Irrelevantes ao Gesto: Bagunça de fundo, variações de iluminação e oclusões.
   • Custo Computacional: Alto FLOPs e contagem de parâmetros em modelos SOTA (ex: Uni-Sign com 592M parâmetros) dificultam a implantação em tempo real.
   • Escassez de Dados: Falta de conjuntos de dados diversos, em grande escala e "in-the-wild", particularmente para línguas de sinais raras.
   • Dificuldades de Otimização: Questões como atenuação de gradiente e picos CTC em pipelines profundos de CSLR.
   • Limitações Arquitetônicas: Grafos de topologia fixa subótimos em GCNs e estratégias de fusão tardia ineficazes em sistemas multimodais.

Resultados e Insights Comparativos

• Reconhecimento Estático: O SHGR é considerado um problema amplamente resolvido com alta precisão (>95%) em conjuntos de dados controlados usando 2DCNNs leves. No entanto, o desempenho degrada em ambientes não controlados devido a limitações dos conjuntos de dados.
• Reconhecimento Dinâmico Isolado: Abordagens multimodais (combinando RGB e Esqueleto) geralmente produzem a maior precisão, mas a um custo computacional significativo. Métodos baseados em pose (GCNs) oferecem um equilíbrio entre eficiência e desempenho, embora dependam fortemente da precisão do estimador de pose subjacente.
• Reconhecimento Contínuo: O CDHGR permanece a tarefa mais desafiadora. Embora o pipeline padrão 2DCNN+1DCNN+BiLSTM seja dominante, métodos mais recentes que utilizam Modelos de Difusão para geração de gloss e modelos fundamentais (CLIP, LLMs) mostram desempenho superior (menor WER), mas exigem recursos computacionais massivos e dados de treinamento adicionais.
• Tendências de Modalidade: O RGB permanece a modalidade dominante. Dados de profundidade e pose são frequentemente usados em fusão multimodal, mas raramente superam o RGB sozinho em isolamento sem complexidade de fusão significativa.

Significado e Direções Futuras
O artigo posiciona-se como uma diretriz fundamental para pesquisadores que visam avançar o VHGR. Argumenta que, embora o DL tenha impulsionado o desempenho, o campo enfrenta desafios "não resolvidos" relacionados à generalização para condições do mundo real e eficiência computacional.

• Direções de Pesquisa Futura: Os autores propõem focar em:
  • Diversidade de Dados: Coleta de conjuntos de dados "in-the-wild" e aproveitamento da agregação multilíngue.
  • Eficiência: Adoção de compressão de modelos, camadas não paramétricas e arquiteturas leves para implantação em borda.
  • Otimização: Desenvolvimento de melhores estratégias de treinamento (ex: supervisão auxiliar) para mitigar problemas de gradiente em redes profundas.
  • Fusão Avançada: Avançar além da fusão tardia para fusão intermediária e multinível em sistemas multimodais.
  • Modelos Fundamentais: Integração eficiente de grandes modelos pré-treinados para reconhecimento zero-shot e interação de vocabulário aberto, em vez de apenas classificação de conjunto fechado.

A pesquisa conclui que, embora progressos significativos tenham sido feitos, fechar a lacuna entre benchmarks de laboratório de alta precisão e implantação robusta no mundo real exige abordar a escassez de dados, restrições computacionais e otimização arquitetônica.