Dynamic LIBRAS Gesture Recognition via CNN over Spatiotemporal Matrix Representation

1. Problema

O reconhecimento automático de gestos manuais é um componente fundamental para interfaces homem-máquina baseadas em visão, com aplicações que vão desde o controle de dispositivos até a interpretação de linguagem de sinais. No entanto, o reconhecimento preciso de gestos dinâmicos (que envolvem movimento ao longo do tempo) permanece um desafio devido à complexidade da anatomia da mão e à variabilidade entre indivíduos (juntas, tendões, proporções).

Abordagens baseadas em pixels brutos de imagem sofrem com alta dimensionalidade e sensibilidade a fatores como iluminação e cor da pele. Além disso, muitos sistemas existentes dependem de redes recorrentes (como LSTMs) ou máquinas de estado finito para modelar sequências temporais, o que pode aumentar a complexidade computacional e a latência, dificultando a implementação em hardware de propósito geral ou embarcado. O trabalho foca especificamente na aplicação de gestos da LIBRAS (Língua Brasileira de Sinais) para controle de automação residencial, onde a robustez e a inferência em tempo real são críticas.

2. Metodologia

O método proposto é uma composição de dois modelos principais:

• Extração de Dados (MediaPipe Hand Landmarker):

  • Utiliza o modelo pré-treinado MediaPipe Hand Landmarker para detectar e localizar 21 pontos-chave (landmarks) esqueléticos da mão em cada quadro de vídeo.
  • Os pontos incluem coordenadas (x, y, z) para cada articulação, fornecendo uma representação geométrica abstrata que é invariante a variações de iluminação e cor de pele.

• Representação Espaciotemporal (Matriz 90x21):

  • Em vez de processar frames individuais ou usar redes 3D, o sistema organiza os dados em uma matriz de movimento de dimensões 90x21.
  • Estrutura da Matriz:
    • 21 colunas correspondem aos 21 pontos-chave da mão.
    • 90 linhas são formadas pela concatenação vertical de 30 frames capturados, divididos por eixo: linhas 1-30 (eixo X), 31-60 (eixo Y) e 61-90 (eixo Z).
  • Antes da inferência, a matriz é normalizada (escala min-max para [0, 255]) e convertida em uma imagem em tons de cinza, permitindo que padrões estáticos e dinâmicos sejam visualizados e classificados como imagens 2D.

• Arquitetura do Modelo (CNN 2D):

  • Uma Rede Neural Convolucional (CNN) 2D é treinada para classificar os gestos a partir da matriz de movimento.
  • Arquitetura: 3 camadas convolucionais (com filtros de 33, 64 e 64) seguidas por camadas densas.
  • Otimização: Utiliza regularização L1, função de ativação ReLU e softmax na saída. O modelo é leve, com aproximadamente 25.000 parâmetros, permitindo execução eficiente em hardware de propósito geral (CPU/GPU comum).

• Estratégia de Inferência em Tempo Real (Janela Deslizante):

  • Para evitar a necessidade de redes recorrentes (RNNs/LSTMs) e lidar com a captura contínua de gestos, o sistema utiliza uma janela deslizante com triplicação temporal de frames.
  • Cada novo frame capturado é inserido 3 vezes no buffer. Quando o buffer atinge 30 entradas (equivalente a ~10 frames reais), a matriz é montada e enviada ao modelo.
  • Isso permite que gestos sejam expressos com mais fluidez e velocidade, mantendo a sobreposição temporal necessária para a classificação contínua.
  • Apenas previsões com confiança superior a 98% são consideradas válidas.

3. Principais Contribuições

O trabalho destaca três contribuições principais:

1. Representação Matricial Espaciotemporal: Uma nova forma de organizar pontos-chave esqueléticos (90x21) como uma imagem 2D, facilitando o uso de CNNs 2D padrão para capturar tanto a configuração espacial quanto a evolução temporal do gesto.
2. Inferência Contínua sem Redes Recorrentes: A estratégia de janela deslizante com triplicação de frames permite reconhecimento contínuo e robusto em tempo real, eliminando a complexidade e o custo computacional de redes LSTM ou GRU.
3. Validação em Cenário Real: O sistema foi validado em um cenário de automação residencial com 11 classes de gestos (estáticos e dinâmicos da LIBRAS), demonstrando eficácia prática para controle de dispositivos (ar-condicionado, cortinas, luzes, etc.).

4. Resultados

Os testes foram realizados em um computador pessoal (Intel Core i7, 16GB RAM) sem GPU dedicada para inferência, utilizando uma câmera Logitech Brio.

• Precisão:
  • Condição de pouca luz: 95% de precisão (95/100 tentativas corretas).
  • Condição de luz normal: 92% de precisão (92/100 tentativas corretas).
• Desempenho de Treinamento: O modelo atingiu 100% de precisão no conjunto de treinamento e 99,55% no conjunto de validação (gerado pelo mesmo usuário).
• Erros Principais: O gesto "C" (associado a cortinas) foi o mais confundido, frequentemente interpretado como uma posição de mão relaxada (neutra) devido à similaridade visual em certas posições.
• Comparação: Os resultados são comparáveis ou superiores a trabalhos recentes na literatura que utilizam abordagens similares ou redes mais complexas (ex: 93% em datasets públicos com múltiplos usuários).

5. Significado e Conclusão

O artigo demonstra que é possível criar um sistema de reconhecimento de gestos dinâmicos robusto e de baixo custo computacional sem depender de redes recorrentes complexas. A abordagem proposta simplifica a arquitetura, tornando-a viável para implementação em dispositivos de automação residencial de baixo custo.

Limitações e Trabalhos Futuros:

• O estudo foi realizado com um único usuário, o que pode ter inflado a precisão devido à homogeneidade anatômica e expressiva.
• Há uma necessidade crítica de expandir o conjunto de dados com múltiplos usuários, variando estilos de expressão, ritmos e características anatômicas para avaliar a verdadeira generalização do modelo.
• Futuros trabalhos visam incorporar variáveis de iluminação explícitas no treinamento e testar a portabilidade em hardware embarcado de baixo custo.

Em suma, a proposta oferece uma solução eficiente e prática para a interação homem-máquina via gestos em LIBRAS, equilibrando alta precisão e baixa complexidade computacional.