A HamNoSys-Guided Dataset and Baselines for Fine-Grained Isolated Handshape Recognition in Sign Language
Este artigo introduz um conjunto de dados de grande escala, fundamentado em HamNoSys, de 144.000 imagens RGB de 15 participantes para 160 classes de configurações de mão e estabelece o desempenho de referência utilizando vários modelos de aprendizagem profunda e de aprendizagem automática sob protocolos de avaliação dependentes de sujeito e de exclusão de um sujeito, visando avançar o reconhecimento de linguagem de sinais de granularidade fina.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
As línguas de sinais são línguas completas e complexas, com sua própria gramática e estrutura, utilizadas por milhões de pessoas ao redor do mundo. Assim como as línguas faladas são construídas a partir de sons, as línguas de sinais são construídas a partir de movimentos físicos das mãos, do rosto e do corpo. Um dos blocos de construção mais críticos é a forma que a mão faz. Uma leve curvatura em um dedo ou uma posição diferente do polegar pode mudar o significado de um sinal inteiramente, de forma muito semelhante a como a mudança de uma única letra pode transformar uma palavra em outra. Para que os computadores possam entender ou traduzir essas línguas, eles devem primeiro aprender a reconhecer essas formas de mão específicas com alta precisão. No entanto, criar um sistema de computador que possa fazer isso é difícil porque as mãos humanas variam muito de pessoa para pessoa, e as diferenças entre formas de mão semelhantes podem ser incrivelmente sutis.
Pesquisadores há muito buscam uma maneira de descrever essas formas de mão em uma linguagem universal que não pertença a apenas um país ou cultura. Um desses sistemas, conhecido como Sistema de Notação de Hamburgo, atua como um mapa detalhado para configurações de mãos, decompondo-as em partes específicas, como a seleção de dedos e a posição do polegar. Embora este sistema forneça uma definição clara de como uma forma de mão deve parecer, tem havido uma falta de dados do mundo real para ensinar computadores a reconhecer essas formas quando executadas por pessoas reais. Sem uma grande coleção de imagens reais mostrando essas formas específicas, os programas de computador têm dificuldade em generalizar, muitas vezes falhando quando encontram uma nova pessoa ou um ângulo ligeiramente diferente.
Para abordar essa lacuna, uma equipe de pesquisadores criou um novo e massivo conjunto de dados projetado para ensinar computadores a reconhecer 160 formas de mão distintas. Eles não dependeram de imagens geradas por computador ou desenhos simples; em vez disso, eles gravaram pessoas reais. Quinze voluntários, todos estudantes universitários, foram solicitados a formar cada uma das 160 formas de mão específicas definidas pelo gráfico oficial. Os pesquisadores montaram um ambiente controlado com um fundo branco liso e uma câmera de alta definição. Cada participante segurou sua mão na forma exigida e a rotacionou lentamente, permitindo que a câmera capturasse o movimento de diferentes ângulos. Esse processo gerou 144.000 imagens coloridas individuais, criando uma biblioteca rica onde cada única imagem é rotulada com a forma de mão exata que ela representa.
Os pesquisadores então testaram o quão bem diferentes modelos de computador poderiam aprender com essa nova biblioteca. Eles tentaram duas abordagens principais. A primeira abordagem olhou para as imagens como um todo, de forma muito semelhante a um ser humano, focando na aparência geral da mão, do tom de pele e da iluminação. A segunda abordagem ignorou a imagem inteiramente e focou apenas nas coordenadas matemáticas de vinte e um pontos específicos da mão, como as pontas dos dedos e as articulações. Eles testaram esses modelos de duas maneiras diferentes. No primeiro teste, o computador foi mostrado imagens de pessoas que já havia visto durante seu treinamento, simulando um cenário em que o sistema conhece o usuário. No segundo teste, muito mais difícil, o computador foi mostrado imagens de pessoas que nunca havia encontrado antes, forçando-o a confiar no que aprendeu sobre as formas em si, em vez da pessoa específica que as realiza.
Os resultados revelaram uma distinção clara entre conhecer uma pessoa e conhecer uma forma. Quando o computador foi testado em pessoas que já havia visto, ele teve um desempenho muito bom, identificando corretamente a forma da mão em mais de 86 por cento dos casos usando o melhor modelo baseado em imagens. No entanto, quando o computador enfrentou uma nova pessoa que nunca havia encontrado, sua precisão caiu significativamente, caindo para cerca de 45 por cento. Esse declínio acentuado mostra que, embora os computadores sejam bons em reconhecer padrões em rostos familiares, eles ainda lutam para separar a forma universal de um sinal da maneira única como um indivíduo específico o executa. O estudo também descobriu que os modelos cometem mais erros com formas de mão que parecem quase idênticas, diferindo apenas em um detalhe minúsculo, como a curvatura de um único dedo ou a posição do polegar.
Este trabalho fornece uma base sólida para tecnologias futuras. Ao oferecer uma coleção grande e equilibrada de imagens reais e testar como os computadores lidam com novos usuários, os pesquisadores criaram uma ferramenta padrão para a área. O conjunto de dados permite que cientistas construam melhores sistemas que possam, eventualmente, ajudar a traduzir a língua de sinais em texto ou fala para aqueles que não podem ouvir, ou ajudar indivíduos surdos a se comunicarem mais facilmente com pessoas ouvintes. Embora os modelos atuais ainda achem difícil reconhecer sinais de estranhos, o novo recurso oferece aos pesquisadores um caminho claro para melhorar esses sistemas, garantindo que a tecnologia futura possa compreender a sutil e bela complexidade das mãos humanas.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.