A língua de sinais é uma conversa visual rica que depende do movimento preciso das mãos, da forma dos dedos e da orientação do corpo. Para que os computadores entendam essa língua, eles devem agir como um segundo par de olhos, observando uma pessoa sinalizar e traduzindo esses gestos em palavras. Por anos, pesquisadores tentaram ensinar essa habilidade às máquinas usando câmeras de vídeo padrão. Essas câmeras capturam a cena visual, mas têm dificuldade quando a visão é imperfeita. Se uma mão se move muito rapidamente, ela fica borrada; se passa na frente de outro objeto, ela desaparece; se a iluminação muda ou o fundo é agitado, o computador perde o rastro dos detalhes importantes. Isso torna difícil para uma máquina distinguir entre dois sinais que parecem semelhantes, mas que significam coisas diferentes.

Para resolver isso, cientistas também buscaram sensores vestíveis, pequenos dispositivos usados no corpo que medem o movimento diretamente. Esses sensores podem sentir a dobra de um dedo ou a rotação de um pulso, fornecendo um registro claro de movimento mesmo quando uma câmera não consegue ver claramente. No entanto, os sensores sozinhos perdem o contexto visual, como para onde a mão está apontando em relação ao corpo do sinalizador. O desafio tem sido combinar essas duas formas de ver — o olho visual de uma câmera e o sentido físico de um sensor — em um único sistema que seja mais confiável do que qualquer um deles isoladamente. Uma equipe de pesquisadores da Universidade de Tecnologia de Tianjin e da Universidade de Tecnologia de Hebei construiu agora tal sistema, criando um método que funde dados de vídeo e de sensores vestíveis para reconhecer palavras isoladas de língua de sinais com uma precisão notável, mesmo quando a qualidade do vídeo é ruim.

Os pesquisadores começaram construindo um novo conjunto de dados especificamente projetado para testar quão bem um computador pode reconhecer sinais quando as condições visuais são difíceis. Eles recrutaram cinco voluntários e pediram que realizassem cem sinais isolados diferentes, como palavras únicas ou frases curtas. Cada voluntário repetiu cada sinal dez vezes, criando um total de cinco mil amostras. Durante a gravação, os voluntários usavam uma configuração especial que incluía pequenos sensores no braço superior, antebraço e mão. Esses sensores mediam o movimento inercial dos membros e a dobra dos dedos. Ao mesmo tempo, uma câmera USB padrão gravava o vídeo. A equipe garantiu que o vídeo e os dados dos sensores estivessem perfeitamente sincronizados, o que significa que cada quadro de vídeo correspondia exatamente ao momento correspondente dos dados do sensor. O ambiente de gravação foi configurado para incluir problemas visuais comuns, como mudança de luz, desfoque de movimento e partes da mão sendo escondidas, para simular desafios do mundo real.

Para ensinar o computador a entender esses dados, os pesquisadores desenvolveram um sistema com dois "cérebros" separados que trabalhavam juntos. O primeiro cérebro focava inteiramente no vídeo. Ele utilizava um modelo visual sofisticado para observar trinta e dois quadros do vídeo para cada sinal, analisando como as mãos se moviam pelo espaço e como a postura do corpo mudava. Este modelo foi projetado para extrair a história visual do sinal, procurando padrões no movimento e na forma. O segundo cérebro focava inteiramente nos sensores vestíveis. Ele processava os dados brutos dos sensores de flexão e dos rastreadores de movimento, que registravam exatamente como os dedos dobravam e como os braços se moviam. Para ajudar este cérebro a entender o fluxo do tempo, o sistema calculava a diferença entre um momento de movimento e o próximo, permitindo que ele sentisse a velocidade e a direção do gesto. Este ramo de sensores foi construído para ser leve e eficiente, capaz de aprender os padrões complexos do movimento humano a partir dos números brutos.

Uma vez que ambos os cérebros tivessem feito sua própria suposição sobre qual sinal estava sendo realizado, o sistema tinha que decidir em qual suposição confiar. Os pesquisadores descobriram que as duas fontes de informação frequentemente discordavam. Às vezes, a câmera via um sinal claramente, mas os sensores ficavam confusos por um movimento semelhante. Outras vezes, os sensores sabiam exatamente o que estava acontecendo porque o movimento era distinto, mesmo que o vídeo estivesse borrado ou a mão estivesse parcialmente escondida. Para lidar com isso, a equipe criou um método para misturar as duas suposições. Eles não simplesmente tiraram a média das duas respostas. Em vez disso, ajustaram a confiança de cada suposição com base no quão certa a equipe se sentia sobre aquele tipo específico de dado. Eles então combinaram as probabilidades ajustadas usando um peso específico que foi escolhido para dar o melhor resultado possível. Esse processo permitiu que o sistema final dependesse mais fortemente dos dados do sensor quando o vídeo estava obscuro, e mais fortemente do vídeo quando o dado de movimento era ambíguo.

Os resultados dessa abordagem foram impressionantes. Quando os pesquisadores testaram o sistema em novas pessoas que não faziam parte do grupo de treinamento, o sistema apenas de vídeo acertou a resposta cerca de sessenta e oito por cento das vezes. O sistema apenas de sensores teve um desempenho muito melhor, acertando a resposta cerca de noventa e cinco por cento das vezes. Isso confirmou que os sensores vestíveis forneciam um sinal muito mais estável para o reconhecimento desses sinais específicos do que o vídeo, especialmente sob as condições visuais difíceis que a equipe criou. No entanto, o sistema fundido, que combinou ambas as fontes, teve um desempenho ainda melhor. Ele alcançou uma precisão de noventa e sete por cento, identificando corretamente o sinal em quase todos os casos. Esse avanço significou que o sistema cometeu muito menos erros do que a versão apenas de sensores, corrigindo erros que os sensores sozinhos não poderiam resolver.

A equipe também analisou de perto os erros que o sistema fundido ainda cometia. Eles descobriram que os erros restantes ocorriam principalmente entre pares de sinais que são naturalmente muito semelhantes, como sinais que usam a mesma forma de mão mas apontam em direções ligeiramente diferentes, ou sinais que dependem de diferenças sutis na dobra dos dedos. Estes são os tipos de distinções que são difíceis de fazer para qualquer humano sem atenção cuidadosa, quanto mais para uma máquina. A análise mostrou que quando o vídeo e os sensores concordavam, o sistema estava quase sempre correto. Quando discordavam, o método de fusão usava com sucesso a fonte mais confiável para corrigir o erro. Isso demonstrou que os dois tipos de dados eram verdadeiramente complementares: os sensores forneciam uma base robusta de movimento, enquanto o vídeo adicionava os detalhes visuais necessários para distinguir entre os sinais mais semelhantes.

Este trabalho sugere que o futuro do reconhecimento de língua de sinais pode não depender de um único tipo de tecnologia. Em vez disso, combinar a perspectiva visual de uma câmera com as medições físicas diretas de sensores vestíveis cria um sistema que é resiliente às imperfeições de uma gravação do mundo real. Embora o estudo atual tenha sido limitado a um pequeno grupo de voluntários e um conjunto específico de sinais, o método provou que é possível construir uma ferramenta de reconhecimento que funcione bem mesmo quando o feed de vídeo está degradado. Os pesquisadores observaram que, para que esta tecnologia seja útil para todos, o trabalho futuro precisará incluir mais pessoas com diferentes estilos de sinalização e testar o sistema em uma variedade maior de ambientes. Por enquanto, o estudo fornece um caminho claro a seguir, mostrando que, quando as máquinas recebem tanto os olhos quanto um sentido do tato, elas podem compreender a comunicação humana com um nível de precisão que nenhum dos sentidos alcançaria sozinho.