Bidirectional Deaf-Hearing Communication: a Modular Service- Oriented System Combining Multi-Purpose Artificial Intelligence and 3D Avatar Rendering

Durante séculos, a barreira fundamental entre surdos e ouvintes foi uma simples incompatibilidade de sentidos: um grupo comunica-se através da linguagem visual das mãos e dos rostos, enquanto o outro depende do som das vozes. Embora a tecnologia tenha permitido há muito tempo traduzir palavras faladas em texto para os surdos, e texto em fala para os ouvintes, a ponte no diálogo em tempo real permaneceu obstinadamente difícil. O desafio não é apenas converter uma língua em outra, mas gerir duas formas inteiramente diferentes de experienciar o mundo. Os indivíduos surdos utilizam a língua gestual, um sistema complexo onde o significado é carregado pela forma de uma mão, pelo movimento de um braço, pela posição do corpo e pela expressão de um rosto. Os indivíduos ouvintes, inversamente, falam através de sons que viajam pelo ar. Quando uma pessoa surda faz uma frase, um computador deve observar o vídeo, compreender os movimentos específicos e transformá-los em palavras. Quando uma pessoa ouvinte fala, um computador deve pegar nessas palavras, decompô-las na sequência correta de sinais e apresentá-las à pessoa surda. Fazer ambas as coisas instantaneamente, sem um atraso que quebre o fluxo da conversa, requer um sistema que seja simultaneamente incrivelmente rápido e incrivelmente inteligente.

Uma equipa de investigadores em Portugal construiu um novo sistema concebido para resolver este exato problema, criando uma ponte digital que permite que surdos e ouvintes falem uns com os outros da forma mais natural possível. Eles chamam à sua criação SLaDIS, uma plataforma modular que atua como um tradutor universal para conversação bidirecional. Em vez de tentarem forçar tudo num único e massivo programa, os investigadores dividiram o sistema em três partes distintas que trabalham juntas como uma corrida de estafetas bem organizada. A primeira parte observa as mãos e o rosto da pessoa surda, a segunda parte ouve as palavras da pessoa ouvinte e transforma-as em sinais, e a terceira parte é o ecrã onde a conversa realmente acontece. Ao manter estas partes separadas, mas conectadas, o sistema consegue realizar o trabalho pesado de visão computacional e inteligência artificial sem abrandar a conversa.

A jornada começa quando uma pessoa surda quer falar. Ela sinaliza a sua mensagem para uma câmara num telemóvel ou computador. O sistema não tenta memorizar cada pixel individual do vídeo, o que seria demasiado lento e exigiria demasiados dados. Em vez disso, utiliza uma ferramenta especializada para encontrar os pontos-chave no corpo da pessoa — as articulações dos dedos, os cotovelos, os ombros e os cantos da boca. O sistema rastreia estes pontos à medida que se movem, criando um mapa simplificado do gesto. Este mapa é então alimentado num modelo de aprendizagem profunda (deep learning), um tipo de inteligência artificial treinada em milhares de exemplos da Língua Gestual Portuguesa. O modelo observa a sequência de movimentos e identifica os sinais específicos que estão a ser feitos, transformando o movimento visual numa lista de palavras. Como a língua gestual muitas vezes deixa de fora pequenas palavras de ligação ou utiliza uma estrutura de frase diferente da linguagem falada, o sistema passa então esta lista de palavras para um modelo de linguagem de grande escala. Esta segunda camada de inteligência atua como um editor prestativo, reorganizando as palavras, adicionando a gramática necessária e suavizando a frase para que faça perfeito sentido para um ouvinte. O resultado é uma frase clara e natural que aparece no ecrã para o participante ouvinte ler ou ouvir.

O processo funciona de forma inversa quando a pessoa ouvinte quer responder. Ela digita ou fala a sua mensagem, e o sistema traduz imediatamente essa mensagem para os glosários específicos, ou blocos de construção, da Língua Gestual Portuguesa. Isto não é uma simples troca palavra por palavra; o sistema compreende que a língua gestual tem as suas próprias regras de ordem de palavras e gramática. Uma vez que a frase seja convertida na sequência correta de sinais, o sistema prepara-se para a mostrar ao utilizador surdo. Em vez de enviar um vídeo pré-gravado de um sinalante humano, o que demoraria tempo a descarregar e poderia não corresponder às palavras exatas, o sistema utiliza um avatar digital 3D. Este avatar é um humano virtual que vive dentro da aplicação. O sistema acede à animação específica para cada sinal a partir de uma biblioteca e une-as, criando uma performance fluida e contínua. O avatar move as mãos, os braços e o rosto para imitar um sinalante real, exibindo a mensagem diretamente no ecrã do utilizador surdo.

Os investigadores testaram este sistema extensivamente para ver se conseguia acompanhar a velocidade de uma conversa real. Descobriram que a parte do sistema que reconhece os sinais era altamente precisa, identificando corretamente 95,6 por cento dos sinais nos quais foi testada. Quando o sistema transformava esses sinais em frases completas, o significado correspondia à mensagem pretendida com um alto grau de semelhança, pontuando 0,81 numa escala onde 1,0 é uma correspondência perfeita. A velocidade do sistema foi igualmente impressionante. O tempo necessário para reconhecer um sinal e transformá-lo numa frase foi inferior a um décimo de segundo, e o tempo que o avatar levou para começar a mover-se após uma pessoa ouvinte enviar uma mensagem foi de pouco mais de um segundo. Estas velocidades são suficientemente rápidas para que pareça uma conversa natural e fluida, em vez de uma troca estática de mensagens.

Para garantir que o sistema era realmente útil, os investigadores trouxeram especialistas da Associação dos Surdos de Portugal para avaliar o avatar. Dois avaliadores independentes observaram o avatar realizar os sinais e classificaram quão bem conseguiam compreender a mensagem. Um especialista compreendeu 90 por cento dos sinais, enquanto o outro compreendeu 78 por cento. O estudo notou que, quando a qualidade da animação era elevada, a compreensão era perfeita, sugerindo que a clareza do movimento é tão importante quanto a precisão das palavras. O sistema também se provou flexível, sendo capaz de lidar com conversações em diferentes contextos, como compras, turismo e cuidados de saúde, demonstrando que pode adaptar-se ao vocabulário variado necessário na vida quotidiana.

A verdadeira inovação deste trabalho reside em como as peças se encaixam. Ao desenhar o sistema como uma coleção de serviços independentes que comunicam entre si, os investigadores criaram uma plataforma que pode crescer. Se forem desenvolvidos melhores modelos de IA no futuro, eles podem ser substituídos sem reconstruir todo o sistema. Se mais sinais precisarem de ser adicionados à biblioteca, podem ser registados e adicionados sem interromper o processo de tradução. Esta abordagem significa que o sistema não é apenas um experimento único, mas uma base para uma ferramenta que pode evoluir. Os investigadores reconhecem que o vocabulário ainda é limitado em comparação com a riqueza total da língua, e que a tradução de texto para sinal poderia ser ainda mais fluida com mais dados de treino. No entanto, os resultados demonstram que uma ponte bidirecional totalmente funcional entre os mundos surdo e ouvinte não é apenas uma possibilidade teórica, mas uma realidade funcional que opera com a velocidade e a fiabilidade necessárias para uma ligação humana genuína.