Open Sign Bibles (OSB): An Open-Access Multilingual Sign Language Bibles Dataset

A linguagem é a principal ferramenta que os seres humanos utilizam para compartilhar pensamentos, contar histórias e transmitir a história. Para a maior parte do mundo, isso acontece por meio do som e da fala. Mas para milhões de pessoas surdas, a linguagem é visual, formada pelo movimento das mãos, pela expressão do rosto e pela posição do corpo. Estas são as línguas de sinais, sistemas distintos e complexos com sua própria gramática e cultura. No entanto, na era digital, essas línguas foram deixadas para trás. Enquanto os computadores podem facilmente pesquisar através de texto escrito ou compreender palavras faladas, eles têm dificuldade em "ler" a língua de sinais. A tecnologia necessária para encontrar um sinal específico dentro de um vídeo longo, ou para conectar um sinal a uma frase escrita, tem sido difícil de construir porque simplesmente não houve dados suficientes. A maioria das coleções existentes de vídeos de língua de sinais é pequena demais, está protegida por paywalls ou é restrita por direitos autorais, deixando os pesquisadores sem o material bruto necessário para ensinar as máquinas a compreender o mundo visual dos sinalizantes.

Uma equipe de pesquisadores lançou agora um novo recurso massivo projetado para mudar isso: o conjunto de dados Open Sign Bibles. Esta coleção reúne mais de 700 horas de vídeos da Bíblia traduzidos profissionalmente em 20 línguas de sinais diferentes. Ao contrário de conjuntos de dados anteriores que estavam espalhados pela internet ou exigiam permissão especial para uso, toda esta biblioteca está livre para qualquer pessoa baixar e estudar. O projeto conecta esses vídeos ao texto da Bíblia em mais de 800 línguas faladas, criando uma ponte entre o visual e o escrito. Ao combinar um vídeo de um sinalizante em Língua de Sinais Americana, por exemplo, com a mesma história escrita em inglês, espanhol ou hindi, os pesquisadores criaram uma ferramenta poderosa para treinar computadores a compreender a relação entre um sinal e seu significado.

O conjunto de dados é construído a partir de duas fontes principais. A primeira vem da Digital Bible Library, que forneceu milhares de vídeos apresentando sinalizantes de vários contextos, frequentemente acompanhados de gráficos ou texto na tela. A segunda fonte é um conjunto de gravações brutas de estúdio da Índia, mostrando um único sinalizante contra um fundo neutro. No total, a coleção inclui mais de 8.000 clipes de vídeo individuais. Para tornar esses dados úteis para computadores, a equipe não apenas despejou os vídeos na internet; eles os organizaram cuidadosamente. Eles vincularam cada vídeo a versículos específicos da Bíblia, permitindo que um computador saiba exatamente qual história está sendo contada. Para uma parte menor dos vídeos, eles foram ainda além, marcando manualmente o momento exato em que sinais específicos, como "Deus" ou "dia", aparecem na tela. Este nível de detalhe transforma um simples arquivo de vídeo em uma ferramenta de aprendizado estruturada.

Os pesquisadores usaram este novo conjunto de dados para testar o quão bem a tecnologia atual consegue encontrar sinais específicos dentro desses vídeos longos, uma tarefa conhecida como "sign spotting" (detecção de sinais). Eles testaram duas abordagens diferentes. O primeiro método baseou-se na medição da distância física entre as mãos do sinalizante e o corpo no vídeo, comparando-as com exemplos conhecidos. Esta abordagem não funcionou bem; o computador ficou confuso com o fluxo contínuo de movimento e não conseguiu identificar sinais individuais de forma confiável. O segundo método utilizou um sistema mais avançado que aprendeu a entender o significado por trás dos movimentos, de forma semelhante a como um humano reconhece um conceito em vez de apenas uma forma. Esta abordagem mostrou potencial. Identificou com sucesso certos sinais, como "dia" ou "pessoas", com um alto grau de precisão. No entanto, o sistema ainda teve dificuldades com outros. Às vezes, confundiu sinais que se parecem, como "homem" e "deus", mesmo quando significam coisas muito diferentes. Também falhou em reconhecer sinais que foram realizados de forma diferente dos exemplos que havia visto, como um sinalizante canhoto ou um sinal usado em um contexto cultural específico que diferia da definição padrão do dicionário.

Os resultados destacam tanto o potencial quanto os limites atuais desta tecnologia. O sistema funcionou melhor quando o vídeo que estava analisando era muito parecido com os exemplos nos quais havia sido treinado. Quando o sinalizante se movia rapidamente, usava uma mão diferente ou fazia um sinal com um significado único, o computador frequentemente errava o alvo. Os pesquisadores descobriram que, embora a tecnologia possa identificar com confiabilidade alguns sinais comuns, ela ainda não está pronta para compreender a complexidade total de uma conversa contínua. O conjunto de dados em si, porém, é um passo significativo à frente. Ao fornecer uma coleção grande, aberta e juridicamente clara de vídeos multilíngues em língua de sinais, os pesquisadores deram à comunidade científica uma base sólida para construir sobre. Eles mostraram que, com os dados certos, os computadores podem começar a aprender a linguagem visual dos surdos, mas também deixaram claro que muito mais trabalho é necessário para lidar com as nuances da expressão humana. O caminho a seguir envolve reunir exemplos mais diversos e refinar as ferramentas para compreender melhor as diferenças sutis entre sinais que se parecem, mas que significam coisas distintas.