💻 computer science

JSL-DC: A Word-Level Japanese Sign Language Dataset with Linguist-Derived Descriptions for Distinguishing Confusable Signs

Este artigo apresenta o JSL-DC, o maior conjunto de dados de Língua de Sinais Japonesa centrado em surdos, apresentando 36,7 mil vídeos e descrições derivadas de linguistas para sinais confundíveis, o que permite a um novo modelo superar os métodos de reconhecimento de estado da arte em 9,8% em subconjuntos desafiadores.

Autores originais: Ken Takaki, Asuka Ando, Misa Suzuki, Uiko Yano, Masaya Tsujimoto, Bill Neubauer, Ananay Vikram Gupta, Rose Shao, Matthias Hoppe, Sahir Shahryar, Celeste Mason, Kai Kunze, Yohei Oseki, Yoshihiro Kawaha

Publicado 2026-08-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ken Takaki, Asuka Ando, Misa Suzuki, Uiko Yano, Masaya Tsujimoto, Bill Neubauer, Ananay Vikram Gupta, Rose Shao, Matthias Hoppe, Sahir Shahryar, Celeste Mason, Kai Kunze, Yohei Oseki, Yoshihiro Kawahara, Thad Starner

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Para muitas crianças surdas, os anos mais críticos para o desenvolvimento da linguagem ocorrem antes mesmo de entrarem em uma sala de aula. Durante esse período, elas dependem de seus pais para ensiná-las a se comunicar. No entanto, estatísticas mostram que noventa e cinco por cento das crianças surdas nascem de pais ouvintes que não conhecem a língua de sinais. Isso cria um hiato silencioso no lar, onde os pais lutam para se conectar com seus filhos porque carecem de vocabulário para expressar necessidades básicas, emoções ou conceitos. Embora existam vídeos online para ajudar os pais a aprender, a verdadeira fluência geralmente requer prática presencial, um método que tem se mostrado difícil de escalar sem as ferramentas adequadas. Para construir auxílios de aprendizagem eficazes, cientistas da computação precisam de vastas bibliotecas de dados de vídeo mostrando como diferentes pessoas realizam palavras em língua de sinais. No entanto, para a Língua de Sinais Japonesa, esses dados eram escassos, frequentemente limitados a uma única pessoa ou a um pequeno conjunto de palavras, tornando impossível treinar computadores para reconhecer a língua de um novo usuário.

Uma equipe de pesquisadores preencheu agora esse vazio com a criação do JSL-DC, a maior coleção de vídeos de Língua de Sinais Japonesa já reunida. O projeto foi impulsionado por uma percepção simples, mas profunda: para ensinar um computador a entender a língua de sinais, os dados devem vir das pessoas que a utilizam todos os dias. Em vez de contratar atores ou estudantes para imitar os sinais, os pesquisadores recrutaram dezenove adultos surdos que utilizam a Língua de Sinais Japonesa como seu principal modo de comunicação. Esses participantes gravaram a si mesmos realizando 270 palavras específicas, escolhidas precisamente para ajudar pais ouvintes a se comunicarem com seus filhos pequenos. O conjunto de dados resultante contém mais de 36.000 vídeos, um volume três vezes maior do que qualquer coleção anterior de língua de sinais japonesa.

A verdadeira inovação deste trabalho reside não apenas no volume de dados, mas em como eles foram curados. Os pesquisadores trabalharam em estreita colaboração com linguistas surdos para selecionar palavras que fossem mais úteis para a comunicação na primeira infância, priorizando verbos e adjetivos em vez de substantivos, pois estes são os blocos de construção das frases iniciais. Mais importante ainda, a equipe identificou pares de sinais que parecem quase idênticos ao olho não treinado, mas carregam significados diferentes. Em muitos casos, esses sinais diferem apenas em movimentos faciais sutis ou formas da boca, pistas que os modelos padrão de visão computacional costumam perder. Para resolver isso, os linguistas forneceram descrições escritas explicando exatamente como distinguir esses pares confusos. Eles observaram, por exemplo, que o sinal para "amargo" e o sinal para "apimentado" usam os mesmos movimentos de mão, mas exigem formas de boca diferentes para se distinguirem.

Os pesquisadores então testaram se essas descrições humanas poderiam realmente melhorar a capacidade de um computador de reconhecer sinais. Eles construíram um sistema que primeiro identificava o sinal usando análise de vídeo padrão e, se o sinal fosse um dos pares confusos, examinava especificamente os movimentos da boca para tomar a decisão final. Essa abordagem, inspirada diretamente nas notas dos linguistas, melhorou significativamente a precisão do computador nos sinais difíceis. O sistema identificou corretamente as palavras confusas quase dez por cento mais vezes do que os melhores métodos existentes. Isso prova que a incorporação do conhecimento linguístico humano em modelos de aprendizado de máquina pode preencher a lacuna onde os dados visuais puros falham.

A equipe também demonstrou como essa tecnologia pode ser aplicada no mundo real, adaptando um popular jogo de arcade em uma ferramenta de aprendizagem. Nesta versão, os jogadores fazem um sinal para liberar uma bola colorida em um campo de outras bolas. Se o computador reconhecer o sinal corretamente, a bola corresponde à cor e limpa a tela; se o sinal estiver errado, a bola é da cor errada. Este jogo interativo permite que pais ouvintes pratiquem a sinalização em um ambiente de baixa pressão, recebendo feedback imediato sobre seu desempenho. Todo o conjunto de dados, juntamente com as descrições linguísticas e o software do jogo, está sendo disponibilizado ao público para acelerar novas pesquisas e desenvolvimentos.

Ao centrar o projeto na comunidade surda, desde a seleção das palavras até a revisão final de cada vídeo, os pesquisadores garantiram que os dados sejam autênticos e confiáveis. Cada vídeo foi verificado duas vezes por especialistas surdos para garantir que os sinais fossem realizados corretamente e que nenhuma informação pessoal fosse capturada acidentalmente no fundo. Esse processo rigoroso filtrou quase dez por cento das gravações iniciais, deixando um recurso limpo e de alta qualidade. O trabalho sugere que o futuro da tecnologia de língua de sinais reside na colaboração entre linguistas e engenheiros, usando o insight humano para guiar as máquinas. À medida que essas ferramentas melhoram, elas oferecem um caminho tangível para fechar a lacuna de comunicação nos lares em todo o Japão, permitindo que os pais finalmente falem a língua de seus filhos.

Resumo Técnico: JSL-DC

Declaração do Problema

A aquisição eficaz da língua de sinais (LS) é fundamental para o desenvolvimento linguístico de crianças surdas, mas 95% delas nascem de pais ouvintes que frequentemente carecem de proficiência em LS. Embora modelos de reconhecimento de língua de sinais isolada (ISLR) possam impulsionar ferramentas de aprendizagem para reduzir essa lacuna de comunicação, seu desenvolvimento para a Língua de Sinais Japonesa (JSL) é severamente dificultado pela falta de conjuntos de dados (datasets) de grande escala e com múltiplos sinalizadores. Os datasets de JSL existentes são ou limitados a um único sinalizador (impedindo a generalização para novos usuários) ou contêm um vocabulário muito restrito. Além disso, os datasets existentes raramente identificam pares de sinais "confusos" — aqueles que compartilham a configuração de mãos, mas diferem em pistas não manuais, como movimentos da boca ou contexto — e não fornecem orientação linguística sobre como distingui-los. Isso deixa pesquisadores de visão computacional sem os dados linguísticos necessários para melhorar a precisão do reconhecimento nesses casos difíceis.

Metodologia

Os autores introduzem o JSL-DC, um processo de coleta de dados e o respectivo dataset resultante, projetados com uma filosofia "centrada nos surdos" ("pela comunidade, para a comunidade").

Processo de Coleta de Dados

Participantes: 19 adultos surdos (11 homens, 8 mulheres, idades entre 18 e 70 anos) que utilizam JSL diariamente. Todos os participantes foram recrutados via amostragem de bola de neve (snowball sampling).
Seleção do Léxico: Um léxico de 270 palavras de JSL foi curado por linguistas surdos e Codas (filhos de pais surdos). A seleção priorizou verbos, adjetivos e saudações essenciais para a comunicação precoce entre pais e filhos, em vez de substantivos, que podem frequentemente ser substituídos por apontamento.
Gravação: Os participantes utilizaram um aplicativo de código aberto personalizado em Google Pixel Tablets para gravar 20 repetições de cada um dos 270 sinais em seus ambientes domésticos naturais. Vídeos de referência foram filmados em um estúdio para orientar os participantes.
Pipeline de Revisão: Um rigoroso processo de revisão em duas etapas foi conduzido por linguistas surdos e Codas.
1. Verificação Inicial de Qualidade: Filtragem para sinais não naturais e questões de privacidade.
2. Verificação Linguística: Linguistas surdos revisaram os clipes para garantir que o sinal correspondia ao significado de referência. Esta etapa foi crucial para sinais "confusos"; 9,8% dos clipes para esses glossemas específicos foram removidos como variantes porque o significado diferia da referência.

Composição do Dataset

Escala: 36.705 vídeos cobrindo 270 sinais (média de 136 repetições por sinal).
Divisão (Split): Os dados são divididos em conjuntos de treino (15 sinalizadores), validação (2 sinalizadores) e teste (2 sinalizadores), garantindo uma configuração de sinalizadores distintos para avaliar a generalização para usuários não vistos.
Recurso Único: O dataset inclui 22 glossemas que formam um conjunto de sinais confusos que não podem ser distinguidos apenas pela configuração das mãos. Para esses glossemas, os autores fornecem descrições derivadas de linguistas explicando as características distintivas (ex: movimentos específicos da boca, olhar).

Abordagem Experimental

Para validar a utilidade das descrições linguísticas, os autores propuseram um reclassificador baseado na articulação da boca (mouthing-based reranker).

Modelos Base: Eles avaliaram modelos de ISLR de última geração (I3D, NLA-SLR, SPOTER, MASA) no dataset.
Modelo Proposto: Entre os 22 glossemas confusos, 16 foram identificados como distinguíveis pelo movimento da boca de acordo com as descrições dos linguistas. Para esses 16 glossemas, eles integraram um modelo AV-HuBERT (tipicamente usado para leitura labial) para extrair características da região da boca.
Lógica de Reclassificação (Reranking): Se um modelo base de ISLR previsse um dos 16 glossemas confusos, um classificador SVM treinado nas características do AV-HuBERT era utilizado para reclassificar a previsão com base na descrição do movimento da boca.

Principais Contribuições

Dataset JSL-DC: O maior dataset de JSL por contagem de vídeos (36,7 mil vídeos), excedendo os datasets multissinalizadores anteriores em 3x. É o primeiro dataset de JSL coletado usando dispositivos móveis em ambientes naturais com um grupo diversificado de sinalizadores nativos.
Curadoria Centrada nos Surdos: Todo o processo, desde a seleção do léxico até a revisão de dados, foi liderado por especialistas surdos e Codas, garantindo que os dados reflitam o uso diário autêntico e padrões de alta qualidade.
Descrições Derivadas de Linguistas: O dataset inclui anotações explícitas para 22 glossemas confusos, detalhando como distingui-los (ex: via articulação da boca). Isso fornece um recurso inovador para guiar a atenção do modelo.
Ganho de Desempenho Demonstrado: Os autores demonstraram que a incorporação dessas descrições linguísticas em uma arquitetura de modelo melhora significativamente a precisão do reconhecimento em sinais confusos.

Resultados

Desempenho de Linha de Base (Baseline): Modelos de última geração alcançaram alta precisão (>90%) no conjunto geral de 270 glossemas, mas tiveram dificuldades significativas no subconjunto de sinais confusos (ex: o NLA-SLR alcançou 58,1% de F1 nos glossemas confusos contra 94,9% nos outros).
Impacto das Descrições Linguísticas: Ao adicionar o reclassificador baseado na articulação da boca inspirado nas descrições linguísticas:
- O escore F1 no subconjunto de sinais confusos melhorou em 9,8% (de 53,5% para 63,3% para o NLA-SLR baseado em RGB).
- A precisão global Top-1 melhorou de 91,9% para 92,5%.
- A significância estatística foi confirmada via teste de postos sinalizados de Wilcoxon ( $p < 0,01$ ).
Protótipo de Aplicação: Os autores desenvolveram um protótipo de jogo "PopSign JSL" (um jogo de estourar bolhas) usando um reconhecedor Bi-LSTM de 3 camadas treinado no dataset, demonstrando desempenho em tempo real em smartphones tanto para pais ouvintes aprendendo JSL quanto para estudantes surdos aprendendo inglês.

Significância e Alegações

O artigo afirma que o JSL-DC aborda uma lacuna crítica na pesquisa de língua de sinais ao fornecer um dataset de grande escala e multissinalizador especificamente curado para ferramentas de aprendizagem de língua de sinais, em vez de tradução. Os autores enfatizam que a inclusão de descrições derivadas de linguistas é uma inovação fundamental; seus experimentos provam que essas descrições podem diretamente guiar a arquitetura do modelo para resolver ambiguidades que características visuais puras não conseguem captar.

O dataset é lançado sob uma licença CC-BY 4.0 para acelerar a pesquisa. Os autores posicionam este trabalho como um passo fundamental para apoiar o desenvolvimento da linguagem em crianças surdas, permitindo que pais ouvintes adquiram vocabulário básico de JSL através de ferramentas interativas. Eles explicitamente observam que o dataset não se destina a estabelecer um padrão para a JSL ou para a tradução de JSL para o Japonês, mas sim para tarefas de reconhecimento em contextos educacionais.