Sign Language Recognition in the Age of LLMs

Título: Reconhecimento de Língua de Sinais na Era dos Grandes Modelos de Linguagem (LLMs)

Autores: Václav Javorek, Jakub Honzík, Ivan Gruber, Tomáš Zelezný, Marek Hruz (Universidade da Boêmia Ocidental e Universidade de Eindhoven).

1. Problema e Motivação

O reconhecimento de língua de sinais (SL) é crucial para acessibilidade e inclusão, mas continua sendo um desafio devido à complexidade espaço-temporal e à estrutura linguística sutil dos sinais. Tradicionalmente, a Reconhecimento de Língua de Sinais Isolada (ISLR) depende de aprendizado supervisionado específico para a tarefa, exigindo grandes conjuntos de dados anotados e arquiteturas especializadas para modelar movimento das mãos, postura corporal e dinâmica temporal.

Com o avanço dos Modelos Visão-Linguagem (VLMs) e Grandes Modelos de Linguagem (LLMs), surge a questão: modelos gerais de propósito universal podem realizar ISLR em um cenário zero-shot (sem treinamento específico para a tarefa)? O artigo investiga se esses modelos, que demonstram forte raciocínio multimodal, conseguem reconhecer sinais individuais sem fine-tuning, preenchendo a lacuna entre a percepção visual e a compreensão linguística estruturada.

2. Metodologia

Os autores avaliaram a capacidade de vários VLMs (abertos e proprietários) no benchmark WLASL300 (um conjunto de dados com 300 glossas de Língua de Sinais Americana - ASL). O estudo foi dividido em três paradigmas experimentais principais:

• Configuração Zero-Shot de Classificação Múltipla:

  • Os modelos receberam clipes de vídeo de um único sinal e foram instruídos a prever a glossa exata em inglês.
  • Foram testados modelos de código aberto (LLaVA-NeXT, InternVL, Qwen-VL, BAGEL, Nemotron) e proprietários (GPT-5, Gemini).
  • A avaliação utilizou precisão exata (Top-1) e uma métrica adaptada que considera sinônimos (usando o WordNet) para lidar com variações na descrição do sinal.

• Classificação Binária (Detecção de Sinais):

  • Para testar o conhecimento semântico dos modelos, foi criado um cenário onde o modelo deve decidir se um vídeo corresponde a uma descrição textual de uma glossa (fornecida pelo dicionário HandSpeak) ou apenas ao nome da glossa.
  • Foram testadas variações de prompting: cenários "não céticos" (descrever e comparar) e "céticos" (argumentar contra e a favor antes de concluir) para reduzir alucinações e viés de concordância.

• Influência do Conhecimento do Conjunto de Dados:

  • Avaliou-se como a especificação do espaço de rótulos afeta a performance. Os prompts variaram de apenas mencionar "vídeos de ASL", até especificar "WLASL300" e, finalmente, listar as 300 glossas candidatas explicitamente no prompt.

3. Principais Contribuições

1. Primeiro Estudo Sistemático Zero-Shot: Apresenta a primeira análise abrangente da capacidade de VLMs modernos realizarem ISLR sem treinamento específico, revelando que, embora o reconhecimento individual funcione surpreendentemente bem em certos contextos, o estado da arte (SOTA) ainda exige fine-tuning.
2. Análise de Sensibilidade a Prompts e Estratégias Visuais: Investiga como diferentes designs de prompts (instruções, listas de candidatos, descrições textuais) e estratégias de entrada visual (quadros fixos vs. vídeo nativo) impactam a compreensão visual-linguística fina.
3. Insights sobre Aprendizado Visual-Linguístico Geral: Oferece uma nova perspectiva sobre como modelos multimodais futuros podem fechar a lacuna entre linguagem e percepção em domínios estruturados complexos, sugerindo que a escala do modelo e a diversidade dos dados de treinamento são fatores críticos.

4. Resultados Chave

• Desempenho em Classificação Direta:
  • Os modelos de código aberto atuais performaram muito mal em comparação com classificadores supervisionados tradicionais (SOTA no WLASL300 é ~90%, enquanto os melhores VLMs abertos atingiram menos de 2% em precisão exata zero-shot).
  • Modelos proprietários (especialmente Gemini-2.5-Pro e GPT-5) alcançaram precisões significativamente maiores (até ~33% com lista completa de glossas), destacando a importância da escala do modelo e da diversidade dos dados de treinamento.
• Alinhamento Visual-Semântico Parcial:
  • Embora falhem na classificação direta, os modelos demonstraram possuir um alinhamento parcial entre sinais e descrições textuais. No cenário de classificação binária, a precisão melhorou quando descrições textuais foram fornecidas, indicando que os modelos "entendem" conceitos de forma de mão e movimento, mesmo sem ter sido treinados especificamente para ASL.
• Viés de Posição e Restrição de Espaço de Saída:
  • Quando a lista completa de 300 glossas foi fornecida no prompt, a precisão aumentou drasticamente.
  • No entanto, modelos como o Qwen apresentaram um forte viés de posição, tendendo a escolher glossas que apareciam no início ou no final da lista alfabética fornecida no prompt. Modelos proprietários como o Gemini mostraram-se mais robustos a esse viés.
• Impacto do Conhecimento do Dataset:
  • Apenas nomear o dataset (WLASL300) não ajudou significativamente. A melhoria veio apenas quando o espaço de saída foi restrito explicitamente à lista de 300 glossas, forçando o modelo a escolher dentro do domínio conhecido.

5. Significado e Conclusão

O estudo conclui que, embora os VLMs atuais de código aberto ainda não sejam adequados para ISLR zero-shot puro (substituindo modelos especializados), eles já possuem representações visuais e semânticas úteis que podem ser transferidas para a compreensão de língua de sinais.

A pesquisa sugere que o futuro do reconhecimento de língua de sinais com IA não depende apenas de modelos maiores, mas também de:

• Design de Prompting Avançado: Uso de restrições de saída estruturadas e listas de candidatos.
• Fine-tuning Leve: Aproveitar a forte capacidade de generalização dos VLMs modernos com ajustes mínimos.
• Dados de Treinamento: A superioridade dos modelos proprietários indica que a inclusão de dados de língua de sinais em seus conjuntos de treinamento massivos é um fator determinante.

Este trabalho abre novas direções de pesquisa, movendo o foco de apenas tradução de sinais (SLT) complexa para a compreensão fundamental de sinais isolados através de modelos multimodais gerais.