How Pragmatics Shape Articulation: A Computational Case Study in STEM ASL Discourse

Resumo Técnico: Como a Pragmática Molda a Articulação no Discurso de STEM em ASL

Definição do Problema
Os modelos de estado da arte atuais para línguas de sinais são predominantemente treinados em dados produzidos por intérpretes ou vídeos de vocabulário isolado. Esses conjuntos de dados capturam produções claras e padronizadas, mas falham em considerar a variabilidade inerente ao diálogo natural. A comunicação humana é intrinsecamente adaptativa, caracterizada pelo entranhamento (ajuste de comportamentos linguísticos ao interlocutor) e pela redução de esforço (simplificação da articulação através da repetição). Nas línguas de sinais, esses processos adaptativos manifestam-se como mudanças espaço-temporais, como o abaixamento do sinal, a queda fraca (weak drop) e a subestimativa de localização (location undershooting). No entanto, os modelos computacionais existentes frequentemente negligenciam essas mudanças articulatórias dependentes do contexto, levando a uma lacuna na compreensão de como a pragmática molda a articulação do sinal e como as tecnologias atuais representam essas variações. Especificamente, há uma falta de dados quantitativos comparando a sinalização dialógica interativa contra produções isoladas e contextos monológicos em domínios especializados como STEM (Ciência, Tecnologia, Engenharia e Matemática), onde a fluidez do vocabulário é alta.

Metodologia
Para abordar essa lacuna, os autores construíram um conjunto de dados multimodal e um framework computacional para analisar o discurso de STEM em ASL (Língua de Sinais Americana).

• Coleta de Dados: O estudo utilizou captura de movimento (sistema Vicon, 120 fps, 73 marcadores) para registrar dois sinalizadores fluentes (um instrutor de biologia e um estudante) em duas condições primárias:
  1. Vocabulário Isolado: O estudante produziu 77 sinais de STEM individualmente para estabelecer uma linha de base para propriedades espaciais e temporais.
  2. Diálogo Díade: Uma conversa espontânea de 8,52 minutos entre o instrutor e o estudante cobrindo tópicos de biologia (ex: estrutura celular, genética).
  • Dados Suplementares: Para desvincular a redução de esforço individual do entranhamento específico do diálogo, os autores incluíram:
    • Aula Monológica: Uma palestra solo pelo mesmo instrutor sobre os mesmos tópicos.
    • Dados de Intérprete: Artigos da Wikipedia assinados em ASL (ASL STEM Wiki) e conteúdo sinalizado por intérpretes, representando as distribuições típicas de treinamento.
• Anotação: Os dados de vídeo foram anotados usando ELAN seguindo os princípios de glossagem SLAASH, focando na tradução ao nível da sentença e na identificação de sinais específicos de STEM.
• Métricas Cinemáticas: Os autores adaptaram métricas de estudos de gestos para quantificar a variabilidade articulatória:
  • Redução Espacial: Medida via Extensão Espacial (diagonal da caixa delimitadora 3D) e Comprimento do Caminho (distância cumulativa percorrida).
  • Redução Temporal: Medida via Velocidade Média e Duração da Articulação.
  • Abaixamento do Sinal: Medido como o deslocamento vertical médio da mão dominante.
• Análise Computacional:
  • Entranhamento vs. Redução de Esforço: Os autores compararam reduções em diálogos contra monólogos. Reduções presentes em ambos foram atribuídas ao esforço individual; reduções únicas ao diálogo foram atribuídas ao entranhamento.
  • Avaliação de Modelo: Dois codificadores pré-treinados, SignCLIP (pontos-chave esqueléticos, aprendizado contrastivo) e I3D (vídeo RGB, reconhecimento de ação), foram avaliados.
  • Tarefas:
    1. Embedding-based Entrainment (Entranhamento baseado em Embedding): Analisou mudanças na similaridade de cosseno entre embeddings de sinalizadores ao longo de menções repetidas.
    2. Sign Spotting (Detecção de Sinais): Uma tarefa de recuperação onde sinais isolados serviram como consultas para buscar sequências contínuas de diálogo/monólogo, medindo o Mean Reciprocal Rank (MRR) e o Recall@k.
  • Renderização de Avatar: Para mitigar o ruído visual das roupas de captura de movimento, avatares 3D foram renderizados a partir dos dados de movimento para testar a robustez do modelo a entradas fora da distribuição (out-of-distribution).

Principais Contribuições

1. Framework para Desvinculação: Introduziu um método para isolar o entranhamento específico do diálogo da redução de esforço individual em ASL usando métricas contínuas de movimento espacial, temporal e vertical.
2. Evidência Quantitativa de Adaptação: Demonstrou que a sinalização em diálogo exibe redução espacial e temporal significativa em comparação com o vocabulário isolado, refletindo mudanças adaptativas características da comunicação interativa.
3. Redução Contexto-Específica: Mostrou redução espacial e temporal estatisticamente significativa em sinais de STEM através de menções repetidas em diálogo, um padrão ausente em contextos monológicos, indicando que tal adaptação reflete entranhamento em vez de eficiência geral.
4. Limitações de Modelos: Avaliou modelos de embedding de sinais existentes e demonstrou sua falha em generalizar para essas diferenças pragmáticas articulatórias, particularmente em ambientes interativos.

Resultos

• Redução Articulatória: Em média, os sinais em diálogos foram 24,6% mais curtos (instrutor) e 44,6% mais curtos (estudante) em duração comparados aos sinais de vocabulário isolado. Os comprimentos de caminho também mostraram uma tendência de queda consistente no diálogo.
• Entranhamento vs. Esforço:
  • Diálogo: Mostrou redução sistemática espacial e temporal através de menções repetidas, particularmente na mão esquerda e no braço (sugerindo "queda fraca").
  • Monólogo: O mesmo instrutor mostrou pouca ou nenhuma redução espacial e tendências temporais inconsistentes em palestras solo, sugerindo que a compressão observada no diálogo é impulsionada pela adaptação interacional e não pela eficiência individual.
  • Abaixamento do Sinal: Não foram encontradas diferenças significativas na posição vertical da mão, indicando que o abaixamento do sinal é altamente dependente do contexto e não é uma característica primária desta redução de diálogo específica.
• Desempenho do Modelo:
  • Sign Spotting: O desempenho foi mais alto na condição de monólogo do instrutor (mais próxima dos dados de pré-treinamento) e mais baixo nas condições de diálogo. O SignCLIP falhou em recuperar qualquer item correto dentro dos 50 primeiros rankings nos contextos de diálogo.
  • Métricas de Entranhamento: Embora a similaridade de embedding tenha aumentado ligeiramente entre os sinalizadores ao longo do tempo (sugerindo algum entranhamento), os modelos lutaram para manter representações estáveis do mesmo sinal através de diferentes contextos pragmáticos.
  • Renderização de Avatar: A renderização de dados de captura de movimento como avatares não melhorou consistentemente o desempenho e, em alguns casos, o reduziu, destacando que o problema não é apenas ruído visual, mas um descompasso fundamental na representação articulatória.

Significância e Alegações
O artigo afirma fornecer a primeira evidência quantitativa de que a adaptação pragmática em língua de sinais segue princípios articulatórios mensuráveis comparáveis ao diálogo falado. Os autores argumentam que as tecnologias atuais de língua de sinais conceituam a variação incorretamente; elas são treinadas para reconhecer o que sinal é produzido, mas não como ou por que ele varia em contextos interativos.

O estudo enfatiza que a sinalização é um sistema adaptativo e interacional, em vez de uma sequência de itens lexicais estáticos. Os achados sugerem que os modelos treinados predominantemente em dados de intérpretes ou isolados falham em capturar a variabilidade articulatória gradual da sinalização do mundo real, particularmente em domínios especializados como STEM, onde o vocabulário é fluido. Os autores concluem que o desenvolvimento de tecnologias educacionais e modelos de língua de sinais robustos requer frameworks que considerem a variabilidade contínua e dependente do discurso, bem como as pressões específicas da adaptação pragmática.

Nota: Os autores enquadram modestamente esses achados como um estudo de caso devido ao pequeno tamanho da amostra (um par instrutor-estudante) e à natureza específica do domínio STEM, alertando contra a generalização ampla sem mais pesquisas em diversos sinalizadores e contextos de discurso.