Context-Aware Autoregressive Diffusion for Gloss-Wise Sign Language Production

Resumo Técnico: Difusão Autorregressiva Sensível ao Contexto para Produção de Língua de Sinais por Glosa

Declaração do Problema
Os métodos atuais de Produção de Língua de Sinais (SLP - Sign Language Production) enfrentam desafios significativos para gerar movimentos de sinais naturais em nível de sentença. Abordagens de ponta a ponta que geram sequências inteiras de uma só vez frequentemente sofrem com deriva temporal (temporal drift) e desfoque de movimento das mãos à medida que a extensão da sentença aumenta, levando ao acúmulo de erros de predição e à degradação de detalhes semânticos críticos, como a articulação dos dedos. Por outro lado, métodos que unem segmentos de glosas pré-compostos falham em capturar a coarticulação inerente à língua de sinais — o fenômeno onde a execução de uma glosa influencia a próxima. Os métodos de recuperação baseados em glosas existentes carecem de um modelamento explícito do acoplamento cinemático e semântico entre glosas consecutivas, resultando em transições de fronteira abruptas, rotações incompatíveis e variação limitada de movimento.

Metodologia: Estrutura GARD
Os autores propõem o modelo GARD (Context-Aware Gloss-wise AutoRegressive Diffusion), uma estrutura projetada para gerar movimentos de sinais glosa por glosa, modelando explicitamente a coarticulação.

1. Processo de Difusão Autorregressiva:

   • O GARD trata a glosa como a unidade semântica fundamental. Ele gera o movimento para a $n$-ésima glosa ($m_n$) sequencialmente, condicionando-se à palavra da glosa atual ($g_n$) e à palavra da glosa anterior ($g_{n-1}$).
   • O modelo utiliza um Denoiser Sensível ao Contexto baseado em um Transformer Encoder. Ele recebe uma amostra de movimento ruidosa e prevê o ruído injetado para reconstruir o movimento limpo.
   • Multicondicionamento: O denoiser é condicionado a três vetores:
     • Contexto semântico da glosa atual ($\tau_{gloss}(g_n)$).
     • Contexto semântico da glosa anterior ($\tau_{gloss}(g_{n-1})$).
     • Contexto cinemático do movimento anterior ($\omega_{motion}(m_{n-1})$).
   • Os contextos semânticos são extraídos via um modelo mBART ajustado (fine-tuned), enquanto os contextos cinemáticos são codificados usando um encoder Transformer treinável.

2. Guia de Transição Entre Glosas (IG-Guidance):

   • Para abordar as lacunas de pose nas fronteiras entre glosas consecutivas, o IG-Guidance aplica controle baseado em gradiente durante o processo de amostragem de difusão.
   • Ele minimiza a discrepância rotacional entre o primeiro quadro da glosa atual e o quadro final da glosa anterior (a "dica cinemática").
   • Crucialmente, utiliza a distância Geodésica no manifold de rotação $SO(3)$ em vez da distância Euclidiana para medir o erro de rotação, garantindo um alinhamento geometricamente preciso das rotações das articulações.

3. Harmonizador de Movimento Global (GM-Harmonizer):

   • Enquanto o IG-Guidance alinha a fronteira, o GM-Harmonizer propaga essa influência de alinhamento por toda a sequência de movimento da glosa.
   • Implementado como uma cópia treinável do denoiser principal com uma estratégia de aprendizado residual, ele recebe a dica cinemática e refina os quadros subsequentes.
   • Utiliza camadas lineares com inicialização zero para injetar correções hierarquicamente, garantindo que o fluxo natural estabelecido na fronteira seja mantido ao longo de toda a duração da glosa sem interromper a geração inicial.

Principais Contribuições

• Arquitetura GARD: Uma nova estrutura baseada em difusão que realiza a geração autorregressiva por glosa, aproveitando tanto o contexto semântico (linguístico) quanto o cinemático (movimento) para modelar a coarticulação.
• Estratégias de Coarticulação: A introdução de dois módulos especializados:
  • IG-Guidance: Alinha as poses de fronteira usando otimização baseada em gradiente em manifolds de rotação para garantir consistência de pose contínua.
  • GM-Harmonizer: Refina a sequência de movimento global para propagar o alinhamento de fronteira, garantindo dinâmica temporalmente suave e coerente.
• Desempenho: O modelo alcança resultados de estado da arte tanto em precisão linguística quanto em similaridade de movimento, superando métodos existentes de SLP.

Resultados Experimentais
Os autores avaliaram o GARD em dois benchmarks de larga escala: PHOENIX-2014T (Língua de Sinais Alemã) e CSL-Daily (Língua de Sinais Chinesa).

• Desempenho Quantitativo: O GARD alcançou pontuações superiores em comparação com métodos baseados em keypoints e baseados em mesh 3D de última geração.
  • No Phoenix-T, atingiu um BLEU-4 de 13,16 e ROUGE de 37,47, com um DTW-Hand de 1,21 (quanto menor, melhor).
  • No CSL-Daily, atingiu um BLEU-4 de 12,73 e ROUGE de 36,76, com um DTW-Hand de 1,56.
  • A melhoria significativa no DTW-Hand (Dynamic Time Warping para articulações das mãos) indica uma captura superior da articulação fina dos dedos, o que é crítico para o significado semântico na língua de sinais.
• Estudos de Ablação:
  • Contexto: A combinação de contextos semânticos e cinemáticos resultou no maior desempenho, sendo que o contexto semântico proporcionou a redução mais substancial na Taxa de Erro de Palavra (WER).
  • Módulos: A remoção de qualquer um dos módulos, IG-Guidance ou GM-Harmonizer, resultou em quedas de desempenho. O IG-Guidance mostrou-se capaz de corrigir o desalinhamento espacial nas fronteiras, enquanto o GM-Harmonizer foi essencial para manter a suavidade temporal nos quadros subsequentes.
  • Geometria: O uso de distância Geodésica para o IG-Guidance superou a distância L2 padrão.
• Análise Qualitativa: Comparações visuais demonstraram que o GARD produz movimentos de dedos e transições corporais mais naturais em comparação com modelos como SOKE e S-MotionGPT, que frequentemente sofrem com poses médias ou transições abruptas.

Significância e Limitações
O artigo afirma que o GARD aborda a limitação fundamental dos métodos atuais de SLP ao modelar explicitamente a dependência entre as glosas. Ao tratar as glosas como a unidade primária e impor continuidade cinemática através de orientação baseada em difusão, o modelo gera sequências de sinais que são tanto linguisticamente precisas quanto visualmente naturais.

Os autores reconhecem uma limitação primária: a dependência de um processo de amostragem de difusão autorregressivo e iterativo resulta em velocidades de inferência que são atualmente desafiadoras para interação em tempo real. No entanto, este trabalho estabelece um novo patamar para a síntese de língua de sinais de alta fidelidade e sensível ao contexto.