ViPo-MLLM: Visual-Pose Multimodal LLM for Gloss-Free Sign Language Translation

Resumo Técnico: ViPo-MLLM para Tradução de Língua de Sinais sem Glossas (Gloss-Free)

Declaração do Problema
A Tradução de Língua de Sinais (SLT) visa reduzir as lacunas de comunicação ao converter vídeos de língua de sinais em sentenças faladas. Embora os sistemas iniciais tenham dependido de abordagens baseadas em "glossas" (utilizando anotações semelhantes a palavras como intermediários), esses métodos sofrem com altos custos de anotação, escalabilidade limitada e estruturas de frases rígidas. A SLT "sem glossas" (gloss-free), que traduz vídeos diretamente para texto fluente sem glossas intermediárias, é uma alternativa promissora, mas permanece desafiadora. Os métodos atuais de gloss-free frequentemente dependem de características de modalidade única ou representações de fusão fraca, falhando em capturar os detalhes articulatórios refinados (mãos, corpo, pistas faciais) e as dependências temporais de longo alcance necessárias para uma tradução precisa. Além disso, a fusão ingênua de dados visuais e de pose frequentemente falha em alinhar essas modalidades de forma eficaz.

Metodologia: ViPo-MLLM
Os autores propõem o ViPo-MLLM (Visual-Pose Multimodal LLM), um framework projetado para integrar características RGB espaço-temporais e pistas de pose humana através de um mecanismo de atenção cross-modal. A arquitetura opera da seguinte forma:

1. Extração de Características:

   • Características RGB Espaço-Temporais ($Z_s$): Extraídas usando um codificador USTM pré-treinado (baseado em estágios de Swin Transformer com adaptadores temporais). O codificador é congelado, e cabeças específicas da tarefa (MS-TCN, BiLSTM) são descartadas para evitar viés temporal, gerando representações por quadro.
   • Características de Pose ($Z_p$): Extraídas usando OpenPose para estimar a pose de corpo inteiro e de mãos detalhadas. Em vez de mapas de calor (heatmaps), as características intermediárias são agrupadas espacialmente por quadro para criar vetores de dimensão fixa.

2. Fusão Multimodal:

   • Modelagem Temporal Intra-Modal (IMTM): Tanto $Z_s$ quanto $Z_p$ são projetados em um espaço compartilhado e processados por uma TCN (Rede Convolucional Temporal) 1D de 2 camadas compartilhada para capturar a dinâmica temporal local dentro de cada modalidade.
   • Modelagem Temporal Cross-Modal (CMTM): As saídas dos blocos IMTM são concatenadas e passadas por um módulo de Atenção Cross-Modal (CMA) de 4 camadas. Este bloco permite a modelagem temporal global e captura as dependências entre as modalidades visual e de pose.
   • Projeção: A representação fundida é projetada via MLP para corresponder à dimensão de embedding do Modelo de Linguagem de Grande Escala (LLM).

3. Modelagem de Linguagem e Treinamento:

   • Construção de Prompt: As características visuais-de-pose fundidas são concatenadas com um prompt estruturado contendo instruções de tarefa e exemplos de poucos disparos (ex: traduções para Espanhol/Francês/Inglês) para condicionar o LLM.
   • Objetivos de Aprendizado: O modelo é treinado de ponta a ponta usando uma combinação de duas perdas (losses):
     • Perda Contrastiva (Contrastive Loss): Alinha uma representação global de vídeo (agrupada a partir das características fundidas) com a representação global do embedding de texto de referência (ground-truth).
     • Perda de Entropia Cruzada (Cross-Entropy Loss): Perda padrão de modelagem de linguagem onde o LLM gera a tradução alvo baseada na entrada conjunta do prompt e das características fundidas.
   • Ajuste Fino (Fine-Tuning): O backbone do LLM (mT0-XL) é ajustado usando LoRA (Low-Rank Adaptation).

Principais Contribuições
O artigo descreve quatro contribuições primárias:

1. Framework ViPo-MLLM: Uma nova arquitetura que integra pistas de RGB espaço-temporal e de pose via atenção cross-modal para SLT sem glossas.
2. Estratégia de Fusão Explícita: Um mecanismo específico de fusão vídeo-pose (IMTM + CMTM) que modela quando e como a informação de pose influencia a tradução, capturando dependências locais e globais.
3. Análise Abrangente: Experimentos extensos demonstrando os papéis complementares da informação de pose e das pistas visuais espaço-temporais na SLT sem glossas.
4. Desempenho de Estado da Arte (SOTA): Alcançando novos melhores resultados em datasets de referência, mantendo-se competitivo com métodos baseados em glossas.

Resultos Experimentais
O modelo foi avaliado em dois datasets: PHOENIX14T (Língua de Sinais Alemã) e CSL-Daily (Língua de Sinais Chinesa).

• PHOENIX14T: O ViPo-MLLM alcançou uma pontuação BLEU-4 de 27.10 e ROUGE-L de 51.50, superando métodos existentes de supervisão fraca e totalmente sem glossas (ex: VAP, ConSLT, MMSLT). Permaneceu competitivo com abordagens baseadas em glossas, apesar de não utilizar anotações de glossas.
• CSL-Daily: O modelo alcançou um BLEU-4 de 25.85 e ROUGE-L de 54.53, estabelecendo um novo estado da arte para métodos sem glossas e igualando o desempenho de modelos baseados em glossas.

Insights de Ablação

• Modalidades: A combinação de características RGB e de pose superou significativamente o uso de apenas uma modalidade. O aprendizado contrastivo aumentou ainda mais o alinhamento semântico para ambas.
• Profundidade da CMA: O desempenho atingiu o pico com uma profundidade de CMA de 4; camadas mais profundas (ex: 8) levaram à degradação do desempenho, provavelmente devido ao excesso de suavização (over-smoothing) ou overfitting.
• Escolha do LLM: Modelos maiores dentro da família mT0 (mT0-XL) produziram melhores resultados do que variantes menores.
• Prompting: Prompts instrutivos (orientação direta de tarefa) geraram o melhor desempenho, enquanto prompts interrogativos ou de interpretação de papéis (role-playing) reduziram a precisão.

Significância
O artigo afirma que o ViPo-MLLM demonstra que o treinamento sem glossas pode igualar ou exceder o desempenho de abordagens supervisionadas por glossas. Ao aproveitar efetivamente as pistas de pose e a atenção cross-modal, o método proposto captura com sucesso o movimento refinado e os padrões temporais de longo alcance críticos para a tradução, sem o custo proibitivo da anotação de glossas. O trabalho valida a eficácia da integração de prompting estruturado e alinhamento contrastivo dentro de um framework de LLM multimodal para tradução de língua de sinais. Sugere-se que trabalhos futuros explorem modalidades adicionais e representações de pose leves para escalabilidade em tempo real.