Resumo Técnico: Aumento de Corpus para Tradução de Língua de Sinais via Costura de Vídeo Guiada por LLM

Definição do Problema

A Tradução de Língua de Sinais (SLT) visa converter vídeos de língua de sinais em texto de linguagem falada. Embora conjuntos de dados de larga escala e fracamente alinhados tenham permitido o avanço de métodos sem gloss (gloss-free), e métodos sem gloss tenham reduzido a dependência de anotações especializadas, pares paralelos de vídeo-texto de alta qualidade para ajuste fino (fine-tuning) permanecem escassos. Essa escassez limita a generalização em vocabulários de cauda longa e construções inéditas. As abordagens atuais de aumento de dados enfrentam obstáculos significativos: a costura ao nível de características (feature-level) está vinculada a codificadores específicos, os métodos ao nível de esqueleto (skeleton-level) exigem etapas de renderização para serem utilizáveis por modelos RGB, e a geração de vídeos realistas permanece um desafio em aberto. Além disso, avaliações controladas recentes (ex: Sincan et al.) sugerem que muitos ganhos reportados em SLT sem gloss desaparecem sob condições rigorosas, sendo que o maior ganho verificado sobre uma linha de base (baseline) é de apenas +0,98 BLEU-4.

Metodologia

Os autores propõem um pipeline de aumento de corpus que gera pares de vídeo-texto RGB sintéticos sem exigir corpora de vídeo externos, modelos de geração de vídeo ou anotação humana adicional. O pipeline baseia-se exclusivamente em um corpus de treinamento existente com anotação de gloss e em um Modelo de Linguagem de Grande Escala (LLM). O processo consiste em três estáções:

1. Extração de Clipes por Gloss: Utilizando segmentação por alinhamento forçado CTC (baseado em Zuo et al.), o sistema extrai clipes de nível de quadro para glosses individuais a partir de vídeos de treinamento existentes. Isso cria um banco de dados de vídeo "indexado por gloss" sem anotações manuais de tempo.
2. Geração de Par Gloss–Sentença Guiada por LLM: Um LLM ancorado no corpus gera novos pares gloss–sentença. Para evitar o desvio de vocabulário e garantir a consistência de domínio (transmissões meteorológicas em alemão), o LLM recebe:
   • O vocabulário completo de gloss de Phoenix.
   • 500 exemplos amostrados aleatoriamente do corpus como contexto.
   • Pares "âncora" selecionados via uma estratégia de menor uso para garantir a cobertura da distribuição de treinamento.
     As sequências geradas são filtradas para remover correspondências exatas, subsequências de sentenças existentes e duplicatas, garantindo conteúdo linguístico genuinamente novo.
3. Montagem de Vídeo: Sequências sintéticas são montadas amostrando aleatoriamente sentenças do pool gerado e atribuindo-as a clipes.
   • Seleção de Sinalizador (Signer): Para sentenças geradas pelo LLM, um sinalizador é amostrado uniformemente entre aqueles que possuem clipes registrados para cada gloss na sequência.
   • Atribuição de Clipe: Os clipes são selecionados aleatoriamente das ocorrências disponíveis para o sinalizador atribuído.
   • Tratamento de Transição: Frames de transição são amostrados da distribuição empírica de lacunas entre glosses no conjunto de dados real. Notavelmente, os autores excluem explicitamente a otimização de transição baseada em L2 (suavização de fronteiras), por considerarem contraproducente.

O dado sintético resultante consiste em pares de vídeo-texto RGB padrão, tornando-o agnóstico à arquitetura e diretamente consumível por modelos de SLT baseados em RGB ou conversível para representações de pose/características.

Principais Contribuições

1. Pipeline Escalável e Agnóstico à Arquitetura: Um método para expandir corpora de SLT usando apenas anotações de gloss existentes e um LLM, produzindo pares de vídeo-texto RGB sintéticos compatíveis com qualquer arquitetura baseada em RGB.
2. Ganho de Desempenho Significativo sob Condições Controladas: Dentro do rigoroso framework de avaliação estabelecido por Sincan et al., o aumento proposto alcança um aumento de +2,92 BLEU-4 sobre a baseline reproduzida do GFSLT-VLP (21,38 → 24,30). Este ganho é obtido sem alterar a arquitetura do modelo, o objetivo de treinamento ou os hiperparâmetros.
3. Verificação da Fonte do Ganho: Os autores demonstram que o aumento não é um artefato de aumento de passos de gradiente. Uma baseline de dados reais "duplamente amostrada" (pareada para computação) obteve 21,17 BLEU-4, estatisticamente indistinguível da baseline de apenas dados reais, confirmando que o conteúdo sintético em si impulsiona o desempenho.
4. Descobertas Empíricas Contra-intuitivas:
   • Dano ao VLP: Introduzir dados costurados sintéticos durante o Pré-treinamento de Visão-Linguagem (VLP) causa o colapso do desempenho downstream, apesar de melhorar os objetivos de pré-treinamento. Os autores sugerem que o codificador visual aprende representações que se ajustam às descontinuidades sintéticas, mas falham em generalizar para a sinalização contínua real.
   • Suavização de Transição: Otimizar as transições de clipes para suavidade visual (via distância L2) prejudica o desempenho do ajuste fino (fine-tuning). Os autores propõem que fronteiras abruptas podem atuar como uma forma de regularização implícita, forçando o modelo a depender do conteúdo visual central em vez de pistas temporais de fronteira.

Resultados

• Resultados Primários (200 Épocas): O modelo aumentado alcançou 24,30 BLEU-4 e 46,09 ROUGE-L, comparado aos 21,38 BLEU-4 e 41,69 ROUGE-L da baseline.
• Ablação sobre Conteúdo do LLM: Substituir as sentenças geradas pelo LLM pelas sentenças originais de Phoenix (mantendo a atribuição aleatória de clipes) causou uma queda no desempenho para 20,04 BLEU-4, ficando abaixo da baseline sem aumento. Isso confirma que o conteúdo linguístico novel, e não apenas a variação visual, é o principal motor do ganho.
• Análise de Contaminação: As sequências de gloss sintéticas não mostraram maior proximidade com os conjuntos de desenvolvimento ou teste do que as sentenças reais de treinamento (scores max-BLEU-4 mais baixos), descartando vazamento de avaliação (evaluation leakage).

Significância

O artigo afirma que abordagens centradas em dados, especificamente a injeção de pares sintéticos linguisticamente diversos, são um alavancador mais eficaz para melhorar a SLT do que ajustes arquiteturais ou estratégias de pré-treinamento que introduzem descontinuidades visuais. Ao demonstrar um ganho de quase +3 BLEU-4 em um cenário controlado onde outros métodos falharam em mostrar melhoria significativa, este trabalho destaca o potencial da geração de dados guiada por LLM para superar a escassez de dados paralelos de língua de sinais de alta qualidade. As descobertas relativas aos efeitos prejudiciais da suavização visual e do pré-treinamento VLP oferecem orientações críticas para futuras estratégias de aumento, sugerindo que preservar descontinuidades "naturais" pode ser benéfico para a robustez do modelo.