💬 NLP

Target-Side Paraphrase Augmentation for Sign Language Translation with Large Language Models

Este artigo propõe um método de aumento de paráfrase do lado do alvo utilizando o GPT-4o para gerar variantes controladas de sentenças de referência para o treinamento de modelos de Tradução de Língua de Sinais, demonstrando melhorias nas pontuações BLEU e na fidelidade semântica no conjunto de dados PHOENIX14T, ao mesmo tempo em que destaca as limitações da abordagem em dados altamente repetitivos ou extremamente esparsos.

Autores originais: Pedro Dal Bianco, Jean Paul Nunes Reinhold, Oscar Stanchi, Facundo Quiroga, Franco Ronchetti, Ulisses Brisolara Corrêa

Publicado 2026-06-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Pedro Dal Bianco, Jean Paul Nunes Reinhold, Oscar Stanchi, Facundo Quiroga, Franco Ronchetti, Ulisses Brisolara Corrêa

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a traduzir os gestos de uma pessoa (Língua de Sinais) em palavras faladas. O maior problema é que o robô não tem livros de prática suficientes. Ele vê as mesmas poucas frases repetidamente, ou vê palavras que nunca encontrou antes.

Este artigo é como um professor inteligente que percebe: "Se o robô aprender apenas uma maneira de dizer 'O tempo está chuvoso', ele pode ficar confuso se o sinal significar 'A chuva está caindo' ou 'Está molhado lá fora'."

Aqui está como os pesquisadores resolveram isso, usando analogias simples:

1. O Problema: A "Mente de Via Única" do Robô

A Língua de Sinais é complexa. Para ensinar um computador a entendê-la, você precisa de milhares de exemplos de vídeos pareados com texto. Mas esses exemplos são raros.

O Problema da "Cauda Longa": Imagine uma biblioteca onde 50% dos livros têm apenas uma cópia. Se o robô precisar traduzir uma palavra que aparece apenas uma vez em seus dados de treinamento, é como pedir a um aluno que escreva um relatório sobre um livro que ele nunca leu.
O Problema da "Repetição": Por outro outro lado, alguns conjuntos de dados são como um disco riscado. Eles repetem exatamente as mesmas frases tão perfeitamente que o robô apenas memoriza as respostas sem realmente entender o significado.

2. A Solução: A "Máquina de Reescrever"

Em vez de tentar filmar mais vídeos (o que é difícil e caro), os pesquisadores usaram uma IA superinteligente (GPT-4o) para atuar como um coach de escrita criativa.

O Truque: Eles mantiveram o vídeo da língua de sinais exatamente o mesmo. Mas para a parte do texto, eles pediram à IA para reescrever a frase de três maneiras diferentes.
- Original: "As áreas de baixa pressão determinam nosso clima."
- Reescrita 1: "Nosso clima é determinado por áreas de baixa pressão."
- Reescrita 2: "Áreas de baixa pressão são o que controlam nosso clima."
O Objetivo: Isso ensina o robô que o mesmo movimento de mãos pode resultar em escolhas de palavras diferentes. Isso impede que o robô memorize uma única frase e o força a aprender o significado real por trás dos sinais.

3. O Método de Treinamento: "Ampliar e depois Focar"

Eles não jogaram todas essas novas frases no robô de uma vez. Eles usaram um cronograma de treinamento de duas etapas, como um músico aprendendo uma nova música:

Fase 1 (A Jam Session): O robô pratica com a frase original mais todas as variações geradas pela IA. Isso o ajuda a entender que existem muitas maneiras de expressar a mesma ideia.
Fase 2 (O Ensaio Final): O robô volta a praticar apenas com as frases originais e perfeitas. Isso garante que, quando ele fizer o teste final, ainda saiba a resposta "padrão", mas agora ele entende melhor o conceito.

4. Os Resultados: Depende da "Receita"

Os pesquisadores testaram este método em três "cozinhas" (conjuntos de dados) diferentes, e os resultados foram muito distintos:

Cozinha A (Língua de Sinais Alemã - PHOENIX14T): Esta era uma cozinha normal com uma boa mistura de ingredientes. O novo método funcionou muito bem! A pontuação de tradução do robô subiu. Ele aprendeu a ser mais flexível e preciso.
Cozinha B (Língua de Sinais Grega - GSL): Esta cozinha já era perfeita. O robô já estava acertando 94% porque as frases eram tão simples e repetitivas. Adicionar mais variações o confundiu ligeiramente porque o teste buscava apenas uma resposta específica. Foi como tentar ensinar um mestre chef uma nova maneira de ferver água quando ele já sabe perfeitamente.
Cozinha C (Língua de Sinais Argentina - LSA-T): Esta cozinha estava faltando metade de seus ingredientes. O robô ficou tão confuso pela falta de dados que adicionar mais variações de frases não ajudou. Você não pode consertar uma receita quebrada se não tiver os ingredientes principais (os dados de vídeo) para começar.

5. A Vitória "Oculta": A Pontuação do Juiz

Os pesquisadores notaram algo interessante. O sistema de pontuação padrão (BLEU) é como um professor que só dá pontos se você usar as exatas mesmas palavras do gabarito.

Se o robô dissesse "Está chovendo" e o gabarito dissesse "A chuva está caindo", o professor padrão dava zero pontos.
Mas os pesquisadores usaram um Super-Juiz de IA para ler as respostas. O Super-Juiz disse: "Ei, essas coisas significam a mesma coisa! Dê pontos!"
O Resultado: Mesmo quando a pontuação padrão não subiu muito, o Super-Juiz confirmou que o robô estava, na verdade, entendendo o significado muito melhor.

Resumo

O artigo mostra que usar uma IA para reescrever o texto (sem alterar o vídeo) ajuda na tradução de Língua de Sinais, mas apenas se os dados estiverem no "ponto ideal".

Se os dados forem simples demais, não ajuda.
Se os dados forem desordenados demais (faltando muita coisa), não ajuda.
Mas se os dados estiverem no ponto certo, isso ensina o robô a entender o significado dos sinais, não apenas a memorizar as palavras.

Os pesquisadores também observaram que esta é a primeira vez que esse truque específico de "reescrita por IA" é tentado para Língua de Sinais, e disponibilizaram todo o seu código e dados para que outros possam testar.

Resumo Técnico: Aumento de Paráfrase no Lado do Alvo para Tradução de Língua de Sinais com Grandes Modelos de Linguagem

Problema

A Tradução de Língua de Sinais (SLT) enfrenta gargalos significativos devido à escassez de corpora paralelos de vídeo-sinal/texto em larga escala e à presença de vocabulários de alvo com cauda pesada, onde muitas palavras aparecem apenas poucas vezes. Embora progressos recentes tenham sido feitos, a tradução robusta continua difícil devido à complexidade multimodal das ocorrências sinalizadas e à esparsidade dos dados. As estratégias existentes de aumento de dados em SLT têm se concentrado predominantemente no lado do sinal (por exemplo, via modelos de produção ou generativos), deixando o lado do texto de alvo subutilizado. Além disso, métricas padrão de sobreposição lexical como BLEU frequentemente falham em capturar melhorias semânticas quando os modelos geram paráfrases válidas, porém lexicalmente distintas, das sentenças de referência.

Metodologia

Os autores propõem uma abordagem de aumento no lado do alvo, onde a entrada de sinal permanece fixa, mas o texto de referência é reescrito em variantes semanticamente fiéis utilizando um Grande Modelo de Linguagem (LLM).

Arquitetura do Modelo: O estudo emprega um Transformer baseado em pose do tipo Signformer. Em vez de quadros de vídeo brutos, o modelo utiliza pontos-chave (keypoints) de esqueleto 2D extraídos via MediaPipe Holistic (abrangendo 33 marcos corporais, 21 por mão e subconjuntos faciais). Esta representação enfatiza o movimento articulatório enquanto suprime variações de fundo e iluminação, permitindo uma avaliação eficiente de recursos sobre os efeitos do aumento.
Aumento de Dados Baseado em LLM:
- Para cada par vídeo–sentença $(V, T)$ , o GPT-4o gera $N=3$ paráfrases ( $T'_1, T'_2, T'_3$ ).
- Os prompts são estruturados para forçar a saída em JSON, preservando explicitamente o tempo verbal, o registro e o conteúdo proposicional, ao mesmo tempo em que permite variações lexicais e sintáticas controladas.
- Filtragem: Para evitar o desvio semântico, as paráfrases são filtradas usando uma pontuação de similaridade média ( $\bar{s}$ ) derivada de quatro medidas de forma superficial (Jaccard de nível de caractere, Jaccard de nível de palavra, Levenshtein normalizado e sobreposição de trigramas). As variantes são retidas apenas se $0.3 \leq \bar{s}(T, T'_i) \leq 0.95$ , descartando duplicatas exatas e variantes que alterem o sentido.
Cronograma de Treinamento: Os autores utilizam um cronograma de treinamento em duas etapas:
- Etapa 1 (Pré-treinamento): O modelo é pré-treinado no corpus aumentado (originais mais três paráfrases por instância).
- Etapa 2 (Ajuste Fino/Fine-tuning): O modelo é ajustado exclusivamente nas referências originais para realinhar o decodificador com a fraseologia específica da referência.
- Este cronograma visa ampliar a distribuição do decodificador durante o pré-treinamento, enquanto o recentraliza no estilo da referência durante o ajuste fino.

Principais Contribuições

Estratégia de Aumento Inovadora: Este é o primeiro estudo a aplicar o aumento de paráfrase no lado do alvo gerado por LLM especificamente para SLT. Os autores lançam três conjuntos de dados aumentados cobrindo as línguas de sinais Alemã (DGS), Grega (GSL) e Argentina (LSA).
Avaliação Abrangente de Conjuntos de Dados: O estudo avalia a abordagem em três conjuntos de dados com características distintas:
- PHOENIX14T (DGS): Diversidade lexical moderada com condições de gravação naturais.
  ot
- GSL: Gravações altamente controladas e repetitivas com baixa variabilidade.
- LSA-T: Vídeos do mundo real com severa esparsidade de cauda longa (50% de palavras únicas/singleton).
Protocolo de Avaliação Semântica: Os autores introduzem uma avaliação LLM-as-a-Judge (usando GPT-5.2) para medir a fidelidade semântica, abordando as limitações das métricas de sobreposição lexical como o BLEU.

Resultados

O impacto do aumento varia significativamente conforme as características do corpus:

PHOENIX14T: O aumento melhorou o BLEU-4 de 9.56 para 10.33. Mais importante, a pontuação de fidelidade semântica do LLM-as-a-Judge aumentou em 45,0% (de 2.51 para 3.65). A análise indica que a exposição paráfrastica ajuda o decodificador a generalizar além de templates memorizados.
GSL: A linha de base estava quase saturada (94.38 BLEU). O aumento reduziu ligeiramente o BLEU para 92.22, pois o modelo produziu saídas semanticamente válidas que diferiam lexicalmente da única referência. No entanto, a fidelidade semântica ainda melhorou em 13,6% (7.72 para 8.77), confirmando que métricas lexicais subestimam ganhos em cenários de linha de base elevada.
LSA-T: O desempenho permaneceu estagnado (BLEU-4 ~1.18–1.19). Os autores observam que a reescrita do lado do texto não pode abordar a esparsidade de dados do lado do sinal fundamental inerente a este conjunto de dados.

Significância e Alegações

O artigo alega que o aumento por LLM no lado do alvo não é uniformemente benéfico; sua eficácia depende da posição do corpus ao longo do espectro entre o formulário e a esparsidade de cauda longa.

Para diversidade moderada (PHOENIX14T): A abordagem melhora com sucesso tanto as métricas lexicais quanto a fidelidade semântica.
Para alta saturação (GSL): A abordagem revela ganhos que as métricas padrão não captam, embora não consiga superar linhas de base quase perfeitas.
Para esparsidade extrema (LSA-T): A abordagem destaca os limites do aumento do lado do texto quando o gargalo principal é a escassez de dados de sinal.

Os autores concluem que, embora o método seja promissor, trabalhos futuros devem explorar a combinação do aumento de texto de alvo com o aumento do lado do sinal, utilizando múltiplas referências para avaliação e testando LLMs de código aberto para isolar os benefícios do princípio de aumento do benefício do gerador específico utilizado.