💬 NLP

No One-Size-Fits-All: Building Systems For Translation to Bashkir, Kazakh, Kyrgyz, Tatar and Chuvash Using Synthetic And Original Data

Este artigo apresenta uma abordagem personalizada para a tradução automática de cinco línguas túrquicas (basquir, cazaque, quirguiz, tártaro e chuvasio) ao demonstrar que a combinação de ajuste fino com dados sintéticos, prompting com aumento de recuperação e estratégias de zero-shot produz resultados ótimos variados entre os pares de línguas, com os autores disponibilizando tanto os conjuntos de dados quanto os pesos do modelo.

Autores originais: Dmitry Karpov

Publicado 2026-02-05

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Dmitry Karpov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um grupo de alunos a traduzir histórias de inglês e russo para cinco línguas turcomanas diferentes: basquiro, cazaque, quirguiz, tártaro e chuvas. O problema? Existem pouquíssimos livros didáticos (dados) disponíveis para essas línguas. É como tentar ensinar alguém a tocar piano quando você tem apenas três páginas de partitura em vez de uma biblioteca inteira.

Os autores deste artigo, Dmitry Karpov e sua equipe, testaram diferentes métodos de ensino para ver qual funcionava melhor para cada aluno. Eles não usaram uma abordagem de "tamanho único"; em vez disso, adaptaram sua estratégia com base em quanto "material de livro didático" cada língua possuía.

Aqui está como eles fizeram isso, dividido em conceitos simples:

1. A Estratégia do "Livro Didático Sintético" (Para o Cazaque e o Basquiro)

Para línguas como o cazaque e o basquiro, havia alguns dados existentes, mas não o suficiente.

A Analogia: Imagine que você tem alguns livros de história reais, mas precisa de mais. Então, você contrata um robô muito rápido e inteligente (Yandex.Translate) para escrever milhares de livros de história falsos baseados nos reais. Você então usa esses livros falsos para treinar seus alunos.
O Método: Eles pegaram os dados existentes e usaram uma ferramenta de tradução para criar uma quantidade massiva de pares de tradução "sintéticos" (inventados, mas realistas). Em seguida, pegaram um modelo de IA inteligente (NLLB) e deram a ele um "tutor especializado" (LoRA) para estudar esses livros sintéticos.
O Resultado: Isso funcionou incrivelmente bem. Os alunos aprenderam a traduzir cazaque e basquiro com muita precisão. Foi como dar a eles uma biblioteca enorme de problemas de prática para memorizar e compreender.

2. A Estratégia da "Cola" (Para o Chuvas)

O chuvas foi o caso mais difícil. Quase não havia dados e o "professor robô" (o modelo de IA padrão) nem sequer sabia que a língua existia.

A Analogia: Imagine um aluno fazendo uma prova sobre uma língua que ele nunca estudou. Em vez de tentar memorizar regras, você dá a ele uma "cola" logo antes da prova. Você diz: "Ei, olhe para esta frase que escrevi anteriormente que soa como a sua, e veja como ela foi traduzida. Agora, tente copiar esse estilo".
O Método: Eles construíram um índice gigante (um arquivo digital) de cada frase que conseguiam encontrar. Quando precisavam traduzir uma nova frase, usavam uma ferramenta de busca (ANNOY) para encontrar as frases mais semelhantes já presentes no arquivo. Eles alimentavam esses exemplos a uma IA superinteligente (DeepSeek-V3.2) e diziam: "Aqui estão exemplos semelhantes; agora traduza este novo".
O Resultado: Este método de "recuperação" funcionou maravilhas para o chuvas. Foi a única maneira de obter bons resultados, porque o método de "livro didático" padrão falhou completamente.

3. A Estratégia do "Apenas Pergunte" (Para o Tártaro e o Quirguiz)

Para o tártaro e o quirguiz, os resultados foram um pouco mistos.

Tártaro: O modelo de IA padrão já conhecia o tártaro muito bem por conta própria. Adicionar a "cola" não ajudou muito; na verdade, às vezes confundia a IA. O melhor resultado veio de apenas pedir à IA para traduzir sem ajuda extra (Zero-shot).
Quirguiz: Semelhante ao tártaro, a "cola" não melhorou as coisas. A melhor abordagem foi simplesmente pedir a uma IA muito inteligente (MiMoV2) para fazer a tradução sem qualquer treinamento ou exemplos extras.

4. A Tentativa de "Projeto em Grupo" (Stacking)

A equipe tentou um último truque: o "Stacking" (Empilhamento).

A Analogia: Imagine que você tem cinco alunos diferentes que traduziram a mesma frase. Você pede que eles votem em qual tradução é a melhor.
O Resultado: Surpreendentemente, isso não ajudou. Às vezes, a votação do grupo tornava a tradução pior do que a do melhor aluno individual. Acontece que, para essas línguas complicadas, a "melhor" tradução nem sempre é aquela que mais se parece com as outras.

A Grande Lição

A principal lição deste artigo é que não existe uma chave mágica única para todas as línguas.

Se uma língua tem alguns dados, o treinamento sintético (inventar mais dados) funciona melhor.
Se uma língua tem quase nenhum dado, encontrar exemplos semelhantes (a cola) funciona melhor.
Se uma língua já é bem conhecida por grandes modelos de IA, apenas perguntar a eles funciona melhor.

Os autores compartilharam todos os seus "livros didáticos" (datasets) e "tutores inteligentes" (pesos do modelo) que criaram para que outros possam aprender com seus experimentos. Eles provaram que, para ensinar línguas de baixo recurso às máquinas, você precisa ser flexível e usar a ferramenta certa para o trabalho específico.

Resumo Técnico: Não Existe Solução Única: Construindo Sistemas para Tradução para o Basquiro, Cazaque, Quirguiz, Tártaro e Chuvas

Definição do Problema
O artigo aborda o desafio da tradução automática (MT) para línguas turcomanas de baixos recursos, focando especificamente em cinco pares linguísticos: Russo-Basquiro, Russo-Cazaque, Russo-Quirguiz, Inglês-Tártaro e Inglês-Chuvas. Os autores observam que dados paralelos de alta qualidade são escassos para essas línguas, necessitando da investigação de múltiplas abordagens para melhorar a qualidade da tradução sob condições de escassez de dados.

Metodologia
Os autores empregaram uma estratégia híbrida combinando aumento de dados, ajuste fino de parâmetros eficientes e prompting com aumento por recuperação (retrieval-augmented prompting).

Construção e Aumento de Dados:
- Dados Originais: O estudo agregou corpora paralelos existentes de várias fontes (ex: Equipe NLLB, Plotnikov e Antonov, Zhang et al.) para os cinco pares linguísticos.
- Dados Sintéticos: Para enfrentar a escassez de dados, os autores aumentaram os conjuntos de treinamento usando o Yandex.Translate. Eles traduziram frases do inglês para o russo (quando necessário) e, em seguida, para as línguas turcomanas alvo. Este processo utilizou recursos de "tradução de documento" em grandes blocos (50k–200k amostras).
- Filtragem: Os dados sintéticos foram meticulosamente filtrados para remover quaisquer frases que aparecessem nos conjuntos de teste.
- Pseudorotulagem (Pseudolabeling): Os autores utilizaram a pseudorotulagem de dados, constatando que o treinamento multilingue sem ela produzia resultados inferiores em experimentos preliminares.
- Conjunto de Dados Final: Após o aumento, o tamanho dos dados de treinamento atingiu aproximadamente 2,46 milhões de amostras por par linguístico. Um subconjunto específico, YaTURK-7lang, foi lançado, contendo dados traduzidos para seis línguas.
Abordagem 1: Ajuste Fino com LoRA (Cazaque e Basquiro)
- Modelo Base: Os autores selecionaram o facebook/nllb-200-distilled-600M como modelo base.
- Tokenização: Prefixos de pares linguísticos customizados (ex: <prefix_rus_bash>) foram adicionados ao tokenizer para guiar o modelo.
- Estratégia de Treinamento: Dois modos foram explorados:
  1. Ajuste fino multitarefa em todas as línguas por uma época, seguido pelo treinamento de adaptadores LoRA para línguas específicas.
  2. Ajuste fino de tarefa única (single-task).
- Configuração LoRA: Os autores utilizaram DORA (Weight-Decomposed Low-Rank Adaptation), uma extensão do LoRA. Os hiperparâmetros principais incluíram $r=64$ , $\alpha=64$ , dropout de LoRA de 0,2 e inicialização de peso PiSSA. Os módulos alvo incluíram camadas de projeção ($q, v, k, out$) e camadas feed-forward ($fc1, fc2$).
- Otimização: O treinamento utilizou o otimizador paged AdamW-8bit com um agendador de taxa de aprendizado linear (taxa inicial de $5e^{-4}$ ) para LoRA e agendamento de cosseno para ajuste fino total.
Abordagem 2: Prompting com Aumento por Recuperação (Chuvas, Tártaro, Quirguiz)
- Justificativa: O ajuste fino do NLLB no Chuvas apresentou um desempenho ruim, provavelmente porque o modelo base não foi pré-treinado no Chuvas. Da mesma forma, o desempenho zero-shot para Inglês-Chuvas foi fraco.
- Sistema de Recuperação: Um índice ANNOY foi construído usando frases da língua de origem do conjunto de dados. Para novas consultas, o sistema recupera as frases de origem mais similares e suas traduções para servirem como exemplos de contexto.
- Embeddings: O thenlper/gte-small foi usado para Inglês-Chuvas, enquanto o sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 foi usado para os outros pares.
- Prompting de LLM: Vários modelos foram testados via API (DeepSeek-R1, DeepSeek-N1, MiMoV2, Gemma3, DeepSeek-V3.2). O prompt instruía o modelo a traduzir uma frase baseando-se em exemplos similares recuperados, com restrições estritas para retornar apenas a tradução.
- Configuração: Para Inglês-Chuvas, uma janela de contexto grande (TOP_N=7000) foi utilizada. Para Inglês-Tártaro, o prompting zero-shot com DeepSeek-V3.2 provou ser superior aos métodos baseados em recuperação.
Ensemble (Stacking):
- Os autores tentaram selecionar a melhor tradução de múltiplas submissões usando similaridade semântica (codificador LaBSE) e filtragem baseada em perplexidade. No entanto, esses métodos geralmente levaram a deteriorações menores nas pontuações de validação em comparação com a melhor submissão individual.

Principais Resultados
Os autores reportam as pontuações chrF++ do ranking da competição:

Cazaque: A abordagem baseada em LoRA alcançou a pontuação mais alta de 49,71.
Basquiro: A abordagem baseada em LoRA alcançou 46,94.
Chuvas: O prompting do DeepSeek-V3.2 com exemplos recuperados alcançou 39,47, superando significativamente o modelo NLLB ajustado (11,70) e os baselines zero-shot.
Tártaro: Uma abordagem zero-shot ou baseada em recuperação alcançou 41,6. Notavelmente, o resultado zero-shot do DeepSeek-V3.2 (43,66) foi imbatível pelos métodos de recuperação.
Quirguiz: A abordagem zero-shot atingiu 45,6, superando o prompting baseado em recuperação, que causou quedas de desempenho quando as janelas de contexto foram expandidas.

Contribuições e Significância
A principal contribuição do artigo é a demonstração de que uma estratégia de "tamanho único" é ineficaz para línguas turcomanas de baixos recursos; em vez disso, a abordagem ideal depende da disponibilidade de recursos específica e das características da língua alvo.

Estratégias Dependentes de Recursos: Para línguas com recursos relativamente maiores (Basquiro, Cazaque), o ajuste fino de modelos pré-treinados (NLLB) em dados sintéticos usando LoRA/DORA provou ser o mais eficaz.
Adaptação à Escassez: Para línguas com extrema escassez de dados como o Chuvas, onde o modelo base carecia de pré-treinamento, o prompting com aumento por recuperação utilizando grandes modelos de linguagem gerou melhorias significativas de qualidade.
Limites do Zero-Shot: Para línguas com desempenho zero-shot decente (Quirguiz, Tártaro), mecanismos complexos de recuperação não superaram o simples prompting zero-shot com modelos avançados como o DeepSeek-V3.2.
Lançamento Aberto: Os autores lançaram o conjunto de dados YaTURK-7lang e os pesos dos modelos para Cazaque e Basquiro (incluindo o modelo de ajuste fino multitarefa e os adaptadores LoRA) para facilitar pesquisas futuras.

Conclusão
O estudo conclui que, embora o ajuste fino em dados sintéticos seja o caminho mais promissor para línguas com algum recurso existente, o prompting com exemplos recuperados é uma alternativa viável para línguas com extrema escassez de dados. Os autores reconhecem que pesquisas futuras poderiam explorar o ajuste fino de modelos pré-treinados especificamente em línguas de baixos recursos, mas seu trabalho atual estabelece uma linha de base para lidar com esses pares linguísticos turcomanos específicos usando as ferramentas e dados disponíveis.