💬 NLP

Building Large-Scale English-Romanian Literary Translation Resources with Open Models

Este artigo apresenta o TinyFabulist Translation Framework (TF2), um pipeline unificado que aproveita dados sintéticos e um processo de ajuste fino de dois estágios para produzir um modelo aberto de 12 bilhões de parâmetros de baixo custo para tradução literária de inglês para romeno de alta qualidade, juntamente com o lançamento de conjuntos de dados de larga escala e ferramentas de avaliação.

Autores originais: Mihai Nadas, Laura Diosan, Andreea Tomescu, Andrei Piscoran

Publicado 2026-07-29

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mihai Nadas, Laura Diosan, Andreea Tomescu, Andrei Piscoran

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde as histórias são a moeda da cultura, mas algumas línguas são como ilhas com pouquíssimas pontes conectando-as ao resto do mundo. Este é o desafio da tradução automática, um ramo da inteligência artificial que tenta ensinar computadores a falar diferentes idiomas. Normalmente, esses computadores aprendem lendo milhões de livros e artigos de notícias escritos por humanos. Mas para muitas línguas, especialmente aquelas faladas por menos pessoas, simplesmente não há livros suficientes para ensinar o computador. É como tentar aprender a cozinhar comida italiana sem nunca ter visto uma receita ou provado um tomate.

Para resolver isso, cientistas começaram a usar Modelos de Linguagem de Grande Escala (LLMs). Pense neles como chefs digitais superinteligentes que já provaram quase todos os pratos do mundo e conseguem adivinhar qual deve ser o sabor de uma nova receita. No entanto, ensinar esses chefs a cozinhar literatura — histórias com sentimentos, piadas e segredos culturais — é muito mais difícil do que traduzir um relatório de notícias. E fazer isso para uma língua como o romeno, que possui menos recursos digitais do que o inglês, é como tentar assar um bolo perfeito em uma cozinha com ingredientes muito limitados e um orçamento apertado. A grande questão que os pesquisadores estão fazendo é: podemos construir uma biblioteca de alta qualidade de histórias traduzidas sem gastar uma fortuna ou precisar de um supercomputador?

A História do Pequeno Fabulista

Neste artigo, uma equipe de pesquisadores da Romênia apresenta um novo projeto chamado TF2 (TinyFabulist Translation Framework). O objetivo deles era criar uma enorme biblioteca de fábulas traduzidas — histórias curtas com uma moral, como as fábulas de Esopo — do inglês para o romeno. Eles queriam ver se poderiam fazer isso usando modelos "abertos" (ferramentas de IA gratuitas e públicas) em vez de modelos privados caros, e se poderiam fazer isso com um orçamento baixíssimo.

A Receita: Construindo uma Biblioteca do Zero

Os pesquisadores sabiam que não poderiam simplesmente pedir a humanos para traduzir milhões de histórias; levaria muito tempo e custaria demais. Em vez disso, eles construíram uma linha de montagem de quatro etapas para criar os dados eles mesmos:

O Teste de Sabor (Estágio 1): Primeiro, eles testaram 13 modelos de IA diferentes (alguns gratuitos, outros pagos) para ver qual era o melhor em traduzir algumas fábulas de amostra. Eles não olharam apenas se as palavras correspondiam; pediram à IA que avaliasse as traduções em cinco critérios: precisão, fluidez, lógica da história, estilo e adequação cultural. O vencedor foi um modelo poderoso chamado GPT-o3, que se tornou o seu "padrão ouro" para criar o restante da biblioteca.
O Padrão Prata (Estágio 2): Usando esse modelo vencedor, eles traduziram 15.000 fábulas do inglês para o romeno. Embora tenham sido feitas por um robô, elas eram tão boas que os pesquisadores as trataram como um "padrão prata" (quase tão bom quanto o ouro) para treinar seus próprios modelos customizados.
O Treinamento Especializado (Estágio 3): Esta é a parte mágica. Eles pegaram modelos de IA de código aberto (especificamente versões do Gemma, variando de modelos pequenos de 1 bilhão de parâmetros até um de 12 bilhões) e deram a eles uma "escola de especialização". Eles usaram uma técnica chamada LoRA (Low-Rank Adaptation), que é como dar a um chef de uso geral um livro de receitas específico para fábulas sem precisar reconstruir toda a cozinha. Eles treinaram esses modelos com as 15.000 histórias traduzidas.
A Produção em Massa (Estágio 4): Finalmente, eles usaram seus novos modelos especializados e treinados para traduzir as 3 milhões de fábulas restantes da coleção original em inglês. O resultado é um novo conjunto de dados massivo chamado DS-TF2-EN-RO-3M, contendo três milhões de pares de fábulas em inglês e romeno.

Os Resultados: Modelos Pequenos, Grandes Surpresas

Os pesquisadores então colocaram seus novos modelos treinados à prova contra os grandes e caros modelos privados (como GPT-4 e DeepL) e contra os modelos abertos originais e não treinados.

A Lacuna Diminuiu: O seu melhor modelo aberto, o TF2-12B (a versão de 12 bilhões de parâmetros), teve um desempenho incrível. Ele obteve uma pontuação média de 4,83 de 5 na sua rubrica de qualidade, enquanto o principal modelo privado (GPT-o3) obteve 4,92. A diferença entre o modelo gratuito customizado e o gigante proprietário caro foi mínima — menos de 0,1 pontos.
A Diferença de Custo: É aqui que a história fica realmente emocionante. Traduzir todas as 3 milhões de fábulas usando as APIs privadas caras teria custado entre US$ 1.800 e US$ 32.400 (dependendo de qual modelo você escolhesse). Em contraste, o seu modelo de código aberto TF2 fez exatamente o mesmo trabalho por cerca de US$ 350. Isso representa uma economia de 97% a 99%.
Os Modelos Pequenos: Mesmo o seu modelo mais pequeno (1 bilhão de parâmetros), após o treinamento, saltou de 2,02 para 3,75. Não era perfeito, mas passou de "mal compreensível" para "bastante bom", provando que mesmo computadores pequenos e baratos podem aprender a contar histórias se forem ensinados da maneira certa.

O Que Eles Descobriram (e o Que Não Descobriram)

O artigo sugere que você não precisa ser um bilionário para construir ferramentas de tradução literária de alta qualidade. Ao usar um processo inteligente, passo a passo, e focar em um tipo específico de história (fábulas), eles mostraram que modelos abertos podem competir com os gigantes.

No entanto, os autores tomam cuidado ao notar alguns pontos:

Ainda não é perfeito: Embora os modelos abertos estejam próximos, os modelos privados (como o GPT-o3) ainda pontuaram ligeiramente mais alto, especialmente em estilo e nuance cultural. Os modelos abertos são uma ótima alternativa, mas não "resolveram" completamente o problema de igualar a qualidade de tradução de nível humano em todos os casos.
O "Padrão Ouro" é Prata: As traduções de referência que eles usaram para treinar os modelos foram feitas por outra IA, não por um humano. Isso significa que os modelos estão aprendendo a soar como outras IAs, não necessariamente como tradutores humanos. Os pesquisadores verificaram isso fazendo com que um especialista humano analisasse uma pequena amostra das histórias, e o humano concordou que as classificações da IA eram geralmente corretas, mas eles admitem que um estudo humano maior é necessário para ter 100% de certeza.
Fábulas são Especiais: As fábulas são curtas e possuem uma estrutura clara. Os pesquisadores sugerem que, embora este método funcione muito bem para fábulas, pode ser mais difícil aplicá-lo a romances complexos com metáforas profundas ou diálogos históricos.

A Conclusão

O projeto TF2 é como mostrar que você pode construir uma biblioteca magnífica usando materiais reciclados e um pouco de engenhosidade, em vez de precisar de um cofre de ouro. Eles provaram que, com os dados de treinamento certos e uma abordagem inteligente e econômica, a IA de código aberto pode traduzir conteúdo literário para línguas como o romeno por uma fração do custo habitual. Eles disponibilizaram todo o seu código, o seu conjunto de dados de 3 milhões de histórias e os seus modelos treinados para o público, convidando todos os outros a construir sobre o seu trabalho. É um passo em direção a um futuro onde a IA pode ajudar a preservar e compartilhar histórias de cada cultura, independentemente de quanta tecnologia aquela cultura tenha dinheiro para gastar.

Resumo Técnico: Construção de Recursos de Tradução Literária Inglês–Romeno em Larga Escala com Modelos Abertos

Declaração do Problema

A tradução literária para línguas de baixos recursos, especificamente o romeno, enfrenta um desafio duplo: a escassez de dados paralelos de alta qualidade e a dificuldade de preservar a nuance estilística, a coerência narrativa e o contexto cultural. Os benchmarks de tradução automática (MT) existentes (ex: WMT) focam predominantemente em notícias ou textos informativos, oferecendo orientação limitada para tarefas criativas e narrativas. Embora os grandes modelos de linguagem (LLMs) tenham possibilitado a geração de dados sintéticos, a maior parte do trabalho existente foca na geração de histórias monolíngues ou na tradução reversa (back-translation), em vez da criação sistemática de conjuntos de dados bilíngues literários em larga escala. Além disso, modelos proprietários otimizados para domínios gerais frequentemente falham em capturar os requisitos estilísticos e culturais específicos da tradução literária, enquanto sua implementação é frequentemente proibitiva em termos de custo para comunidades de pesquisa de baixos recursos.

Metodologia: O Framework de Tradução TinyFabulist (TF2)

Os autores introduzem o TF2, um framework unificado e de ponta a ponta para a criação, ajuste fino (fine-tuning) e avaliação de conjuntos de dados para tradução literária de inglês para romeno. O pipeline consiste em quatro estágios distintos:

Estágio 1: Benchmarking e Seleção de Modelos:
- Os autores avaliaram 13 sistemas diversos (incluindo APIs proprietárias como GPT-4.1, Gemini, DeepL e modelos de pesos abertos como EuroLLM e Gemma) em um conjunto de controle de fábulas em inglês.
- A avaliação utilizou uma rubrica baseada em LLM de cinco dimensões (Precisão, Fluência, Coerência, Estilo, Adaptação Cultural/Pragmática) pontuada em uma escala Likert de 1 a 5.
- O GPT-o3 foi selecionado como o tradutor de referência para gerar dados paralelos de "padrão-prata" (silver-standard) devido à sua maior pontuação média na rubrica (4,92). O Gemma-3-12B-it foi selecionado como a espinha dorsal para o ajuste fino de modelos abertos devido ao seu desempenho superior entre os baselines abertos (pontuação média de 4,43) e licenciamento permissivo.
Estágio 2: Criação de Corpus Paralelo (DS-TF2-EN-RO-15K):
- Utilizando o tradutor de referência selecionado (GPT-o3), 15.000 fábulas em inglês do corpus existente DS-TF1-EN-3M foram traduzidas para o romeno.
- Isso resultou em um corpus paralelo de alta qualidade, gerado por máquina (DS-TF2-EN-RO-15K), servindo como recurso de treinamento e um conjunto de referência consistente para avaliações subsequentes.
Estágio 3: Ajuste Fino de Eficiência de Parâmetros:
- LLMs de instrução abertos (variantes Gemma-3: 1B, 4B e 12B parâmetros) foram ajustados finamente no conjunto de dados paralelo de 15k usando Adaptação de Baixo Posto (LoRA).
- Os adaptadores foram injetados em todas as principais matrizes de projeção ($q, k, v, o, gate, up, down$) com rank $r=32$ e escala $\alpha=32$ .
- O processo incluiu treinamento com AdamW, escalonamento de taxa de aprendizado de cosseno e a geração de variantes quantizadas de 8 bits para implantação eficiente.
Estágio 4: Geração de Corpus em Larga Escala (DS-TF2-EN-RO-3M):
- O melhor modelo ajustado (TF2-12B) foi utilizado para traduzir o restante das ~3 milhões de fábulas de DS-TF1-EN-3M.
- Isso produziu o DS-TF2-EN-RO-3M, um corpus bilíngue de grande escala de fábulas morais, liberado abertamente para pesquisa.

Protocolo de Avaliação

O artigo emprega uma estratégia de avaliação híbrida para abordar as limitações das métricas tradicionais em contextos literários:

Métrica Primária: Uma rubrica multidimensional baseada em LLM (Precisão, Fluência, Coerência, Estilo, Adaptação Cultural) implementada via GPT-o3-mini. Para mitigar o viés de auto-preferência, uma verificação cruzada entre famílias de modelos foi realizada utilizando o Grok-3-mini.
Métrica Secundária: O Bilingual Evaluation Understudy (BLEU) é reportado como uma verificação de consistência contra a referência do GPT-o3, embora os autores notem explicitamente suas limitações em capturar a variação estilística e o parafraseamento inerentes à tradução literária.
Validação Humana: Um estudo piloto envolvendo um linguista romeno independente avaliou 40 fábulas, constatando que os rankings automatizados eram direcionais e consistentes com o julgamento humano em relação à fluência, fidelidade de entidades e fechamento narrativo.

Principais Resultados

1. Desempenho dos Modelos Abertos Ajustados

O ajuste fino melhorou significamente o desempenho dos modelos de pesos abertos, diminuindo a lacuna em relação aos sistemas proprietários:

TF2-12B: Alcançou uma pontuação média de rubrica de 4,83 (com temperatura $T=0.0$ ), comparado ao baseline não ajustado de Gemma-3-12B-it de 4,43. Isso representa uma diferença de apenas 0,09 pontos para a referência GPT-o3 (4,92).
TF2-4B: Melhorou de um baseline de 3,81 para 4,74.
TF2-1B: Melhorou de 2,02 para 3,75.
Quantização: As variantes quantizadas de 8 bits mantiveram o desempenho dentro de 0,01–0,03 pontos de seus equivalentes em FP16, demonstrando viabilidade para implantação em ambientes de recursos limitados.

2. Eficiência de Custo

O artigo destaca uma redução drástica de custo para a geração de conjuntos de dados em larga escala:

Traduzir o corpus completo de 3 milhões de fábulas usando APIs proprietárias (ex: GPT-4.1, DeepL) custaria estimado entre US$ 2.700 e US$ 32.400 (dependendo do modelo e da profundidade de raciocínio).
Usando o modelo aberto ajustado TF2 em hardware local, o custo estimado foi de aproximadamente US$ 350, representando uma redução de 97–99% nas despesas.

3. Robustez da Avaliação

Viés de Família Cruzada: Os rankings de desempenho permaneceram estáveis quando avaliados por um juiz independente (Grok-3-mini), confirmando que os ganhos de desempenho dos modelos TF2 não foram artefatos de viés do avaliador.
Alinhamento Humano: A avaliação humana piloto confirmou que o TF2-12B produziu frases mais naturais e melhor fechamento narrativo do que o baseline não ajustado, embora o GPT-o3 tenha permanecido o padrão ouro estilístico.

Significância e Alegações

O artigo alega que o TF2 fornece um pipeline reprodutível e de baixo custo para avançar a tradução literária automática em cenários de baixos recursos. Suas principais contribuições são:

Criação de Recursos: O lançamento de dois conjuntos de dados de larga escala (DS-TF2-EN-RO-15K e DS-TF2-EN-RO-3M) e três modelos abertos ajustados (TF2-1B, TF2-4B, TF2-12B).
Validação Metodológica: Demonstrar que o ajuste fino de eficiência de parâmetros (LoRA) em dados sintéticos de padrão-prata pode reduzir substancialmente a lacuna de qualidade entre modelos abertos e proprietários para domínios literários específicos.
Framework de Avaliação: Estabelecer um protocolo de avaliação baseado em rubrica que prioriza dimensões estilísticas e culturais sobre a simples sobreposição lexical, validando sua estabilidade através de verificações entre famílias de modelos.

Os autores mantêm uma postura modesta, reconhecendo que seus resultados são específicos para o gênero de fábulas (que possui narrativas estruturadas e morais explícitas) e que as referências de "verdade fundamental" (ground truth) são geradas por máquina, e não traduzidas por humanos. Eles posicionam o TF2 não como um substituto para a tradução humana profissional, mas como uma solução prática e acessível para gerar conteúdo literário culturalmente significativo em línguas de baixos recursos onde tais recursos seriam, de outra forma, indisponíveis.