💬 NLP

DIETA: A Decoder-only transformer-based model for Italian-English machine TrAnslation

Este artigo apresenta o DIETA, um modelo Transformer de decodificador apenas com 0,5 bilhão de parâmetros treinado em um corpus curado de 207 milhões de sentenças italiano-inglês e dados de retrotradução, que alcança um desempenho competitivo em benchmarks e é acompanhado pelo lançamento público de seus scripts de treinamento, modelos, dados e um novo conjunto de avaliação.

Autores originais: Pranav Kasela, Marco Braga, Alessandro Ghiotto, Andrea Pilzer, Marco Viviani, Alessandro Raganato

Publicado 2026-01-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Pranav Kasela, Marco Braga, Alessandro Ghiotto, Andrea Pilzer, Marco Viviani, Alessandro Raganato

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você queira construir um tradutor que fale apenas duas línguas: italiano e inglês. A maioria das grandes empresas de tecnologia constrói "tradutores universais" que tentam falar 100 idiomas ao mesmo tempo. Eles são como mochilas enormes e pesadas cheias de todos os dicionários do mundo. São poderosos, mas também são gigantescos, caros para operar e, às vezes, ficam confusos porque estão tentando lembrar de coisas demais ao mesmo tempo.

Os autores deste artigo decidiram construir algo diferente: um tradutor especializado e leve chamado DIETA.

Aqui está a história de como eles o construíram, usando analogias simples:

1. O Objetivo: Um Atleta Especializado, Não um Maratonista

Em vez de treinar um modelo gigante para falar todas as línguas (como um maratonista que tenta correr todas as distâncias), a equipe treinou um modelo pequeno, de 0,5 bilhão de parâmetros, para ser o melhor absoluto apenas em italiano e inglês.

A Metáfora: Pense no DIETA como um velocista. Ele não precisa carregar o peso de 100 idiomas; ele só precisa ser incrivelmente rápido e preciso ao correr na pista de italiano-inglês.

2. Os Dados de Treinamento: A "Academia"

Para ficar bom em qualquer coisa, você precisa praticar. A equipe não usou apenas alguns livros didáticos; eles construíram uma academia massiva com 768 milhões de frases de prática.

O Material Real: Eles reuniram cerca de 207 milhões de pares de frases reais de lugares como registros parlamentares, documentos jurídicos, notícias, filmes (legendas) e livros.
A Prática "Fantasma" (Back-Translation): Como precisavam de ainda mais prática, usaram um truulo inteligente chamado "tradução reversa" (back-translation). Imagine pegar um artigo de notícias em italiano, traduzi-lo para o inglês com um computador e, depois, fazer o computador traduzir esse inglês de volta para o italiano. Isso cria um novo par de prática "sintético". Eles fizeram isso milhões de vezes para criar uma biblioteca massiva de 352 milhões de frases extras.
O Resultado: O modelo praticou em uma mistura de escrita humana real e essa enorme quantidade de dados de prática gerados por computador.

3. O Novo Teste: O Exame de "Notícias Recentes"

Normalmente, os modelos de tradução são testados em dados antigos e estáticos. Os autores perceberam que isso não diz se um modelo consegue lidar com as notícias de hoje.

A Inovação: Eles criaram um novo conjunto de testes chamado WikiNews-25, baseado em artigos de 2025.
O Detalhe: Eles não usaram apenas quaisquer frases. Eles pegaram traduções feitas pelo Google, encontraram as que estavam erradas e pediram para humanos corrigi-las. Isso criou um "padrão ouro" de exame especificamente desenhado para testar o quão bem um modelo lida com notícias atuais do mundo real.

4. Os Resultados: Batendo Acima do Seu Peso

Eles colocaram o DIETA em uma corrida contra 32 outros tradutores, variando de modelos minúsculos a modelos massivos de 9 bilhões de parâmetros (como as mochilas pesadas mencionadas anteriormente).

O Desempenho: Mesmo sendo minúsculo (apenas 0,5 bilhão de parâmetros), o DIETA terminou consistentemente no segundo melhor grupo (o segundo quartil).
A Comparação: Ele venceu quase todos os outros modelos que eram menores que 3 bilhões de parâmetros. De fato, em quatro de cinco testes diferentes, ele teve um desempenho melhor do que quase todos os outros modelos pequenos.
A Troca: Ele não foi tão perfeito quanto os modelos gigantes de 9 bilhões de parâmetros (os "superatletas"), mas foi incrivelmente próximo. A principal área onde os gigantes ainda venceram foi na pontuação "sem referência" (estimar a qualidade sem uma resposta perfeita), mas, para todo o resto, o DIETA se manteve à altura.

5. Por Que Isso Importa

O artigo afirma que você nem sempre precisa de um supercomputador enorme e caro para obter ótimos resultados de tradução.

A Conclusão: Se você focar seus dados de treinamento especificamente em duas línguas e usar muitos dados de prática sintéticos inteligentes, um modelo pequeno e leve pode fazer um trabalho que normalmente exigiria um modelo muito maior e mais pesado.
Acessibilidade: Como o DIETA é tão pequeno, ele pode rodar em uma única placa de vídeo de consumo (como um PC gamer de alto desempenho), enquanto os modelos gigantes exigem centros de dados massivos.

Resumo

Os autores construíram o DIETA, um tradutor pequeno e especializado para italiano e inglês. Eles o treinaram em uma mistura massiva de documentos reais e frases de prática geradas por computador. Testaram-no em um novo conjunto de dados de notícias de 2025. O resultado? Um modelo minúsculo que performa quase tão bem quanto os gigantes, provando que treinamento especializado e dados inteligentes podem vencer o tamanho bruto.

Eles disponibilizaram o modelo, os dados de treinamento e o novo conjunto de testes para todos, para que outros possam aprender com isso e construir ferramentas ainda melhores.

Resumo Técnico: DIETA – Um Transformer Decoder-only para Tradução Automática Italiano–Inglês

Definição do Problema

Apesar dos avanços dos modelos de linguagem de grande escala (LLMs) baseados em Transformer no Processamento de Linguagem Natural, a tradução automática (MT) de alta qualidade para pares de idiomas específicos, particularmente o italiano–inglês, continua sendo um desafio em aberto. Sistemas multilingues de propósito geral frequentemente priorizam a cobertura ampla de idiomas em detrimento da qualidade de tradução especializada, deixando margem para melhorias em pares direcionados. Além disso, modelos multilingues massivos incorrem em altos custos computacionais e podem sofrer de competição representacional entre centenas de idiomas, potencialmente apresentando desempenho inferior em direções específicas como inglês–italiano quando comparados a modelos menores e especializados.

Metodologia

Coleta e Curadoria de Dados

Os autores construíram um corpus de treinamento massivo compreendendo aproximadamente 768 milhões de exemplos de origem–alvo, derivados de três fontes primárias:

Corpora Paralelos: Aproximadamente 207,8 milhões de pares de sentenças de alta qualidade foram curados de recursos públicos no repositório OPUS, incluindo Europarl, DGT-TM, ParaCrawl, OpenSubtitles, WikiMatrix e textos jurídicos.
- Limpeza: Duplicatas foram removidas usando OpusTools/OpusFilter. Os pares restantes passaram por filtragem de qualidade usando o LLM Phi-4 com um prompt binário para verificar a equivalência de tradução, descartando pares não correspondentes.
- Formatação: Os pares foram duplicados com tags de direção explícitas (ex: ENG: ... IT: ...) para suportar o treinamento bidirecional.
Dados Sintéticos (Back-Translation): Para aumentar o corpus, os autores geraram 352 milhões de pares de sentenças sintéticas via retrotradução (back-translation):
- NewsCrawl: Artigos em italiano (2008–2018) e inglês (2023) foram traduzidos usando OPUS-MT-TC-BIG; segmentos mais recentes (2019–2024) usaram NLLB-200-3.3B.
- FineWeb: 108,5 milhões de sentenças em italiano e 100 milhões em inglês foram traduzidas usando o modelo multilingue GemmaX2-28-9B-v0.1.
- Todas as traduções sintéticas foram geradas usando o toolkit CTranslate2 em modo de decodificação gananciosa (greedy decoding).

Arquitetura do Modelo

O DIETA é um modelo Transformer decoder-only com 0,5 bilhão de parâmetros, projetado especificamente para tradução bidirecional italiano–inglês.

Camadas: 6 camadas idênticas com uma configuração de pós-normalização (post-norm).
Dimensões: Dimensão oculta de 2.048 e 32 cabeças de atenção.
Feed-Forward: Utiliza ativação squared-ReLU com um fator de expansão de 4x.
Embeddings: Embeddings rotativos para posições de tokens.
Otimizações: Incorpora acumulação de atenção residual e normalização de query-key.
Tokenizador: Utiliza um vocabulário SentencePiece de 51.200 entradas da família Minerva, treinado em um corpus equilibrado de alta qualidade em italiano e inglês para otimizar a segmentação de sub-palavras para esses idiomas específicos.

Estratégia de Treinamento

Os modelos foram treinados usando o framework x-Transformers com o otimizador Lion (taxa de aprendizado $2 \times 10^{-4}$ ) ao longo de uma única época com um cronograma de decaimento linear após um warm-up de 10%. Cinco variantes de modelos foram lançadas para analisar o impacto da composição dos dados:

DIETA: Treinado do zero no corpus paralelo filtrado (415,7M de pares).
DIETA+BT: Treinado no corpus paralelo + retrotraduções do NewsCrawl.
DIETA+cont: Treinamento contínuo do DIETA para uma segunda época nos dados mistos de paralelo + NewsCrawl.
DIETA+nosynth: Treinamento contínuo do DIETA para uma segunda época apenas em dados paralelos.
DIETA+allsynth: Treinamento contínuo do DIETA+cont para uma terceira época no corpus completo (Parallel + NewsCrawl + FineWeb), totalizando 768M de pares.

Avaliação

Os modelos foram avaliados contra 15+ baselines (incluindo NLLB-200, OPUS-MT, Minerva, LLaMAntino, Gemma-2 e Tower) através de cinco benchmarks:

Benchmarks Padrão: NTREX-128, Tatoeba, WMT-24pp e FLORES-200.
Novo Benchmark: WikiNews-25, um conjunto de teste de 450 sentenças baseado em artigos da WikiNews de 2025, apresentando traduções pós-editadas por humanos para avaliar o desempenho em textos contemporâneos.
Métricas: Uma suíte abrangente incluindo sobreposição de superfície (sacreBLEU, chrF), baseada em referência neural (BLEURT, MetricX-24, COMET) e estimativa de qualidade sem referência (QE MetricX, COMETKiwi).

Principais Resultados

Desempenho vs. Tamanho: O DIETA consistentemente ocupa o segundo quartil de um leaderboard de 32 sistemas. Ele supera a maioria dos modelos abaixo de 3B em quatro dos cinco conjuntos de testes e iguala ou supera modelos 2 a 3 vezes maiores (ex: modelos de 1–3 bilhões de parâmetros) em muitas métricas.
Benchmarks Específicos:
- NTREX-128: O DIETA+cont atinge pontuações competitivas de BLEU (36/43) e COMET (0,85/0,87), rivalizando com o NLLB-1.3B e OPUS-MT-big.
- Tatoeba: O DIETA+cont pontua 58/70 BLEU, superando todos os competidores abaixo de 3B de parâmetros e seguindo apenas os maiores modelos (Gemma-9B, PhiMaestra-3) por uma pequena margem.
- WMT-24pp & WikiNews-25: O modelo entrega um desempenho de meio de tabela competitivo com sistemas de 7B, particularmente em dados de notícias recentes (WikiNews-25), onde iguala ou supera sistemas abaixo de 7B parâmetros.
- FLORES-200: O DIETA+allsynth praticamente iguala o NLLB-3.3B em pontuações COMET, apesar de ter um sexto dos parâmetros.
Impacto dos Dados: Os dados de retrotradução sintética proporcionaram ganhos claros. O DIETA+BT adicionou de +1 a +3 BLEU sobre o baseline de apenas paralelo, e o treinamento contínuo (DIETA+cont, DIETA+allsynth) adicionou novas melhorias sem aumentar o tamanho do modelo.
Direcionalidade: A direção IT→EN geralmente performou melhor (2–12 BLEU superior) devido aos dados mais ricos no lado do alvo, embora essa lacuna tenha diminuído com a introdução de dados sintéticos em italiano. O WikiNews-25 foi um outlier onde EN→IT foi ligeiramente mais fácil.

Significância e Contribuições

O artigo afirma que a escala de dados e o treinamento específico para a tarefa podem compensar uma redução significativa nos parâmetros do modelo. As principais contribuições são:

Modelo DIETA: Um Transformer decoder-only especializado, de código aberto, com 0,5 bilhão de parâmetros que entrega uma tradução robusta e de alta qualidade entre italiano e inglês, cabendo em uma única GPU de consumo enquanto permanece competitivo com LLMs muito maiores.
Corpus Curado: O lançamento de um corpus paralelo de larga escala e cuidadosamente curado (207M de pares) e um corpus sintético (352M de pares) derivado de diversas fontes.
WikiNews-25: Um novo conjunto de avaliação baseado em artigos de notícias de 2025 para facilitar o benchmarking em conteúdo contemporâneo com correção humana.
Eficiência: Demonstrar que um modelo pequeno e especializado pode alcançar desempenho comparável a modelos de propósito geral maiores, sugerindo que ganhos futuros podem residir na ajuste de estimativa de qualidade sem referência (QE tuning) em vez de simplesmente aumentar o tamanho do modelo.

Os autores concluem que, embora uma lacuna de desempenho permaneça nas métricas de QE sem referência em comparação com modelos de 9B de última geração, a família DIETA oferece uma solução altamente eficiente para tarefas de tradução especializadas, com trabalhos futuros planejados para abordar a lacuna de QE via fine-tuning e para permitir a implantação em dispositivos de borda (edge) através de quantização.