💬 NLP

DIETA: A Decoder-only transformer-based model for Italian-English machine TrAnslation

Dit artikel introduceert DIETA, een decoder-only Transformer-model met 0,5 miljard parameters dat is getraind op een gecureerde Italiaans-Engelse corpus van 207 miljoen zinnen en back-translated data, die concurrerende prestaties behaalt op benchmarks en vergezeld gaat van de publieke release van de trainingsscripts, modellen, data en een nieuwe evaluatieset.

Oorspronkelijke auteurs: Pranav Kasela, Marco Braga, Alessandro Ghiotto, Andrea Pilzer, Marco Viviani, Alessandro Raganato

Gepubliceerd 2026-01-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Pranav Kasela, Marco Braga, Alessandro Ghiotto, Andrea Pilzer, Marco Viviani, Alessandro Raganato

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een vertaler wilt bouwen die slechts twee talen spreekt: Italiaans en Engels. De meeste grote technologiebedrijven bouwen "universele vertalers" die proberen 100 talen tegelijk te spreken. Dit zijn als enorme, zware rugzakken gevuld met elk woordenboek ter wereld. Ze zijn krachtig, maar ze zijn ook enorm groot, duur in gebruik en soms raken ze in de war omdat ze te veel dingen tegelijk proberen te onthouden.

De auteurs van dit artikel besloten iets anders te bouwen: een gespecialiseerde, lichtgewicht vertaler genaamd DIETA.

Hier is het verhaal van hoe ze het gebouwd hebben, met behulp van eenvoudige analogieën:

1. Het Doel: Een Gespecialiseerde Atleet, Geen Marathonloper

In plaats van een gigantisch model te trainen om elke taal te spreken (zoals een marathonloper die probeert alle afstanden te lopen), trainde het team een klein model van 0,5 miljard parameters om de absolute beste te zijn in alleen Italiaans en Engels.

De Metafoor: Zie DIETA als een sprinter. Het hoeft niet de last van 100 talen te dragen; het hoeft alleen maar ongelooflijk snel en nauwkeurig te zijn op de Italiaans-Engelse atletiekbaan.

2. De Trainingsdata: De "Sportschool"

Om ergens goed in te worden, heb je oefening nodig. Het team gebruikte niet zomaar een paar tekstboeken; ze bouwden een enorme sportschool met 768 miljoen oefenzinnen.

Het Echte Werk: Ze verzamelden ongeveer 207 miljoen echte zinsparen uit bronnen zoals parlementaire verslagen, juridische documenten, nieuws, films (ondertiteling) en boeken.
De "Ghost" Oefening (Back-Translation): Omdat ze nog meer oefening nodig hadden, gebruikten ze een slimme truc genaamd "back-translation". Stel je voor dat je een Italiaans nieuwsartikel neemt, dit met een computer naar het Engels vertaalt, en de computer vervolgens weer van het Engels naar het Italiaans laat vertalen. Dit creëert een nieuwe "synthetische" oefenpaar. Ze deden dit miljoenen keren om een enorme bibliotheek van 352 miljoen extra zinnen te creëren.
Het Resultaat: Het model oefende op een mix van echt menselijk schrijven en deze enorme hoeveelheid door de computer gegenereerde oefendata.

3. De Nieuwe Test: Het "Vers Nieuws" Examen

Normaal gesproken worden vertaalmodellen getest op oude, statische data. De auteurs realiseerden zich dat dit je niet vertelt of een model ook de actualiteit van vandaag aankan.

De Innovatie: Ze creëerden een nieuwe testset genaamd WikiNews-25, gebaseerd op artikelen uit 2025.
De Addertje onder het gras: Ze gebruikten niet zomaar welke zinnen dan ook. Ze namen vertalingen gemaakt door Google, zochanden de vertalingen die fout waren, en lieten mensen deze corrigeren. Dit creëerde een "gouden standaard" examen dat specifelijk is ontworpen om te testen hoe goed een model omgaat met actueel, echt nieuws.

4. De Resultaten: Boven Haar Gewicht Presteren

Ze zetten DIETA in een race tegen 32 andere vertalers, variërend van kleine modellen tot enorme modellen met 9 miljard parameters (zoals de eerder genoemde zware rugzakken).

De Prestatie: Hoewel DIETA pieklein is (slechts 0,5 miljard parameters), eindigde het consistent in de op één na beste groep (het tweede kwartiel).
De Vergelijking: Het versloeg bijna alle andere modellen die kleiner zijn dan 3 miljard parameters. Sterker nog, op vier van de vijf verschillende tests presteerde het beter dan bijna alle andere kleine modellen.
De Trade-off: Het was niet helemaal zo perfect als de gigantische 9-miljard-parameter modellen (de "superatleten"), maar het kwam er ongelooflijk dichtbij. Het belangrijkste gebied waar de reuzen nog steeds wonnen, was in "reference-free" scoring (het inschatten van kwaliteit zonder een perfect antwoordmodel), maar voor de rest hield DIETA stand.

5. Waarom Dit Belangrijk Is

Het artikel beweert dat je niet altijd een enorme, dure supercomputer nodig hebt om geweldige vertaalresultaten te krijgen.

De Les: Als je je trainingsdata specifiek richt op twee talen en een grote hoeveelheid slimme, synthetische oefendata gebruikt, kan een klein, lichtgewicht model een taak uitvoeren die normaal gesproken een veel groter, zwaarder model vereist.
Toegankelijkheid: Omdat DIETA zo klein is, kan het draaien op een enkele consumenten-grafische kaart (zoals een high-end gaming pc), terwijl de gigantische modellen enorme datacentra vereisen.

Samenvatting

De auteurs bouwden DIETA, een kleine, gespecialiseerde vertaler voor Italiaans en Engels. Ze trainden het op een enorme mix van echte documenten en door de computer gegenereerde oefenzinnen. Ze testten het op een gloednieuwe, 2025 nieuwsdataset. Het resultaat? Een klein model dat bijna net zo goed presteert als de reuzen, wat bewijst dat gespecialiseerde training en slimme data kunnen winnen van ruwe grootte.

Ze hebben het model, de trainingsdata en de nieuwe testset beschikbaar gesteld voor iedereen, zodat anderen hiervan kunnen leren en er nog betere tools mee kunnen bouwen.

Technische Samenvatting: DIETA – Een Decoder-only Transformer voor Italiaans–Engelse Machinevertaling

Probleemstelling

Ondanks de vooruitgang van Transformer-gebaseerde Large Language Models (LLM's) in Natural Language Processing, blijft hoogwaardige neurale machinevertaling (MT) voor specifieke taalparen, met name Italiaans–Engels, een openstaande uitdaging. Algemene meertalige systemen geven vaak prioriteit aan brede taaldekking boven gespecialiseerde vertaalkwaliteit, wat ruimte laat voor verbetering in gerichte paren. Bovendien brengen massieve meertalige modellen hoge computationele kosten met zich mee en kunnen ze lijden onder representatieve competitie tussen honderden talen, waardoor ze mogelijk minder presteren op specifieke richtingen zoals Engels–Italiaans vergeleken met kleinere, gespecialiseerde modellen.

Methodologie

Dataverzameling en Curatie

De auteurs hebben een massale trainingscorpus samengesteld bestaande uit ongeveer 768 miljoen bron–doel voorbeelden, afkomstig van drie primaire bronnen:

Parallelle Corpora: Ongeveer 207,8 miljoen hoogwaardige zinparen zijn gecureerd uit publieke bronnen in de OPUS-repository, inclusief Europarl, DGT-TM, ParaCrawl, OpenSubtitles, WikiMatrix en juridische teksten.
- Cleaning: Duplicaten werden verwijderd met behulp van OpusTools/OpusFilter. De resterende paren ondergingen kwaliteitsfiltering met de Phi-4 LLM met een binaire prompt om de vertaalequivalentie te verifiëren, waarbij niet-overeenkomende paren werden weggegooid.
- Formattering: Paren werden gedupliceerd met expliciete richtingstags (bijv. ENG: ... IT: ...) om bidirectionele training te ondersteunen.
Synthetische Data (Back-Translation): Om de corpus aan te vullen, genereerden de auteurs 352 miljoen synthetische zinparen via back-translation:
- NewsCrawl: Italiaanse (2008–2018) en Engelse (2023) artikelen werden vertaald met behulp van OPUS-MT-TC-BIG; nieuwere segmenten (2019–2024) gebruikten NLLB-200-3.3B.
- FineWeb: 108,5 miljoen Italiaanse en 100 miljoen Engelse zinnen werden vertaald met het meertalige GemmaX2-28-9B-v0.1 model.
- Alle synthetische vertalingen werden gegenereerd met de CTranslate2 toolkit in greedy decoding modus.

Modelarchitectuur

DIETA is een decoder-only Transformer model met 0,5 miljard parameters, specifiek ontworpen voor bidirectionele Italiaans–Engelse vertaling.

Layers: 6 identieke lagen met een post-norm configuratie.
Dimensies: Verborgen dimensie van 2.048 en 32 attention heads.
Feed-Forward: Gebruikt squared-ReLU activatie met een 4x expansiefactor.
Embeddings: Rotary embeddings voor token posities.
Optimalisaties: Bevat residual attention accumulatie en query-key normalisatie.
Tokenizer: Maakt gebruik van een 51.200-entry SentencePiece vocabulaire uit de Minerva familie, getraind op een gebalanceerde corpus van hoogwaardig Italiaans en Engels om de sub-word segmentatie voor deze specifieke talen te optimaliseren.

Trainingsstrategie

Modellen werden getraind met het x-Transformers framework met de Lion optimizer (leersnelheid $2 \times 10^{-4}$ ) over een enkele epoch met een lineaire decay schedule na een 10% warm-up. Vijf modelvarianten zijn uitgebracht om de impact van de datasamenstelling te analyseren:

DIETA: Getraind vanaf scratch op de gefilterde parallelle corpus (415,7M paren).
DIETA+BT: Getraind op parallelle corpus + NewsCrawl back-translations.
DIETA+cont: Voortgezette training van DIETA voor een tweede epoch op de gemengde parallel + NewsCrawl data.
DIETA+nosynth: Voortgezette training van DIETA voor een tweede epoch op parallel data alleen.
DIETA+allsynth: Voortgezette training van DIETA+cont voor een derde epoch op de volledige corpus (Parallel + NewsCrawl + FineWeb), totaal 768M paren.

Evaluatie

De modellen werden geëvalueerd tegen 15+ baselines (inclusief NLLB-200, OPUS-MT, Minerva, LLaMAntino, Gemma-2, en Tower) over vijf benchmarks:

Standaard Benchmarks: NTREX-128, Tatoeba, WMT-24pp, en FLORES-200.
Nieuwe Benchmark: WikiNews-25, een 450-zinnen testset gebaseerd op 2025 WikiNews artikelen, met menselijke post-edited vertalingen om prestaties op hedendaagse tekst te beoordelen.
Metrics: Een uitgebreide suite inclusief surface overlap (sacreBLEU, chrF), neurale referentie-gebaseerde (BLEURT, MetricX-24, COMET), en referentie-vrije kwaliteitsschatting (QE MetricX, COMETKiwi).

Belangrijkste Resultaten

Prestatie vs. Grootte: DIETA rangschikt consequent in het tweede kwartiel van een 32-systeem leaderboard. Het presteert beter dan de meeste sub-3B modellen op vier van de vijf testsuites en evenaart of overtreft modellen die 2–3 keer groter zijn (bijv. 1–3B parameter modellen) in veel metrieken.
Specifieke Benchmarks:
- NTREX-128: DIETA+cont bereikt competitieve BLEU (36/43) en COMET (0,85/0,87) scores, concurrerend met NLLB-1.3B en OPUS-MT-big.
- Tatoeba: DIETA+cont scoort 58/70 BLEU, waarmee het alle concurrenten onder de 3B parameters overtreft en slechts een kleine marge achterblijft bij de grootste modellen (Gemma-9B, PhiMaestra-3).
- WMT-24pp & WikiNews-25: Het model levert mid-table prestaties die competitief zijn met 7B systemen, met name op recente nieuwsdata (WikiNews-25), waar het systemen onder de 7B parameters evenaart of overtreft.
- FLORES-200: DIETA+allsynth evenaart vrijwel NLLB-3.3B in COMET scores, ondanks dat het slechts een zesde van de parameters heeft.
Data Impact: Synthetische back-translation data zorgde voor duidelijke winst. DIETA+BT voegde +1 tot +3 BLEU toe aan de parallel-only baseline, en voortgezette training (DIETA+cont, DIETA+allsynth) leverde verdere verbeteringen op zonder de modelgrootte te vergroten.
Directionaliteit: De IT→EN richting presteerde over het algemeen beter (2–12 BLEU hoger) vanwege rijkere target-zijde data, hoewel deze kloof kleiner werd door de introductie van synthetische Italiaanse data. WikiNews-25 was een uitschieter waar EN→IT iets gemakkelijker was.

Betekenis en Bijdragen

Het paper stelt dat data schaal en taakspecifieke training een significante reductie in modelparameters kunnen compenseren. De primaire bijdragen zijn:

DIETA Model: Een gespecialiseerd, open-source, 0,5B-parameter decoder-only Transformer die robuuste, hoogwaardige Italiaans–Engelse vertaling levert, past op een enkele consumenten GPU terwijl het competitief blijft met veel grotere LLM's.
Gecureerde Corpus: De release van een grootschalige, zorgvuldig gecureerde parallelle corpus (207M paren) en een synthetische corpus (352M paren) afgeleid van diverse bronnen.
WikiNews-25: Een nieuwe evaluatieset gebaseerd op 2025 nieuwsartikelen om benchmarking op hedendaagse, menselijk gecorrigeerde content te faciliteren.
Efficiëntie: Het demonstreren dat een klein, gespecialiseerd model prestaties kan bereiken die vergelijkbaar zijn met grotere algemene modellen, wat suggereert dat toekomstige winsten mogelijk liggen in referentie-vrije kwaliteitsschatting (QE) tuning in plaats van simpelweg het vergroten van de modelgrootte.

De auteurs concluderen dat hoewel er een prestatiekloof blijft bestaan in referentie-vrije QE metrieken vergeleken met 9B state-of-the-art modellen, de DIETA-familie een zeer efficiënte oplossing biedt voor gespecialiseerde vertalingstaken, waarbij toekomstig werk gepland is om de QE-kloof aan te pakken via fine-tuning en om edge-deployment mogelijk te maken via kwantisatie.