KD4MT: A Survey of Knowledge Distillation for Machine Translation

Titel: KD4MT: Een Survey van Kennisdistillatie voor Machinevertaling

Auteurs: Ona de Gibert, Joseph Attieh, Timothee Mickus, Yves Scherrer, Jörg Tiedemann (Universiteit van Helsinki en Universiteit van Oslo).
Datum: Januari 2026 (Pre-print).

---

1. Het Probleem

In de afgelopen jaren hebben Large Language Models (LLMs) en Neural Machine Translation (NMT) systemen een sterke groei doorgemaakt in grootte en complexiteit, vaak ten koste van computationele efficiëntie en milieueffecten. Hoewel Kennisdistillatie (Knowledge Distillation - KD) oorspronkelijk werd geïntroduceerd als een compressietechniek om grote "leraar"-modellen te reduceren tot kleinere "student"-modellen, biedt Machine Vertaling (MT) een nuanceerder perspectief.

In de context van MT wordt KD niet alleen gebruikt voor compressie, maar ook als een veelzijdig mechanisme voor kennisoverdracht dat de supervisie, vertaalkwaliteit en efficiëntie beïnvloedt. Een belangrijk inzicht uit deze survey is dat in bijna de helft van de onderzochte werken de leraar en de student evenveel parameters hebben. Dit suggereert dat KD in MT vaak niet primair wordt ingezet voor efficiëntie, maar voor andere doelen zoals het aanpassen aan specifieke domeinen, het compenseren van gebrek aan data, of het mogelijk maken van specifieke decoding-strategieën.

Er bestaat echter geen uniforme evaluatiepraktijk, en er zijn significante kennisgaten over welke methoden het beste werken in welke scenario's.

2. Methodologie

De auteurs hebben een uitgebreide survey uitgevoerd van 105 papers (gepubliceerd tot 1 oktober 2025) die zich richten op kennisdistillatie in de machinevertaling. De analyse is gestructureerd in drie hoofdonderdelen:

1. Fundamenten: Een introductie van MT en de basisprincipes van KD voor niet-experts.
2. Algoritmen: Een classificatie van KD-methoden op basis van hoe de supervisie wordt geëngineerd.
3. Toepassingen: Een overzicht van specifieke gebruiksscenario's in MT.

De survey analyseert de literatuur kwalitatief en kwantitatief, waarbij ze een openbare database en een glossarium hebben samengesteld om de kenmerken van de onderzochte methoden te documenteren.

Kernconcepten van KD in MT:

De survey onderscheidt drie hoofdklassen van KD-methoden:

• Response-based KD: Overdracht van kennis via de uiteindelijke voorspellingen.
  • Word-Level KD (Soft/Online): De student leert de waarschijnlijkheidsverdeling van de leraar per token na te bootsen (minimiseren van KL-divergentie).
  • Sequence-Level KD (Hard/Offline): De student leert op synthetische data gegenereerd door de leraar (vaak via beam search), wat fungeert als data-augmentatie.
• Feature-based KD: Overdracht van kennis via tussenliggende representaties (hidden states, attention maps) van de leraar.
• Reframing Supervision: Methoden die afwijken van standaard training, vaak met inspiratie uit Reinforcement Learning (RL) om problemen zoals exposure bias (verschil tussen training en inferentie) en capacity gap (grootteverschil) aan te pakken.

3. Belangrijkste Bijdragen en Bevindingen

A. Methodologische Innovaties (Hoe supervisie wordt geselecteerd en uitgebreid)

De survey identificeert drie dimensies waarin de supervisie wordt geoptimaliseerd:

1. Selectie van Supervisie: In plaats van alle tokens of zinnen te gebruiken, filteren moderne methoden onzeker of onnauwkeurige informatie.
   • Token-niveau: Filteren op basis van moeilijkheidsgraad of alleen de top-1 voorspellingen gebruiken.
   • Zin-niveau: Het genereren van meerdere hypotheses door de leraar en het selecteren van de beste, of het vervangen van slechte synthetische zinnen door gouden referenties.
2. Uitbreiding van Supervisie:
   • Multi-Teacher Distillation: Het combineren van signalen van meerdere leraren of het gebruik van architecturale diversiteit binnen één leraar.
   • Proxy Tasks: Het gebruik van extra taken (zoals masked language modeling) om rijkere taalkundige kennis over te dragen.
   • LLMs: Het gebruik van Large Language Models als externe kennisbronnen, synthetische datageneratoren of voor het diagnosticeren van fouten.
3. Herschikking van Supervisie: Het overwinnen van het exposure bias-probleem door on-policy training (waar de student leert van zijn eigen voorspellingen) en het gebruik van symmetrische divergentie-maatstaven in plaats van asymmetrische KL-divergentie.

B. Toepassingen in Machine Vertaling

De survey categoriseert de toepassing van KD in vier domeinen:

1. Meertalige MT (Multilingual MT): KD wordt gebruikt om de "vloek van meertaligheid" (curse of multilinguality) te bestrijden, waarbij een enkel model kwaliteit verliest naarmate het meer talen leert. Door sterke tweetalige leraren te distilleren naar één meertalige student, kan dit worden opgelost.
2. Vertaling met weinig bronnen (Low-Resource MT): Wanneer parallelle data ontbreekt, wordt KD gebruikt om signalen te halen uit monolinguale data, via pivot-talen, of door pre-getrainde taalmodellen als leraar te gebruiken.
3. Domeinadaptatie: KD helpt bij het voorkomen van "catastrophic forgetting" (het vergeten van algemene kennis bij het aanpassen aan een specifiek domein) door algemene en domeinspecifieke kennis te scheiden en te distilleren.
4. Tijdsgevoelige toepassingen:
   • Simultane vertaling (SiMT): KD helpt bij het voorspellen van toekomstige tokens om coherentie te verbeteren.
   • Niet-autoregressieve vertaling (NAT): KD is cruciaal voor NAT-modellen omdat het de trainingsdata vereenvoudigt (minder variatie, deterministischer), wat nodig is voor parallelle generatie.

C. Risico's en Nieuwe Inzichten

• Regularisatie vs. Compressie: Een groot deel van de literatuur gebruikt KD vooral als een regularisatietechniek om de complexiteit van de dataset te verminderen (mode reduction), in plaats van puur voor compressie.
• Negatieve Effecten: Deze regularisatie kan leiden tot:
  • Verhoogde hallucinatie (het model genereert plausibele maar onjuiste inhoud).
  • Versterking van vooroordelen (bias amplification), omdat het model neigt naar de meest voorspelbare patronen.
  • Slechtere prestaties op zeldzame woorden.
• Rol van LLMs: LLMs worden steeds vaker gebruikt als datageneratoren of supervisors, maar er is nog weinig onderzoek naar het distilleren van LLMs specifiek voor MT-taken, voornamelijk vanwege kosten en interpretatieproblemen.

4. Resultaten en Trends

• Dominantie van Seq-KD: Sequence-Level KD (Seq-KD) is veruit de populairste methode, vooral in toepassingen voor Low-Resource MT en NAT. Word-Level KD (Word-KD) is populairder geworden in recente jaren, terwijl Feature-based KD nog marginaal blijft in de MT-literatuur, ondanks potentieel.
• Evaluatieproblemen: Er is een gebrek aan gestandaardiseerde evaluatie. De meeste werken gebruiken alleen BLEU, terwijl modernere metrics zoals COMET en ChrF beter correleren met menselijke beoordeling.
• Engels-centrisch: Meer dan 80% van de onderzochte werken richt zich op vertalingen met het Engels als bron- of doeltaal. Er is een duidelijke ondervertegenwoordiging van niet-Engelse talenparen.
• Compressie is niet het enige doel: Zoals aangetoond in Figuur 1 van het artikel, gebruiken ongeveer 50% van de studies een compressieverhouding van 1:1 (leraar en student even groot), wat aantoont dat KD in MT vaak dient voor kwaliteitsverbetering of domeinaanpassing in plaats van schaalreductie.

5. Betekenis en Conclusie

Deze survey is een mijlpaal omdat het de perceptie van KD in Machine Vertaling herdefinieert: van een louter compressietool naar een fundamenteel mechanisme voor het vormgeven van supervisie en het beheersen van data-entropie.

Kernboodschappen voor de gemeenschap:

1. Unificatie: Er is behoefte aan een meer verenigd perspectief op KD-toepassingen, aangezien technieken voor meertaligheid en domeinadaptatie vaak overlappen.
2. Veiligheid en Diversiteit: Onderzoek moet zich meer richten op de risico's van hallucinatie, bias en het verlies van zeldzame woorden door de regularisatie-effecten van KD.
3. Betere Evaluatie: De gemeenschap moet overstappen op robuustere evaluatiemetrics (COMET, ChrF) en rapporteren over zeldzame woorden en hallucinaties, niet alleen op aggregate BLEU-scores.
4. Toekomst met LLMs: Terwijl LLMs de rol van leraar overnemen, is er nood aan onderzoek naar de afweging tussen kwaliteit en kwantiteit van synthetische data en de risico's van data-contaminatie.

De auteurs bieden een openbare database en een glossarium aan om toekomstig onderzoek te ondersteunen en een stap te zetten naar meer reproduceerbaar en vergelijkbaar onderzoek in het veld van KD4MT.