Technische Samenvatting: MTQE.en-he

Probleemstelling

Machine Translation Quality Estimation (MTQE) is een cruciaal onderdeel van MT-pipelines, waarbij systemen kwalitatief hoogwaardige outputs kunnen accepteren en kwalitatief lage outputs kunnen markeren voor menselijke beoordeling. Hoewel MTQE uitgebreid is bestudeerd voor talen met veel middelen (high-resource), vormt Hebreeuws specifieke uitdagingen. Het wordt geclassificeerd als een taal met gemiddelde middelen (mid-resource) met aanzienlijk minder geannoteerde bronnen dan het Engels. Bovendien creëert de rijke morfologie van het Hebreeuws omstandigheden die vergelijkbaar zijn met leren met weinig middelen (low-resource learning), wat effectieve vertaling en kwaliteitsinschatting bemoeilijkt. Voorafgaand aan dit werk was er geen publiekelijk beschikbare benchmark specifiek voor Engels-naar-Hebreeuws MTQE, ondanks het bestaan van Hebreeuws-naar-Engels testsets in WMT shared tasks.

Methodologie

Dataset Constructie (MTQE.en-he)

De auteurs introduceren MTQE.en-he, de eerste publiekelijk beschikbare benchmark voor Engels-Hebreeuws MTQE.

• Bron: De dataset bestaat uit 959 Engelse segmenten afkomstig uit de WMT24++ corpus, verdeeld over vier domeinen: literair, nieuws, sociaal en spraak.
• Vertaling: Hebreeuwse vertalingen werden gegenereerd met behulp van Google Translate.
• Annotatie: Drie menselijke experts met een niveau van beheersing op moedertaalniveau in beide talen en uitgebreide ervaring in vertaalworkflows hebben de segmenten geannoteerd.
• Scoring: Annotaties werden uitgevoerd met behulp van Direct Assessment (DA) op een schaal van 0 tot 100, volgens de standaard WMT QE-richtlijnen. De grondwaarheid voor evaluatie is het gemiddelde van de scores van de drie annotatoren.
• Statistieken: De dataset vertoont een hoge scoreverdeling (73% van de segmenten scoort 70 of hoger) en korte segmentlengtes (59% onder de 30 woorden). De inter-annotator overeenstemming (Pearson-correlatie van één annotator versus het gemiddelde van de anderen) bedroeg gemiddeld 0,5337.

Baseline Benchmarks

Het artikel evalueert drie verschillende benaderingen op de volledige dataset:

1. ChatGPT Prompting: Twee promptingstrategieën werden getest: "freestyle" (open oordeel) en "guidelines" (inclusief volledige annotatie-instructies).
2. TransQuest: Twee versies werden geëvalueerd: een meertalig (any-to-any) model en een Engels-naar-alles (en-any) model.
3. CometKiwi: Een model dat in staat is tot gelijktijdige kwaliteitsvoorspelling op zinsniveau en woordniveau.

Fine-Tuning Experimenten

De dataset werd verdeeld in trainings (300), validatie (100) en test-segmenten (559) met behulp van gestratificeerde steekproeftrekking om de scoreverdeling te behouden. De auteurs hebben TransQuest en CometKiwi fine-getuned voor 50 stappen (5 epochs) met behulp van vier methoden:

• Full Fine-Tuning (FullFT): Het bijwerken van alle modelparameters.
• LoRA (Low-Rank Adaptation): Het bevriezen van het basismodel en het leren van low-rank updates voor de attention- en feed-forward lagen.
• BitFit: Alleen de bias-termen en de head classifier laag fine-tunen (ongeveer 0,2% van de parameters).
• FTHead: Alleen de classificatiekop (head) fine-tunen.

Alle methoden gebruikten identieke hyperparameters (batchgrootte 32, leersnelheid 3e-5, 10% warmup met lineaire decay).

Ensembling

De auteurs testten ook een ensemble-aanpak door de voorspelde scores van de modellen te middelen. Ze selecteerden de "freestyle" ChatGPT-prompt voor het ensemble op basis van Occam's Razor (de voorkeur voor eenvoudigere oplossingen).

Belangrijkste Resultaten

Baseline Prestaties

Op de volledige dataset (n=959) kwam CometKiwi als de sterkste enkele baseline naar voren met een Pearson-correlatie van 0,4828 en een Spearman van 0,5456. TransQuest (en-any) volgde met een Pearson van 0,4327, terwijl ChatGPT (freestyle) een Pearson van 0,4266 behaalde.

• Beperkingen: Zowel TransQuest als CometKiwi faalden in het voorspellen van scores van 0,91 of hoger, zelfs wanneer de grondwaarheidsscores in het "uitstekende of perfecte" bereik lagen (31% van de dataset). ChatGPT vertoonde een neiging om specifieke scores te herhalen, wat horizontale banden in scatterplots creëerde.

Verbeteringen door Ensembling

Het ensembelen van de drie modellen (ChatGPT-freestyle, TransQuest en CometKiwi) leverde de beste prestaties van een enkel model op, waarbij het de beste individuele baseline (CometKiwi) versloeg met 6,4 procentpunt in Pearson (0,5472 vs. 0,4828) en 5,6 procentpunt in Spearman (0,6014 vs. 0,5456).

Fine-Tuning Resultaten

• Full Fine-Tuning: FullFT slaagde er niet in om TransQuest te verbeteren en verslechterde de prestaties van CometKiwi met 2–3 procentpunt. Analyse onthulde tekenen van overfitting en distributie-instorting (waarbij de outputdistributie van het model inconsistent of vlak werd).
• Parameter-efficiënte Methoden: LoRA, BitFit en FTHead verbeterden zowel TransQuest als CometKiwi succesvol met 2–3 procentpunt in zowel Pearson als Spearman correlaties op de testset.
  • CometKiwi + LoRA: Bereikte 0,4670 Pearson (omhoog van 0,4495).
  • TransQuest + LoRA: Bereikte 0,4445 Pearson (omhoog van 0,4205).
• Stabiliteit: In tegen tegenstelling tot FullFT vertoonden parameter-efficiënte methoden stabiele leercurves en bescheiden, consistente verschuivingen in de distributie.

Betekenis en Claims

Het artikel claimt drie primaire nieuwheidspunten:

1. Eerste Publieke Dataset: Het is de eerste publiekelijk vrijgegeven dataset voor Engels-Hebreeuws MTQE, waarmee een gat in de middelen voor dit taalpaar met gemiddelde middelen wordt gedicht.
2. Benchmarking van Nieuwe Paradigma's: Het vestigt baselines met behulp van ChatGPT-prompting en model-ensembling voor dit specifieke taalpaar.
3. Parameter-efficiënte Fine-Tuning: Het demonstreert dat voor deze scenario's met beperkte middelen, volledige modelupdates gevoelig zijn voor overfitting, terwijl parameter-efficiënte methoden (LoRA, BitFit, FTHead) stabiel trainen en meetbare verbeteringen opleveren.

De auteurs positioneren MTQE.en-he als een instrument om toekomstig onderzoek naar systemen voor talen met weinig middelen mogelijk te maken. Ze vermelden expliciet beperkingen, waaronder het gebruik van een enkele vertaalmachine (Google Translate), de afhankelijkheid van DA-scores in plaats van de superieure MQM-metrieken vanwege budgetbeperkingen, en de bescheiden omvang van de dataset die het aantal scores met lage waarden beperkt. Het werk is bedoeld om verder onderzoek naar synthetische datageneratie, cross-linguale transfer en kalibratie te inspireren om de kwaliteit van voorspellingen voor Engels-Hebreeuws en soortgelijke taalparen te verbeteren.