Large Language Models as Annotators for Machine Translation Quality Estimation

Dit paper introduceert een kostenefficiënte aanpak waarbij GPT-4o wordt gebruikt om MQM-annotaties te genereren voor het trainen van een COMET-model, wat resulteert in concurrerende prestaties voor segmentniveau-kwaliteitsschatting van machinevertalingen tussen Chinees-Engels en Engels-Duits.

De kern

Hier is een uitleg van het onderzoek, vertaald naar gewoon Nederlands, met behulp van een paar creatieve vergelijkingen om het begrijpelijk te maken.

De Grote Idee: Een Slimme "Taal-Coach" die Leerlingen Opleidt

Stel je voor dat je een supersterke, maar dure taalcoach hebt (deze heet een "Large Language Model" of LLM, zoals GPT-4). Deze coach kan elke vertaling in de wereld perfect beoordelen en precies vertellen wat er mis is. Hij is echter zo duur om te huren dat je hem niet kunt gebruiken om elke vertaling die gemaakt wordt, direct te controleren. Dat zou je bankrekening leegmaken.

Aan de andere kant heb je een snelle, goedkope robot-assistent (zoals een COMET-model). Deze assistent is snel en goedkoop, maar hij is nog niet zo slim. Hij moet nog leren hoe hij vertalingen moet beoordelen.

Het probleem: Om de robot-assistent slim te maken, heb je duizenden voorbeelden nodig van hoe een mens een vertaling beoordeelt. Maar menselijke beoordelaars zijn traag, duur en soms niet eens met elkaar eens.

De oplossing uit dit paper:
De onderzoekers hebben een slimme truc bedacht. Ze laten de duure taalcoach (de LLM) niet direct de vertalingen beoordelen voor de eindgebruiker. In plaats daarvan gebruiken ze de coach om een opleidingsboekje te schrijven voor de robot-assistent.

Hoe werkt de truc? (De "PPbMQM" Methode)

Stel je voor dat de taalcoach een beetje te streng is. Als hij een vertaling ziet, zegt hij: "Oh, hier staat een komma op de verkeerde plek, dat is een ramp! En hier is een woordje te weinig, dat is ook een ramp!" Hij ziet overal fouten, zelfs in dingen die voor een mens prima lijken.

De onderzoekers hebben een nieuwe manier bedacht om de coach te instrueren, genaamd PPbMQM. Dit is als een speciale handleiding die ze aan de coach geven.

1. De Handleiding (De Prompt): Ze zeggen tegen de coach: "Je bent een professionele vertaler. Kijk niet naar elke kleine kras op de auto, maar focus op de grote schade. Gebruik een schaal van 1 tot 5 om de ernst van een fout te bepalen."
2. De Filter: Omdat de coach soms te veel fouten ziet, zeggen ze: "Als je een fout ziet die maar een '3' is op onze ernst-schaal, negeer die dan maar. Focus alleen op de '4' en '5' (de grote fouten)."
3. Het Resultaat: De coach schrijft nu duizenden voorbeelden op in een speciaal formaat (een soort "foutenlijstje"). Deze lijstjes zijn niet perfect, maar ze zijn consistent.

Wat gebeurde er toen ze dit deden?

Ze gaven deze door de coach geschreven "opleidingsboeken" aan de robot-assistent (het COMET-model).

• Vroeger: De robot leerde van menselijke beoordelaars. Mensen zijn echter soms moe, of ze zijn het oneens over of een foutje nu "erg" of "niet erg" is.
• Nu: De robot leerde van de consistente lijstjes van de coach. Omdat de coach altijd op dezelfde manier denkt (zelfs als hij streng is), leerde de robot heel snel en duidelijk.

Het verrassende resultaat:
De robot-assistent die leerde van de coach, werd net zo goed (en soms zelfs beter bij slechte vertalingen) als de robot die leerde van echte mensen.

Waarom is dit belangrijk?

1. Snelheid en Kosten: Je hoeft geen duizenden mensen te betalen om vertalingen te beoordelen. Je gebruikt de AI om de AI te leren.
2. Betrouwbaarheid: Mensen zijn soms wisselvallig in hun oordeel. De AI is altijd consequent.
3. Toekomst: Dit werkt nu goed voor Chinees-Engels en Duits-Engels. Maar de methode kan gebruikt worden voor talen waar we nog geen goede beoordelingsdata voor hebben.

Samenvattend in één zin:

De onderzoekers hebben een dure, super-slimme AI gebruikt om een "opleidingscursus" te schrijven voor een goedkope, snelle AI, zodat die snelle AI net zo goed kan oordelen over vertalingen als een mens, zonder dat je duizenden mensen hoeft te betalen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Large Language Models as Annotators for Machine Translation Quality Estimation" in het Nederlands.

Probleemstelling

Hoewel Large Language Models (LLMs) uitstekende prestaties leveren op het gebied van Machine Translation Quality Estimation (MTQE), zijn ze vaak te duur en te traag voor directe toepassing als evaluatiemeta (inference costs). Bestaande methoden, zoals het direct vragen aan een LLM om een Direct Assessment (DA) score of een complexe Multidimensional Quality Metric (MQM) annotatie, hebben beperkingen:

• Kosten: Het gebruik van LLMs voor elke evaluatie is onpraktisch bij grote datasets.
• Complexiteit: Volledige MQM-annotaties (met specifieke fouttypes en ernstgraden) zijn moeilijk te operationaliseren en vereisen veel context.
• Inconsistentie: LLMs neigen ertoe om te kritisch te zijn en fouten te hallucineren of onnauwkeurig te labelen, wat de correlatie met menselijke beoordelingen verlaagt.

Het doel van dit onderzoek is een methode te ontwikkelen om LLMs te gebruiken voor het genereren van synthetische trainingsdata, waarmee goedkopere, geleerde QE-modellen (zoals COMET) getraind kunnen worden.

Methodologie

De auteurs stellen een systematische aanpak voor, genaamd PPbMQM (Prompt-Pattern-based-MQM), om synthetische MQM-achtige annotaties te genereren. De ontwikkeling verloopt in vier stappen:

1. Kennis testen: Eerst wordt getest hoeveel de LLMs weten over QE en MQM via vragen. GPT-3.5 scoort slecht en wordt verworpen; GPT-4 Turbo, GPT-4o en LLaMA 3 70B presteren beter.
2. Zero-shot prompting: Een initiële prompt wordt ontworpen waarbij de LLMs fungeren als professionele vertalers. Er worden fouten geïdentificeerd met een type (Accuracy, Fluency, etc.) en ernst (Major/Minor).
   • Probleem: De LLMs waren te kritisch (vonden meer fouten dan mensen) en de indexering van tekstspans was inconsistent.
   • Oplossing: Gebruik van NLTK-tokenizers voor indexering en het toepassen van prompt-patronen (Persona, Output Automater, Reflection) voor gestructureerde output.
3. Few-shot prompting (PPbMQM): De prompt wordt verfijnd met voorbeelden (few-shot) om specifieke fouttypes te verduidelijken, met name Omission (weglating) en Fluency (zoals komma-splicing).
   • Belangrijke aanpassing: In plaats van een binair label (Major/Minor), vraagt de prompt om een ernstscore op een schaal van 1 tot 5.
   • Post-processing: Scores 1-2 worden genegeerd, 3 wordt gemapped naar 'Minor', en 4-5 naar 'Major'. Dit helpt om de overmatige kritiek van de LLMs te temperen.
4. Modeltraining: De gegenereerde annotaties worden gebruikt om een COMET-QE model te fine-tunen. Dit wordt getest op twee taalkoppels: Chinees-Engels (zh-en) en Engels-Duits (en-de).

Belangrijkste Bijdragen

• PPbMQM Prompt: Een gestructureerde few-shot prompt die beperkt is tot de hoogste niveaus van de MQM-categorieën (Accuracy, Fluency, Style, Terminology, Locale Convention) plus een specifieke subcategorie voor Omission.
• Ernstschaling: De introductie van een 1-5 schaal voor ernst, gevolgd door een drempelwaarde (thresholding), om de neiging van LLMs om te veel fouten te vinden te corrigeren en de correlatie met menselijke oordelen te verbeteren.
• Synthetische Data voor Training: Het aantonen dat LLM-gegenereerde annotaties effectief kunnen dienen als trainingsdata voor traditionele, snellere QE-modellen, waardoor de afhankelijkheid van dure menselijke annotaties voor nieuwe taalkoppels wordt verminderd.

Resultaten

• Correlatie met Mensen: De synthetische annotaties van GPT-4o correleren sterk met menselijke annotaties. Hoewel LLMs over het algemeen strenger zijn (meer fouten vinden), verbetert de ernstschaling de correlatie aanzienlijk.
• Prestatie van COMET:
  • COMET-modellen getraind op PPbMQM-data presteren op gelijke hoogte met modellen getraind op menselijke data voor zowel zh-en als en-de.
  • Op segmentniveau (Pearson correlatie) behalen de PPbMQM-modellen zelfs hogere scores dan de baseline modellen getraind op menselijke data.
  • Kwaliteitssegmenten: In segmenten met lagere kwaliteit (waar de fouten het grootst zijn), presteren de modellen getraind op synthetische data zelfs beter dan die getraind op menselijke data. Dit wordt toegeschreven aan de hogere consistentie van LLM-annotaties in vergelijking met de vaak lage onderlinge overeenstemming (inter-annotator agreement) tussen menselijke beoordelaars bij complexe MQM-taken.
• Fouttypes: De LLMs waren het meest succesvol in het detecteren van Accuracy-fouten, maar hadden moeite met het onderscheiden van Style en Fluency (zoals komma-splicings), wat leidde tot lagere F1-scores voor deze categorieën.

Betekenis en Conclusie

Dit paper toont aan dat LLMs niet alleen direct als evaluatiemeta kunnen worden gebruikt, maar vooral als krachtige annotatoren om hoogwaardige trainingsdata te genereren voor efficiëntere, geleerde QE-modellen.

• Kostenefficiëntie: Het elimineert de noodzaak om dure menselijke annotaties te verzamelen voor het trainen van QE-modellen op nieuwe of minder gebruikte taalkoppels.
• Consistentie: LLMs bieden een consistentere beoordeling dan menselijke annotators, wat leidt tot robuustere modellen, vooral bij het detecteren van fouten in lage-kwaliteit vertalingen.
• Toekomstperspectief: De methode opent de deur voor het trainen van QE-modellen voor low-resource taalkoppels die momenteel geen MQM-referentieannotaties hebben. De auteurs plannen om deze aanpak uit te breiden naar meer taalkoppels en domeinen.

Kortom, de studie biedt een praktische brug tussen de hoge kwaliteit van LLM-beoordeling en de praktische toepasbaarheid van snelle, lokale QE-modellen.