Large Language Models as Annotators for Machine Translation Quality Estimation

Die Arbeit schlägt vor, Large Language Models zur Generierung von MQM-ähnlichen Annotationen zu nutzen, um damit einen COMET-Modell für die kosteneffiziente Segment-Level-Qualitätsschätzung von Maschineller Übersetzung zu trainieren, wobei ein vereinfachtes MQM-Schema und ein GPT-4o-basierter Prompt (PPbMQM) entwickelt wurden, die zu wettbewerbsfähigen Ergebnissen für Chinesisch-Englisch und Englisch-Deutsch führen.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschung, als würden wir über das Kochen und den Umgang mit einem sehr klugen, aber etwas nervösen Kochassistenten sprechen.

Das große Problem: Der teure Superkoch

Stell dir vor, du hast einen unglaublich talentierten Koch, nennen wir ihn GPT-4o (ein sogenanntes "Large Language Model" oder LLM). Dieser Koch kann jede Sprache der Welt perfekt übersetzen und sofort sagen, ob ein Gericht (eine Übersetzung) gut schmeckt oder ob etwas fehlt.

Das Problem? Dieser Koch ist extrem teuer. Wenn du ihn jeden Tag für jede einzelne Übersetzung anheuern willst, um zu prüfen, ob sie gut ist, kostet das so viel Geld, dass es für niemanden bezahlbar ist. Es ist, als würdest du einen Michelin-Stern-Koch für jeden einzelnen Sandwich bestellen, den du zum Frühstück isst.

Die Lösung: Der Koch als Ausbilder

Die Forscher von der Maastricht University haben eine clevere Idee: Warum den Koch nicht als Lehrer einsetzen?

Anstatt ihn jeden Tag zu bezahlen, um die Arbeit zu erledigen, bitten wir ihn einmal, eine riesige Liste von Übersetzungen zu prüfen und Fehler zu markieren. Er schreibt dabei auf, was falsch ist (z. B. "falsches Wort", "schlechte Grammatik") und wie schlimm der Fehler ist (klein oder katastrophal).

Diese Liste nennt man Annotationen.

Der Trick: Die "Fehler-Skala"

Hier kommt das Spannende: Der Koch ist ein bisschen zu perfektionistisch. Wenn er ein Sandwich sieht, findet er sofort 20 kleine Fehler, die ein normaler Mensch gar nicht bemerkt. Er ist zu kritisch.

Die Forscher haben dem Koch also eine neue Regel gegeben:

1. Vereinfachung: Statt 50 verschiedene Fehlerkategorien zu nutzen, haben sie ihn gebeten, nur auf die wichtigsten zu achten (wie "Inhalt falsch", "Stil schlecht" oder "etwas fehlt").
2. Die Skala: Statt nur "gut" oder "schlecht" zu sagen, hat der Koch eine Skala von 1 bis 5 bekommen.
   • 1 bis 3 sind kleine Kratzer auf dem Teller (ignorierbar).
   • 4 und 5 sind verbrannte Brötchen (wichtig!).

Dadurch hat der Koch gelernt, sich zu konzentrieren. Er markiert weniger Fehler, aber dafür sind die, die er markiert, viel wichtiger.

Das Ergebnis: Ein neuer, günstiger Koch

Jetzt haben die Forscher diese Liste, die der teure Superkoch erstellt hat, benutzt, um einen günstigen, kleinen Koch (ein Computerprogramm namens COMET) zu trainieren.

Stell dir vor, der kleine Koch liest die Notizen des teuren Chefs und lernt daraus: "Aha, wenn das Wort 'Batterie' falsch übersetzt ist, ist das ein großer Fehler. Wenn der Satz nur etwas holprig klingt, ist das okay."

Das Wunder:
Am Ende war dieser kleine, günstige Koch fast genauso gut wie der teure Chef, wenn es darum ging, Übersetzungen zu bewerten. Er konnte genau sagen, welche Sätze gut und welche schlecht waren – und das für riesige Mengen an Text, ohne dass die Kosten explodierten.

Warum ist das wichtig?

Früher brauchte man für das Trainieren solcher Programme echte Menschen, die stundenlang Übersetzungen geprüft haben. Das ist langsam und teuer.
Mit dieser Methode kann man jetzt für fast jede Sprachkombination (z. B. Chinesisch-Deutsch oder Englisch-Chinesisch) einen perfekten Qualitäts-Prüfer bauen, indem man einfach den KI-Koch einmal um Hilfe bittet.

Zusammengefasst in einer Metapher:
Die Forscher haben den teuren KI-Koch nicht als Arbeiter eingesetzt, sondern als Lehrer. Er hat einen billigen Schüler ausgebildet, der nun die ganze Arbeit für uns erledigt, ohne dass wir dafür Millionen ausgeben müssen. Und weil der Lehrer dem Schüler beigebracht hat, auf das Wesentliche zu achten (die "Fehler-Skala"), ist der Schüler sogar besser als erwartet.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Large Language Models as Annotators for Machine Translation Quality Estimation" auf Deutsch:

1. Problemstellung

Die Bewertung der Qualität von maschinellen Übersetzungen (Machine Translation Quality Estimation, MTQE) hat sich stark weiterentwickelt. Während Modelle wie CometKIWI, die auf menschlichen Urteilen feinabgestimmt sind, mittlerweile mit referenzbasierten Metriken mithalten können, bleibt die Erhebung hochwertiger Trainingsdaten teuer und zeitaufwendig.

Große Sprachmodelle (LLMs) wie GPT-4 zeigen zwar beeindruckende Fähigkeiten bei der direkten Bewertung (Direct Assessment) oder der Identifizierung von Fehlern nach dem Multidimensional Quality Metrics (MQM)-Schema, doch ihre hohen Inferenzkosten machen einen direkten Einsatz als Echtzeit-Metriken unpraktisch. Zudem neigen LLMs dazu, Fehler zu überproportional zu bewerten (überkritisch zu sein) und liefern inkonsistente Span-Indizes. Das Ziel der Autoren ist es, LLMs effizient als Synthetic Data Generatoren zu nutzen, um Trainingsdaten für lernbasierte QE-Modelle (wie COMET) zu erstellen, ohne die hohen Kosten einer direkten Inferenz für jede neue Übersetzung zu tragen.

2. Methodik

Die Autoren verfolgen einen systematischen, schrittweisen Ansatz zur Entwicklung eines Prompts, der als PPbMQM (Prompt-Pattern-based-MQM) bezeichnet wird.

• Reduziertes MQM-Schema: Um die Aufgabe für LLMs zu vereinfachen, beschränken sie das komplexe MQM-Schema auf die obersten Kategorien: Accuracy, Fluency, Style, Terminology, Locale Convention sowie eine hinzugefügte Unterkategorie Omission. Die Schweregrade werden auf Major und Minor reduziert.
• Entwicklungsprozess des Prompts:
  1. Wissens-Test: Überprüfung des MQM- und QE-Wissens verschiedener Modelle (GPT-3.5, GPT-4 Turbo, GPT-4o, LLaMA 3 70B). GPT-3.5 wurde ausgeschlossen.
  2. Zero-Shot-Prompting: Ein initialer Prompt führte zu inkonsistenten Span-Indizes. Dies wurde durch die Nutzung des NLTK-Tokenizers statt einfacher Leerzeichen-Trennung behoben.
  3. Few-Shot-Prompting (PPbMQM): Dies ist der Kern der Methode. Der Prompt wurde um folgende Elemente erweitert:
     • Persona: Das Modell agiert als professioneller Übersetzer.
     • Strukturierte Ausgabe: JSON-Formatierung mittels Output-Automater-Pattern.
     • Erklärungen: Reflexion über die Fehler (Reflection Pattern).
     • Schweregrad-Skala: Statt direkter Labels (Major/Minor) wird eine Skala von 1–5 angefordert. Dies erlaubt eine spätere Nachbearbeitung, um die Überkritikalität der LLMs zu kompensieren.
     • Beispiele (Few-Shot): Konkrete Beispiele für häufige Fehler (z. B. Komma-Splices bei Fluency) und das zuvor oft ignorierte Fehlermuster Omission.
• Datengenerierung und Training:
  • Die PPbMQM-Prompts wurden auf 20.703 chinesisch-englischen (zh-en) und 10.121 englisch-deutschen (en-de) Segmenten angewendet.
  • Die generierten Annotationen dienten zum Feinabstimmen (Fine-Tuning) von COMET-QE-Modellen.
  • Ein entscheidender Schritt war das Mapping der Schweregrade: Um die Korrelation mit menschlichen Urteilen zu verbessern, wurden Annotationen mit Schweregraden 1–2 verworfen und nur Grade 3 als „Minor" und 4–5 als „Major" behandelt.

3. Wichtige Beiträge

• PPbMQM-Prompt: Einführung eines Few-Shot-Prompts, der auf top-level MQM-Kategorien beschränkt ist und eine flexible Schweregrad-Skala nutzt, um die Überempfindlichkeit von LLMs zu steuern.
• Analyse der LLM-Kritikalität: Die Studie bestätigt, dass LLMs (insbesondere GPT-4o) deutlich strenger als menschliche Annotatoren sind und subtilere Fehler erkennen. Sie zeigen jedoch eine hohe Konsistenz.
• Synthetische Trainingsdaten: Demonstration, dass COMET-Modelle, die auf synthetischen PPbMQM-Daten trainiert wurden, mit Modellen, die auf menschlichen Daten trainiert wurden, konkurrieren können.
• Systematischer Ansatz: Ein klarer Workflow von der Wissensprüfung über Zero-Shot bis hin zu Few-Shot-Prompting für die QE-Datengenerierung.

4. Ergebnisse

• Korrelation mit menschlichen Urteilen: Die auf PPbMQM-Daten trainierten COMET-Modelle erreichten auf Segmentebene für zh-en und en-de eine höhere Pearson-Korrelation (ρ) mit menschlichen Gold-Annotationen als die Baseline-Modelle, die direkt auf menschlichen Daten trainiert wurden.
• Leistung bei schlechten Übersetzungen: Besonders in Segmenten mit niedriger Qualität (unter 0,8 auf einer Skala von 0–1) übertrafen die synthetisch trainierten Modelle die menschlich trainierten Modelle in allen Metriken (Pearson, Spearman, Kendall). Dies wird auf die höhere Konsistenz der LLM-Annotationen zurückgeführt, da menschliche Annotatoren bei feinkörnigen linguistischen Aufgaben oft geringere Übereinstimmung (Inter-Annotator Agreement) zeigen.
• Span-Metriken: Die Few-Shot-Prompts verbesserten die Genauigkeit bei der Identifizierung von Fehler-Spans (Span F1) und Schweregraden im Vergleich zum Zero-Shot-Ansatz.
• Modellauswahl: GPT-4o wurde als bestes Modell ausgewählt, da es eine höhere API-Stabilität und bessere Span-Übereinstimmung bot als LLaMA 3, obwohl LLaMA 3 in einigen Korrelationsmetriken gut abschnitt.

5. Bedeutung und Implikationen

• Kosteneffizienz: Die Methode ermöglicht die Erstellung großer, hochwertiger Trainingsdatensätze für QE-Modelle ohne die Notwendigkeit, teure menschliche Annotatoren für jede einzelne Übersetzung einzusetzen.
• Erweiterbarkeit: Der Ansatz öffnet die Tür für das Training von QE-Modellen für Sprachpaare, für die bisher keine MQM-Referenzdaten existieren (insbesondere Low-Resource-Sprachen).
• Post-Editing: Da die synthetisch trainierten Modelle besonders gut bei schlechten Übersetzungen abschneiden, sind sie ideal für Anwendungen im Bereich des automatisierten Post-Editing geeignet, wo die Erkennung schwerwiegender Fehler entscheidend ist.
• Herausforderungen: Die Autoren weisen auf potenzielle Datenlecks hin (da Testdaten im Trainingsset der LLMs enthalten sein könnten) und die Limitation auf bestimmte Domänen (Nachrichten, E-Commerce, etc.). Zudem wurde nur eine Initialisierung des COMET-Modells getestet.

Fazit: Das Paper zeigt, dass LLMs nicht nur als direkte Evaluatoren, sondern als hochwirksame „Annotatoren" für die Generierung von Trainingsdaten dienen können. Durch die Anpassung des Prompts (Schweregrad-Skala, Few-Shot-Beispiele) und die Filterung der Daten lassen sich Modelle entwickeln, die menschliche Urteile in der Qualitätsschätzung sogar übertreffen können, insbesondere bei der Identifizierung von Fehlern in qualitativ minderwertigen Übersetzungen.