When the Gold Standard Isn't Necessarily Standard: Challenges of Evaluating the Translation of User-Generated Content

Stellen Sie sich vor, Sie sind ein Übersetzer, der beauftragt wurde, eine Sammlung von Textnachrichten, Tweets und Forumbeiträgen zu übersetzen. Dies sind keine formellen Briefe; sie sind voller Tippfehler, Slang, wiederholter Buchstaben zur Betonung (wie „soooooo"), Emojis und sogar einiger Flüche.

Stellen Sie sich nun vor, Sie haben vier verschiedene Chefs, die Ihnen Anweisungen geben, wie Sie mit diesem unordentlichen Text umgehen sollen. Genau das haben die Forscher in dieser Arbeit untersucht. Sie fragten: „Was gilt als eine ‚gute' Übersetzung, wenn der Originaltext unordentlich ist, und wie messen wir sie fair?"

Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung einiger alltäglicher Analogien.

1. Der „Goldstandard" ist tatsächlich ein Spektrum

In der Welt der Übersetzung gibt es normalerweise einen „Goldstandard" – eine perfekte Referenzübersetzung, bei der sich alle einig sind, dass sie richtig ist. Doch die Autoren stellten fest, dass es für nutzergenerierte Inhalte (UGC) keinen einzigen Goldstandard gibt. Stattdessen gibt es ein Spektrum.

Sie untersuchten vier verschiedene Datensätze (Sammlungen übersetzter Texte) und stellten fest, dass die „Chefs" (die Personen, die die Richtlinien erstellt haben) sehr unterschiedliche Philosophien vertraten:

• Der „streng redigierende Editor" (RoCS-MT): Dieser Chef sagt: „Richten Sie alles zurecht! Korrigieren Sie die Rechtschreibung, beheben Sie die Grammatik, entfernen Sie den Slang und lassen Sie es klingen wie ein ordentlicher Zeitungsartikel." Sie wollen ein sauberes und standardsprachliches Ergebnis.
• Der „Bewahrer" (PFSMB): Dieser Chef sagt: „Behalten Sie die Stimmung bei! Wenn der Originaltext wiederholte Buchstaben oder Slang enthält, sollte die Übersetzung das auch haben. Reinigen Sie es nicht; übersetzen Sie einfach das Gefühl."
• Der „Mittelweg" (FooTweets & MMTC): Diese Chefs liegen irgendwo dazwischen, korrigieren einige Dinge, behalten aber die Persönlichkeit des Textes bei.

Die Analogie: Stellen Sie sich vor, Sie übersetzen eine handschriftliche Notiz von einem Freund.

• Der streng redigierende Editor würde die Notiz Ihres Freundes in perfekter, gedruckter Schrift neu schreiben, seine Grammatik korrigieren und die Kritzeleien entfernen.
• Der Bewahrer würde die Wörter übersetzen, aber den Handschriftstil, die Kritzeleien und die unordentlichen Ränder beibehalten.
• Die Arbeit argumentiert, dass beide Ansätze „richtig" sein können, je nachdem, was der Kunde wünscht.

2. Das „Aktionsmenü" für Übersetzer

Um diese verschiedenen Stile zu verstehen, erstellten die Forscher ein Menü mit 12 Arten von „unordentlichen" Dingen (wie Tippfehler, Emojis, Hashtags und Flüchen) und 5 Aktionen, die ein Übersetzer ergreifen kann:

1. NORMALISIEREN: Es beheben (z. B. „u" in „you" ändern).
2. KOPIEREN: Es genau so lassen, wie es ist (z. B. einen Hashtag #WorldCup unverändert lassen).
3. ÜBERTRAGEN: Die „Unordnung" in die Zielsprache übersetzen (z. B. das englische „LOL" ins französische „MDR" ändern).
4. WEGLASSEN: Es komplett ignorieren (z. B. einen Benutzernamen überspringen).
5. ZENSUREN: Beleidigende Wörter abschwächen (z. B. „f**k" in „verdammt" ändern).

Die Arbeit ergab, dass verschiedene Datensätze unterschiedliche Kombinationen dieser Aktionen verwenden. Ein Datensatz könnte sagen „Slang übertragen", während ein anderer sagt „Slang normalisieren".

3. Die KI-Roboter und das „Bedienhandbuch"

Die Forscher testeten mehrere moderne KI-Modelle (Large Language Models oder LLMs), um zu sehen, wie sie mit diesen verschiedenen Anweisungen umgehen. Sie gaben der KI denselben unordentlichen Text, änderten jedoch das „Bedienhandbuch" (den Prompt), um es an einen der vier verschiedenen Datensätze anzupassen.

Was sie fanden:

• KI ist empfindlich gegenüber Anweisungen: Wenn der KI gesagt wurde, den Slang zu „bewahren" (entsprechend dem Bewahrer-Chef), leistete sie hervorragende Arbeit. Wenn ihr gesagt wurde, „alles zu beheben" (entsprechend dem streng redigierenden Editor), tat sie das ebenfalls.
• Nichtübereinstimmung verursacht Verwirrung: Wenn Sie der KI sagen, den Slang zu „bewahren", sie dann aber gegen eine Referenzübersetzung des „strengen Editors" bewerten, erhält die KI eine schlechte Punktzahl, obwohl sie Ihre Anweisungen perfekt befolgt hat. Es ist wie bei der Bewertung eines Schülers, der das Rezept für einen Kuchen befolgt hat, gegen einen Richter, der einen Kuchen wollte.
• Einige KIs sind stur: Ein Modell (Tower) ignorierte die Anweisungen größtenteils und tat trotzdem, was es wollte. Ein anderes (LLaMA) verweigerte die Übersetzung von allem, was „unsichere" Wörter wie Flüche enthielt, und gab die Arbeit effektiv auf.

4. Das „Punktekarten"-Problem

Wie wissen wir, ob die Übersetzung gut ist? Normalerweise verwenden wir automatische Bewertungstools (Metriken), die die Ausgabe der KI mit der „Goldstandard"-Referenz vergleichen.

Das Problem: Diese Bewertungstools sind verzerrt.

• Wenn die Referenzübersetzung „sauber und standardsprachlich" ist, liebt das Bewertungstool saubere Übersetzungen und hasst unordentliche.
• Wenn die Referenzübersetzung „unordentlich und voller Slang" ist, könnte das Bewertungstool verwirrt werden und unordentlichen Übersetzungen niedrigere Punktzahlen geben, selbst wenn sie dem Original treu sind.

Die Analogie: Stellen Sie sich einen Richter bei einer Talentshow vor. Wenn der Richter nach einem klassischen Geiger sucht, wird er einem Rockgitarristen eine niedrige Punktzahl geben, selbst wenn der Rockgitarrist im Rockgenius ist. Die Arbeit zeigt, dass aktuelle KI-Bewertungstools wie dieser Richter sind – sie sind auf „sauberen" Text voreingenommen und haben Schwierigkeiten, „unordentlichen" Text fair zu bewerten, es sei denn, sie werden genau über den zu erwartenden Stil informiert.

5. Die Hauptaussage

Die Arbeit kommt zu dem Schluss, dass man eine Übersetzung nicht fair bewerten kann, ohne die Regeln des Spiels zu kennen.

• Für Datensatz-Ersteller: Sie müssen Ihre Richtlinien sehr klar formulieren. Wollen Sie, dass der Text bereinigt wird, oder wollen Sie die Persönlichkeit bewahrt sehen?
• Für KI-Entwickler: Sie müssen der KI genau sagen, welchen Stil sie verwenden soll.
• Für Bewerter: Sie können nicht einfach eine generische Punktzahl verwenden. Sie benötigen ein „richtlinienbewusstes" Bewertungssystem, das versteht, ob die KI als „strenger Editor" oder als „Bewahrer" agieren sollte.

Kurz gesagt: Eine „gute" Übersetzung geht nicht nur darum, genau zu sein; es geht darum, genau dem Stil zu entsprechen, den Sie produzieren sollten. Wenn Sie den Stil nicht definieren, können Sie das Ergebnis nicht fair beurteilen.