Stellen Sie sich vor, Sie sind ein Juror bei einer riesigen Talentshow, aber anstatt Sänger zu bewerten, beurteilen Sie Übersetzungen von Geschichten von einer Sprache in eine andere. Jahrelang war der Standardweg, dies zu tun, einen einzelnen Übersetzungstext einem Juror zu übergeben, ihn isoliert bewerten zu lassen und dann zur nächsten überzugehen. Es ist, als würde man jemanden bitten, einen einzelnen Apfel zu bewerten, ohne jemals einen anderen Apfel zum Vergleich gesehen zu haben. Das Problem? Es ist erschöpfend, teuer und überraschend chaotisch. Wenn man nur eine einzelne Sache allein betrachtet, wird das Gehirn müde, die Stimmung ändert sich und die Noten können völlig sprunghaft sein. Dies ist die Welt der „Maschinellen Übersetzungsbewertung“, ein Fachgebiet, das sich damit beschäftigt, herauszufinden, wie gut Computer menschliche Sprachen übersetzen können. Das Ziel ist einfach: den besten KI-Übersetzer zu finden, damit wir ihm bei realen Aufgaben vertrauen können. Aber um das zu erreichen, müssen Menschen als Schiedsrichter fungieren, und die alten Regeln des Schiedsrichterwesens machten das Spiel langsam und die Ergebnisse unzuverlässig.

Hier kommt ein Team von Forschern ins Spiel, das beschlossen hat, die Regeln des Spiels aufzumischen. Sie führten ein neues Protokoll namens Contrastive Error Span Annotation (cESA) ein. Anstatt dem Juror eine Übersetzung nach der anderen zu zeigen, platzierten sie drei (oder mehr) Übersetzungen nebeneinander auf demselben Bildschirm. Es ist, als würde man dem Juror einen Korb voller Äpfel geben anstatt einer einzelnen Frucht. Plötzlich wird es viel einfacher, einen angeschlagenen Apfel zu entdecken, weil man die glänzenden, perfekten Exemplare direkt daneben sieht. Die Forscher fanden heraus, dass diese Methode des „Gruppenbetrachtens“ die Jurors nicht nur schneller machte, sondern sie auch konsistenter und genauer werden ließ. Sie entdeckten, dass das Zeigen von drei Übersetzungen gleichzeitig der „Sweet Spot“ war, was etwa 31 % der Zeit einsparte und gleichzeitig die Qualität der Bewertungen verbesserte. Sie überprüften auch, ob das Sehen der anderen Übersetzungen die Jurors dazu verleiten könnte, unfair zu sein, und stellten fest, dass die Verzerrung so minimal war, dass sie keine Rolle spielte. Kurz gesagt: Sie bewiesen, dass, wenn man die Jurors erlaubt, Optionen gemeinsam zu vergleichen, alle ein besseres, schnelleres und faireres Ergebnis erzielen.

Der alte Weg: Der einsame Apfel

Lange Zeit war die Standardmethode zum Testen von KI-Übersetzern die „punktweise Bewertung“. Stellen Sie sich vor, Sie bewerten einen Stapel Aufsätze. Bei der alten Methode würden Sie einen Aufsatz aufheben, ihn lesen, eine Note geben, ihn weglegen und dann den nächsten aufheben, ohne jemals zurückzublicken. Sie könnten dem ersten Aufsatz eine 85 geben, weil er gut schien, aber dann könnten Sie dem zweiten eine 90 geben, selbst wenn er eigentlich schlechter war, nur weil Sie müde waren oder der erste wirklich schlecht war. Dies wird als „Annotator Noise“ (Annotatorenrauschen) bezeichnet. Es ist, als würde man versuchen, die Temperatur einer Tasse Kaffee zu beurteilen, indem man sie einmal berührt, in einem kalten Raum, ohne Thermometer. Das Paper stellt fest, dass diese Methode unter hohem „Annotator Noise“ leidet und sehr kostspielig ist, da man so viele Jurors benötigt, um einen zuverlässigen Durchschnitt zu erhalten.

Der neue Weg: Der Obstkorb

Die Autoren, angeführt von Vilém Zouhar und Kollegen, schlugen eine neue Methode namens cESA vor. Anstatt eine Übersetzung im Vakuum zu betrachten, sieht der Annotator mehrere Übersetzungen desselben Quelltextes gleichzeitig. Denken Sie an einen „Obstkorb“-Ansatz. Wenn man neben einem perfekten Apfel einen leicht angeschlagenen Apfel sieht, bemerkt man die Delle viel schneller, als wenn man nur den angeschlagenen Apfel allein betrachten würde.

In diesem neuen System betrachtet der Juror einen Quelltext (wie einen Satz aus einer Geschichte) und sieht beispielsweise drei verschiedene Übersetzungen von KI-Modellen derselben Stelle nebeneinander. Der Juror:

1. Markiert spezifische „Error Spans“ (die exakten Wörter, die falsch sind).
2. Entscheidet, ob der Fehler „major“ (ein großer Fehler) oder „minor“ (ein kleiner Schlupf) ist.
3. Gibt eine Punktzahl von 0 % bis 100 % basierend auf einer klaren Skala ab.

Das Paper erklärt, dass dies funktioniert, weil es auf einem psychologischen Konzept basiert, das „Joint vs. Separate Evaluation“ (gemeinsame vs. getrennte Bewertung) genannt wird. Wenn man Dinge zusammen sieht, kann man Fehler in einer Übersetzung erkennen, indem man sie mit den anderen vergleicht. Es hilft auch dabei, den „Raum der möglichen Übersetzungen“ zu verstehen, was das Urteil objektiver macht. Zudem muss man den ursprünglichen Quelltext nicht immer wieder aufs Neue lesen, was eine enorme Zeiterspartung bedeutet.

Das Experiment: Den Obstkorb testen

Um zu sehen, ob diese neue Methode tatsächlich funktionierte, führten die Forscher ein massives Experiment mit Englisch-Japanisch-Übersetzungen durch. Sie testeten 12 verschiedene KI-Modelle (darunter große Namen wie Gemini, Claude und DeepSeek) mit einem Datensatz von 97 Segmenten aus Nachrichten, sozialen Medien und Videos.

Sie verglichen den alten Weg (Zeigen einer Übersetzung nach der anderen) mit dem neuen Weg (Zeigen von 1, 2, drei oder 4 Übersetzungen gleichzeitig). Hier ist das, was sie herausfanden:

• Geschwindigkeit: Die neue Methode war signifikant schneller. Als drei Modelle gleichzeitig gezeigt wurden (der „Sweet Spot“), sank die durchschnittliche Zeit zur Annotation eines Segments von 77,8 Sekunden auf 53,7 Sekunden. Das ist eine Reduktion der Zeit pro Item um 31 %.
• Qualität: Die Scores waren stabiler. Die Forscher maßen die „Inter-Annotator Agreement“ (wie sehr zwei verschiedene Jurors übereinstimmten) und die „Intra-Annotator Agreement“ (wie sehr derselbe Juror bei einem zweiten Versuch mit sich selbst übereinstimmte). Die neue Methode zeigte eine höhere Übereinstimmung, was bedeutet, dass die Jurors konsistenter waren.
• Die magische Zahl: Sie testeten das Zeigen von 1, 2, 3 und 4 Modellen gleichzeitig. Sie fanden heraus, dass das Zeigen von 3 Modellen die beste Balance war. Der Wechsel von 1 auf 2 Modelle sparte viel Zeit, aber das Hinzufügen eines 4. Modells sparte nicht viel mehr Zeit und machte den Bildschirm zudem etwas zu voll. Drei war die perfekte Anzahl, um die Jurors zufrieden und effizient zu halten.

Die „Was wäre wenn“-Fragen: Sind die Jurors voreingenommen?

Die Forscher waren besorgt, dass das Sehen der anderen Übersetzungen die Jurors täuschen könnte. Sie fragten sich: „Wenn eine wirklich schlechte Übersetzung neben einer guten sitzt, wird die gute dann zu gut aussehen? Oder wenn eine großartige neben einer schlechten steht, wird die schlechte dann zu schlecht aussehen?“

Sie führten Tests durch, um zwei Arten von Bias (Voreingenommenheit) zu prüfen:

1. Position Bias: Bekommt die Übersetzung auf der linken Seite eine bessere Bewertung als die auf der rechten? Die Daten zeigten fast keinen Unterschied basierend auf der Position.
2. Surrounding Bias: Verändert das Sehen eines „Decoys“ (einer sehr schlechten oder sehr guten Übersetzung) die Punktzahl der anderen? Sie fanden einen winzigen Effekt: Wenn ein Modell neben einem viel stärkeren Modell stand, sank seine Punktzahl im Durchschnitt um etwa 0,5 Punkte. Die Autoren merken jedoch an, dass dies im Vergleich zu den tatsächlichen Unterschieden zwischen den Modellen (die 10 oder 20 Punkte betragen können) so gering ist, dass es keine Rolle spielt. Es ist, als ob ein Läufer 10 Sekunden hinter dem Gewinner ins Ziel kommt – es spielt keine Rolle, ob er 0,5 Sekunden langsamer war, weil er neben einem Weltmeister stand.

Das Urteil

Das Paper kommt zu dem Schluss, dass cESA ein besserer Weg ist, um KI-Übersetzer zu bewerten. Es ist schneller, kostengünstiger und liefert zuverlässigere Ergebnisse. Die Autoren schlagen vor, dass jeder, der die menschliche Evaluierung von Übersetzungen durchführt, auf das Zeigen von drei Modellen gleichzeitig umstellen sollte. Sie haben sogar ein einfaches Tool (genannt Pearmut) entwickelt, das jeder nutzen kann, um dieses neue Protokoll anzuwenden, inklusive Tutorials und Richtlinien.

Letztendlich legt das Paper nahe, dass wir durch das Vergleichen von Äpfeln in einem Korb anstatt einzeln, ein viel klareres Bild davon bekommen, welche KI wirklich die beste ist. Es ist eine einfache Änderung in der Art und Weise, wie wir die Arbeit betrachten, aber sie macht den gesamten Prozess der Bewertung von Maschinen intelligenter und menschenfreundlicher.