Evaluative Judgement in Teaching AI-based Translation: A Class-room Case Study of AI-Mediated Translation and Post-Editing
Diese Arbeit analysiert eine Fallstudie aus dem Unterricht mit 23 Studierenden der Übersetzung, um aufzuzeigen, wie der strukturierte Vergleich von KI- und maschinellen Übersetzungssystemen das urteilende Verständnis fördert, wobei deutlich wird, dass Studierende bei der Auswahl von Ausgaben für das Post-Editing Faktoren wie Angemessenheit, Flüssigkeit und den Aufwand für die Nachbearbeitung gegenüber automatischen Metriken priorisieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen Übersetzungskurs wie einen Kochwettbewerb vor. Anstatt die Studierenden einfach nur zu bitten, eine Mahlzeit von Grund auf neu zu kochen, gibt ihnen der Lehrer eine besondere Herausforderung: Vier verschiedene, bereits zubereitete Gerichte zu verkosten, das beste auszuwählen, um es fertigzustellen, und genau zu erklären, warum sie es gewählt haben.
Dieses Papier ist ein Bericht darüber, wie 23 Studierende eines universitären Übersetzungskurses diese Herausforderung bewältigten, als die „bereits zubereiteten Gerichte“ von Künstlicher Intelligenz (KI) erstellt wurden.
Hier ist die Aufschlüsselung dessen, was passiert ist, unter Verwendung einfacher Analogien:
Der Aufbau: Die „Verkostungs“-Aufgabe
Die Studierenden erhielten einen kurzen, spezialisierten Text (wie einen Wikipedia-Artikel über Tiere oder Technologie). Sie mussten fünf Dinge tun:
- Von Grund auf kochen: Den Text zuerst selbst übersetzen (um das Rezept zu verstehen).
- Im Restaurant bestellen: Vier verschiedenen KI-„Köchen“ (zwei fortgeschrittene Chatbots und zwei Standard-Übersetzungsprogramme) den gleichen Text übersetzen lassen.
- Eine Roboter-Bewertung erhalten: Die vier KI-Übersetzungen durch ein Computerprogramm laufen lassen, das ihnen eine Note gibt, basierend darauf, wie eng sie mit den Originalwörtern übereinstimmen (wie eine Rechtschreibprüfung auf Steroiden).
- Verkosten und beurteilen: Die Übersetzungen sorgfältig lesen, um zu sehen, ob sie tatsächlich Sinn ergeben, natürlich klingen und die richtigen Fachbegriffe verwenden.
- Einen Gewinner wählen: Eine der vier KI-Versionen auswählen, um sie „aufzubessern“ (post-editieren) und in einen fertigen, veröffentlichten Artikel zu verwandelt. Entscheidend war, dass sie einen Bericht darüber schrieben, warum sie genau diese Version gewählt hatten.
Die große Überraschung: Der Roboter-Score ist nicht der endgültige Richter
Die interessanteste Erkenntnis ist, dass die Studierenden den Roboter-Scores nicht blind vertraut haben.
Stellen Sie sich den automatischen Score wie einen „Popularitätswettbewerb“ oder ein „Nährwertetikett“ vor. Er sagt Ihnen, wie viele Zutaten übereinstimmen, aber er sagt Ihnen nicht, ob das Essen gut schmeckt oder ob es sicher zu essen ist.
- Das Ergebnis: In etwa der Hälfte der Fälle war die KI, die den höchsten Roboter-Score erhielt, nicht diejenige, die die Studierenden zur Nachbearbeitung ausgewählt haben.
- Warum? Die Studierenden erkannten, dass eine KI eine hohe Punktzahl erreichen konnte, indem sie Wörter so umstellte, dass es für einen Computer korrekt aussah, aber für einen Menschen seltsam klang, oder indem sie einen entscheidenden Fachbegriff übersah.
Wonach suchten die Studierenden?
Anstatt nur auf den Score zu achten, agierten die Studendierenden wie Qualitätskontrolleur. Sie achteten auf:
- Den „Geschmack“ (Natürlichkeit): Klingt es so, als hätte ein echter Mensch es geschrieben, oder klingt es wie ein Roboter, der versucht, menschlich zu klingen?
- Die „Zutaten“ (Terminologie): Hat es die wissenschaftlichen Namen von Tieren oder die technischen Begriffe richtig getroffen?
- Den „Arbeitsaufwand“ (Post-editing effort): Wenn sie diese Version wählten, wie viel Arbeit wäre nötig, um sie zu korrigieren? Manchmal sah eine Version perfekt aus, hatte aber versteckte Fallen, die Stunden der Korrektur erfordert hätten.
- Die „Struktur“ (Grammatik): Wurde die logische Reihenfolge der Sätze beibehalten oder wurden sie durcheinandergebracht?
Die wichtigste Lektion: Studierende wurden zu „Richtern der Qualität“
Das Papier argumentiert, dass das Ziel dieses Kurses nicht darin bestand, herauszufinden, welche KI die „beste“ der Welt ist. Das Ziel war es, den Studierenden beizubringen, wie man kluge Richter ist.
Vor diesem Kurs dachten die Studierenden vielleicht: „Der Computer sagt, das ist zu 95 % perfekt, also werde ich es einfach verwenden.“
Nach dieser Aufgabe lernten sie zu sagen: „Der Computer sagt, das ist zu 95 % perfekt, aber er hat den medizinischen Begriff falsch verwendet und der Satzbau ist holprig. Ich werde die Version wählen, die 85 % erreicht hat, weil sie leichter zu korrigieren ist und natürlicher klingt.“
Das Fazleit
Die Studie zeigt, dass Studierende, wenn man sie lehrt, verschiedene KI-Werkzeuge zu vergleichen und sie zwingt, ihre Entscheidungen zu rechtfertigen, aufhören, passive Nutzer zu sein, die einfach akzeptieren, was die Maschine liefert. Stattdessen werden sie zu kritischen Editoren, die wissen, wie man den Unterschied zwischen einer Übersetzung erkennt, die auf einem Computerbildschirm gut aussieht, und einer, die für einen menschlichen Leser tatsächlich gut ist.
Kurz gesagt: Das Papier beweist, dass Studierende mit der richtigen Art von Hausaufgaben lernen, ihr menschliches Gehirn am Steuer zu behalten und die KI als hilfreiches Werkzeug zu nutzen, statt sie als Chef zu behandeln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.