Evaluative Judgement in Teaching AI-based Translation: A Class-room Case Study of AI-Mediated Translation and Post-Editing

Technische Samenvatting: Evaluatief Oordeel in het Onderwijs aan AI-gebaseerde Vertaling

Probleemstelling
Het pedagogische landschap van vertaaltechnologie is steeds meer verschoven van instructie over procedurele hulpmiddelen naar modellen die kritische AI-geletterdheid vereisen, inclusief menselijke handelingsbekwaamheid (agency), data-bewustzijn en ethische besluitvorming. Een centrale uitdaging in dit domein is dat Generatieve AI (GenAI) en Large Language Models (LLM's) vaak vloeiende, coherente outputs produceren die desondanks terminologische onnauwkeurigheden, adequatheidsproblemen of stilistische gebreken kunnen bevatten. Bij consequente is het onderwijs voor vertalers niet langer beperkt tot het aanleren van het genereren van output, maar moet het gericht zijn op het trainen van studenten om te fungeren als "scheidsrechters van kwaliteit". Het specifieke pedagogische probleem dat wordt geadresseerd, is hoe men "evaluatief oordeel" — het vermogen om geïnformeerde, op bewijs gebaseerde beslissingen te nemen over vertaalkwaliteit en deze beslissingen te rechtvaardigen — kan stimuleren binnen een klaslokaalsetting waarin LLM's, Neural Machine Translation (NMT)-systemen en menselijke vertaling met elkaar worden vergeleken.

Methodologie
De studie maakt gebruik van een exploratief kwalitatief casestudy-ontwerp met descriptieve kwantitatieve ondersteuning, waarbij 23 geanonimiseerde studentenprojecten van een vierdejaars bachelorcursus Machine Translation en Post-editing aan de Universitat Pompeu Fabra (academisch jaar 2025–2026) worden geanalyseerd.

• Opzet van de opdracht: Studenten voltooiden een workflow met meerdere fasen:
  1. Produceerden een menselijke vertaling van een gespecialiseerde Engelse Wikipedia-tekst (ca. 300 woorden) naar het Catalaans of Spaans.
  2. Genereerden vier machinevertalingen: twee met behulp van LLM-gebaseerde systemen en twee met behulp van NMT-systemen.
  3. Evalueerden de outputs met behulp van automatische metrieken (COMET, BLEU, TER, ChrF) via de MATEO-omgeving.
  4. Voerden een menselijke evaluatie uit met de focus op adequatheid en vloeiendheid (4-punts schaal) met foutannotatie op segmentniveau.
  5. Selecteerden één output voor post-editing en rechtvaardigden de keuze in een schriftelijk verslag.
  6. Voerden post-editing uit op de geselecteerde versie.
• Data-analyse: De analyse richtte zich op de 22 gevallen die vergezeld gingen van schriftelijke rapporten. De databronnen omvatten de master-coderingstabel (aggregatie van metrieken, systeemkeuzes en foutcategorieën) en de kwalitatieve inhoud van de rapporten.
• Coderingsstrategie: Er werd een hybride benadering gebruikt. Deductieve categorieën (adequatheid, vloeiendheid, post-editing inspanning) werden afgeleid van de opdrachtopzet, terwijl inductieve subthema's (terminologische instabiliteit, syntactische natuurlijkheid) uit de rapporten naar voren kwamen. Rapporten werden beoordeeld op een ordinale schaal van evaluatief oordeel (Laag tot Hoog) op basis van de triangulatie van bewijslast (metrieken, menselijke beoordeling, foutanalyse) die werd gebruikt om beslissingen te rechtvaardigen.

Belangrijkste Resultaten

• Divergentie tussen Metrieken en Menselijke Keuze: Automatische metrieken dicteerden niet de uiteindelijke selecties. In 10 van de 22 door rapporten ondersteunde gevallen was het systeem dat door automatische metrieken als beste werd gerangschikt, niet het systeem dat werd geselecteerd voor post-editing. Bijvoorbeeld, hoewel ChatGPT de meest frequente "automatische winnaar" was (9 gevallen), was DeepL de meest frequente definitieve selectie (10 gevallen).
• Aard van het Evaluatief Oordeel: De meerderheid van de rapporten (16 van de 22) vertoonde een "Hoog" of "Gemiddeld tot Hoog" evaluatief oordeel. Studenten vertrouwden niet enkel op metriekscores; in plaats daarvan rechtvaardigden zij keuzes op basis van een multidimensionale beoordeling inclusief adequatheid, vloeiendheid, terminologie, natuurlijkheid en de verwachte post-editing inspanning.
• Foutpatronen: De aandacht van studenten was geconcentreerd op gespecialiseerde kwesties die vaak gemist worden door oppervlakkige vloeiendheid. De meest frequente foutcategorieën die werden geïdentificeerd waren terminologie/lexis (19 rapporten), adequatheid/betekenisoverdracht (15), syntaxis/calques (14) en natuurlijkheid/stijl (14).
• Post-editing Inspanning als Besluitvormingscriterium: Een significante bevinding is dat studenten vaak de output selecteerden die de minste zware herformulering of de meest gelokaliseerde revisie vereiste, zelfs als een ander systeem hoger scoorde op automatische metrieken. Dit duidt op een verschuiving naar workflow-bewuste besluitvorming.
• Ontwikkeling van AI-geletterdheid: Studenten toonden een conditionele benadering van AI, waarbij zij erkenden dat verschillende systemen gedeeltelijke sterktes boden. Sommige rapporten merkten expliciet op dat hoewel één systeem werd geselecteerd voor post-editing, inzichten uit andere systemen bijdroegen aan het uiteindelijke begrip van de tekst.

Belangrijkste Bijdragen

1. Pedagogisch Ontwerp: Het artikel presenteert een geïntegreerde klaslokaal-workflow die menselijke vertaling, multi-systeemvergelijking (LLM en NMT), automatische en menselijke evaluatie, en consequente post-editing beslissingen combineert. Dit ontwerp dwingt studenten om verschillende vormen van bewijs met elkaar te verzoenen in plaats van de AI-output als een voltooid product te behandelen.
2. Empirisch Bewijs van Redenering: De studie levert kwalitatief bewijs van hoe studenten de systeemselectie rechtvaardigen. Het toont aan dat studenten getraind kunnen worden om automatische metrieken te passeren ten gunste van domeinspecifieke adequatheid en de efficiëntie van post-editing.
3. Operationalisering van Evaluatief Oordeel: Het artikel betoogt dat evaluatief oordeel niet als een abstract concept moet worden behandeld, maar als een praktisch onderdeel van AI-geletterdheid, waarbij studenten leren hun vertrouwen in AI-tools te kalibreren op basis van teksttype, domein en kwaliteitseisen.

Betekenis en Claims
Het artikel claimt bescheiden dat de primaire bijdrage pedagogisch is en niet technisch-benchmarkingmatig. Het stelt niet dat LLM's of NMT-systemen categorisch superieur zijn; het toont eerder aan dat de voorkeuren van studenten tekstafhankelijk zijn en gerechtvaardigd worden door specifieke criteria (terminologie, natuurlijkheid, inspanning).

De betekenis ligt in het aantonen dat gestructureerde vergelijkingsopdrachten effectief een kritisch, reflectief en professioneel relevant oordeel kunnen bevorderen in het vertaalonderwijs. Door studenten te verplichten een "spoor van hun redenering" achter te laten via interpretatie van metrieken, foutannotatie en rechtvaardigingsrapporten, positioneert de opdracht studenten als actieve scheidsrechters van kwaliteit. Dit ondersteunt het bredere educatieve doel om studenten te transformeren van passieve hulpmiddelgebruikers naar kritische comparatoren die verantwoorde beslissingen kunnen nemen over wanneer en hoe zij moeten interveniëren in AI-gemedieerde vertaalprocessen. De studie concludeert dat dergelijke taken essentieel zijn voor het ontwikkelen van de "menselijke handelingsbekwaamheid" die vereist is om de risico's en mogelijkheden van GenAI in professionele vertaalworkflows te navigeren.