When the Gold Standard Isn't Necessarily Standard: Challenges of Evaluating the Translation of User-Generated Content

Stel je voor dat je een vertaler bent die is ingehuurd om een verzameling tekstberichten, tweets en forumposts te vertalen. Dit zijn geen formele brieven; ze zitten vol met typefouten, straattaal, herhaalde letters voor nadruk (zoals "zooooooo"), emoji's en zelfs wat vloekwoorden.

Stel je nu voor dat je vier verschillende bazen hebt die je instructies geven over hoe je deze rommelige tekst moet behandelen. Dit is precies wat de onderzoekers in dit artikel onderzochten. Ze stelden de vraag: "Wat telt als een 'goede' vertaling wanneer de originele tekst rommelig is, en hoe meten we dat eerlijk?"

Hier volgt de uiteenzetting van hun bevindingen, met behulp van alledaagse analogieën.

1. De "Gouden Standaard" is eigenlijk een spectrum

In de wereld van vertalingen bestaat er meestal een "Gouden Standaard" – een perfecte referentievertaling waar iedereen het over eens is dat deze juist is. Maar de auteurs vonden dat voor door gebruikers gegenereerde content (UGC) er geen enkele Gouden Standaard bestaat. In plaats daarvan is er een spectrum.

Ze keken naar vier verschillende datasets (collecties vertaalde tekst) en ontdekten dat de "bazen" (de mensen die de richtlijnen hebben opgesteld) zeer verschillende filosofieën hadden:

• De "Strenge Redacteur" (RoCS-MT): Deze baas zegt: "Maak alles goed! Corrigeer de spelling, maak de grammatica in orde, verwijder de straattaal en zorg dat het klinkt als een fatsoenlijk krantenartikel." Ze willen een schone en standaard output.
• De "Behoudsman" (PFSMB): Deze baas zegt: "Behoud de sfeer! Als de originele tekst herhaalde letters of straattaal heeft, moet de vertaling dat ook hebben. Maak het niet schoon; vertaal gewoon het gevoel."
• Het "Middenpad" (FooTweets & MMTC): Deze bazen zitten ergens in het midden; ze corrigeren sommige dingen, maar behouden de persoonlijkheid van de tekst.

De Analogie: Stel je voor dat je een handgeschreven brief van een vriend vertaalt.

• De Strenge Redacteur zou de brief van je vriend herschrijven in een perfect, getypt lettertype, de grammatica corrigeren en de krabbels verwijderen.
• De Behoudsman zou de woorden vertalen, maar de handschriftstijl, de krabbels en de rommelige marges behouden.
• Het artikel betoogt dat beide benaderingen "juist" kunnen zijn, afhankelijk van wat de klant wil.

2. Het "Actiemenu" voor vertalers

Om deze verschillende stijlen te begrijpen, creëerden de onderzoekers een menu van 12 soorten "rommelige" dingen (zoals typefouten, emoji's, hashtags en vloekwoorden) en 5 acties die een vertaler kan ondernemen:

1. NORMALISEREN: Het goedmaken (bijvoorbeeld "u" veranderen in "jij").
2. KOPIEREN: Het exact zo houden (bijvoorbeeld een hashtag #Wereldkampioenschap onveranderd laten).
3. OVERDRAGEN: De "rommeligheid" vertalen naar de doeltaal (bijvoorbeeld het Engelse "LOL" veranderen in het Franse "MDR").
4. WEGLATEN: Het volledig negeren (bijvoorbeeld een gebruikersnaam overslaan).
5. CENSEREN: Beledigende woorden verzachten (bijvoorbeeld "f**k" veranderen in "verdomme").

Het artikel vond dat verschillende datasets verschillende combinaties van deze acties gebruiken. Eén dataset kan zeggen "vertaal de straattaal", terwijl een andere zegt "normaliseer de straattaal".

3. De AI-robots en het "Instructieboekje"

De onderzoekers testten verschillende moderne AI-modellen (Large Language Models of LLM's) om te zien hoe ze omgaan met deze verschillende instructies. Ze gaven de AI dezelfde rommelige tekst, maar veranderden het "Instructieboekje" (de prompt) zodat het overeenkwam met een van de vier verschillende datasets.

Wat ze vonden:

• AI is gevoelig voor instructies: Toen de AI werd gevraagd om "de straattaal te behouden" (overeenkomend met de Behoudsman-baas), deed het een uitstekend werk. Toen het werd gevraagd om "alles goed te maken" (overeenkomend met de Strenge Redacteur), deed het dat ook.
• Mismatch veroorzaakt verwarring: Als je de AI vertelt om "straattaal te behouden" en het vervolgens beoordeelt tegen een "Strenge Redacteur"-referentievertaling, krijgt de AI een slechte score, zelfs als het je instructies perfect heeft opgevolgd. Het is alsof je een student beoordeelt die het recept voor een taart heeft gevolgd, tegen een jury die een taart wilde.
• Sommige AI's zijn koppig: Eén model (Tower) negeerde de instructies grotendeels en deed toch wat het wilde. Een ander (LLaMA) weigerde iets te vertalen als het "onveilige" woorden bevatte zoals vloekwoorden, en gaf de baan effectief op.

4. Het "Scorekaart"-probleem

Hoe weten we of de vertaling goed is? Meestal gebruiken we automatische scoringstools (metrieken) die de output van de AI vergelijken met de "Gouden Standaard"-referentie.

Het Probleem: Deze scoringstools zijn bevooroordeeld.

• Als de referentievertaling "schoon en standaard" is, houdt de scoringstool van schone vertalingen en haat hij rommelige.
• Als de referentievertaling "rommelig en vol straattaal" is, kan de scoringstool in de war raken en lagere scores geven aan rommelige vertalingen, zelfs als ze trouw zijn aan het origineel.

De Analogie: Stel je voor dat een jurylid bij een talentenjacht zit. Als de jurylid op zoek is naar een klassieke violist, zal hij een rockgitarist een lage score geven, zelfs als de rockgitarist fantastisch is in rock. Het artikel laat zien dat huidige AI-scoretools net als die jurylid zijn – ze zijn bevooroordeeld ten opzichte van "schone" tekst en worstelen om "rommelige" tekst eerlijk te beoordelen, tenzij ze precies worden verteld welke stijl ze moeten verwachten.

5. De belangrijkste conclusie

Het artikel concludeert dat je een vertaling niet eerlijk kunt beoordelen zonder de regels van het spel te kennen.

• Voor datasetmakers: Je moet zeer duidelijk zijn over je richtlijnen. Wil je dat de tekst wordt opgeschoond, of wil je dat de persoonlijkheid behouden blijft?
• Voor AI-ontwikkelaars: Je moet de AI precies vertellen welke stijl hij moet gebruiken.
• Voor beoordelaars: Je kunt niet zomaar een algemene score gebruiken. Je hebt een "richtlijn-bewust" beoordelingssysteem nodig dat begrijpt of de AI een "Strenge Redacteur" of een "Behoudsman" moest zijn.

Kortom: Een "goede" vertaling gaat niet alleen over nauwkeurigheid; het gaat over nauwkeurigheid ten opzichte van de stijl die je werd gevraagd te produceren. Als je de stijl niet definieert, kun je het resultaat niet eerlijk beoordelen.