Stel je voor dat je een rechter bent bij een enorme talentenjacht, maar in plaats van zangers beoordeel je vertalingen van verhalen van de ene taal naar de andere. Jarenlang was de standaardmanier om dit te doen: de rechter één enkele vertaling geven, deze in isolatie beoordelen, en dan doorgaan naar de volgende. Het is alsoal iemand te vragen een enkele appel te beoordelen zonder andere appels te zien om mee te vergelijken. Het probleem? Het is uitputtend, duur en verrassend rommelig. Wanneer je slechts één ding alleen bekijkt, raakt je brein vermoeid, verandert je stemming en kunnen je cijfers alle kanten op gaan. Dit is de wereld van "Machine Translation Evaluation", een vakgebied dat zich bezighoudt met het uitzoeken hoe goed computers menselijke talen kunnen vertalen. Het doel is simpel: de beste AI-vertaler vinden zodat we hem kunnen vertrouwen bij taken in de echte wereld. Maar om dat te doen, moeten mensen de scheidsrechters zijn, en de oude regels van het scheidsrechteren maakten het spel traag en de scores onbetrouwbaar.

Maak kennis met een team van onderzoekers die besloten de regels van het spel te herschrijven. Ze introduceerden een nieuw protocol genaamd Contrastive Error Span Annotation (cESA). In plaats van de rechter één vertaling te tonen, plaatsten ze drie (of meer) vertalingen naast elkaar op hetzelfde scherm. Het is alsof je de rechter een mand met appels geeft in plaats van één enkel stuk fruit. Plotseling wordt het veel gemakkelijker om een beschadigde appel te ontdekken, omdat je de glanzende, perfecte exemplaren direct ernaast ziet liggen. De onderzoekers ontdekten dat deze methode van "groep bekijken" de rechters niet alleen sneller maakte, maar ook consistenter en nauwkeuriger. Ze ontdekten dat het tonen van drie vertalingen tegelijkertijd het ideale punt was (the sweet spot), wat ongeveer 31% tijd bespaarde terwijl de kwaliteit van de scores juist verbeterde. Ze controleerden ook of het zien van de andere vertalingen de rechters niet zou misleiden om onrechtvaardig te zijn, en ontdekten dat de bias zo klein was dat het er niet toe deed. Kortom, ze bewezen dat wanneer je rechters de opties samen laat vergelijken, iedereen een beter, sneller en eerlijker resultaat krijgt.

De Oude Manier: De Eenzame Appel

Lama een tijdje was de standaardmanier om AI-vertalers te testen "pointwise evaluation". Stel je voor dat je een stapel essays beoordeelt. In de oude methode pak je één essay op, leest het, geeft er een cijfer aan, legt het neer, en pak je dan het volgende essay op zonder ooit terug te kijken. Je geeft het eerste essay misschien een 85 omdat het goed leek, maar daarna geef je het tweede essay misschien een 90, zelfs als het eigenlijk slechter was, simpelweg omdat je moe was of omdat het eerste echt heel slecht was. Dit wordt "annotator noise" genoemd. Het is alsof je de temperatuur van een kop koffie probeert te beoordelen door er eenmaal aan te voelen, in een koude kamer, zonder thermometer. Het artikel merkt op dat deze methode lijdt onder hoge "annotator noise" en zeer kostbaar is omdat je veel rechters nodig hebt om een betrouwbaar gemiddelde te krijgen.

De Nieuwe Manier: De Fruitmand

De auteurs, onder leiding van Vilém Zouhar en collega's, stelden een nieuwe methode voor genaamd cESA. In plaats van naar één vertaling in een vacuüm te kijken, ziet de annotator meerdere vertalingen van dezelfde brontekst tegelijkertijd. Denk aan een "fruitmand"-aanpak. Als je een licht beschadigde appel naast een perfecte appel ziet, merk je de beschadiging veel sneller op dan wanneer je alleen naar de beschadigde appel zou kijken.

In dit nieuwe systeem kijkt de rechter naar een brontekst (zoals een zin uit een verhaal) en ziet bijvoorbeeld drie verschillende AI-modellen die de vertaling ervan naast elkaar presenteren. De rechter doet vervolgens het volgende:

1. Markeert specifieke "error spans" (de exacte woorden die fout zijn).
2. Beslist of de fout "major" (een grote fout) of "minor" (een klein foutje) is.
3. Geeft een score van 0% tot 100% op basis van een duidelijke schaal.

Het artikel legt uit dat dit werkt vanwege een psychologisch concept genaamd "joint vs. separate evaluation". Wanneer je dingen samen ziet, kun je fouten in één vertaling opmerken door ze met de anderen te vergelijken. Het helpt je ook om de "ruimte van mogelijke vertalingen" te begrijpen, wat je oordeel objectiever maakt. Bovendien hoef je de originele brontekst niet telkens opnieuw te lezen voor elke vertaling, wat een enorme hoeveelheid tijd bespaart.

Het Experiment: De Fruitmand Testen

Om te zien of deze nieuwe methode daadwerkelijk werkte, voerden de onderzoekers een grootschalig experiment uit met Engels-naar-Japanse vertalingen. Ze testten 12 verschillende AI-modellen (waaronder grote namen zoals Gemini, Claude en DeepSeek) met een dataset van 97 segmenten uit nieuws, sociale media en video's.

Ze vergeleken de oude manier (het tonen van één vertaling per keer) met de nieuwe manier (het tonen van 1, 2, 3 of 4 vertalingen tegelijkertijd). Dit is wat ze vonden:

• Snelheid: De nieuwe methode was aanzienlijk sneller. Wanneer er drie modellen tegelijkertijd werden getoond (het "sweet spot"), daalde de gemiddelde tijd om een segment te annoteren van 77,8 seconden naar 53,7 seconden. Dat is een reductie van 31% in tijd per item.
• Kwaliteit: De scores waren stabieler. De onderzoekers maten de "inter-annotator agreement" (hoeveel twee verschillende rechters het met elkaar eens waren) en de "intra-annotator agreement" (hoeveel dezelfde rechter met zichzelf eens was bij een tweede poging). De nieuwe methode liet een hogere overeenstemming zien, wat betekent dat de rechters consistenter waren.
• Het Magische Getal: Ze testten het tonen van 1, 2, 3 en 4 modellen tegelijkertijd. Ze ontdekten dat het tonen van 3 modellen de beste balans was. Van 1 naar 2 modellen gaan bespaarde veel tijd, maar het toevoegen van een 4e model leverde niet veel meer tijdwinst op en maakte het scherm ook een beetje te vol. Drie was het perfecte aantal om de rechters tevreden en efficiënt te houden.

Het Beantwoorden van de "Wat alsjes": Zijn de Rechters Bevooroordeeld?

De onderzoekers maakten zich zorgen dat het zien van de andere vertalingen de rechters zou kunnen misleilen. Ze vroegen zich af: "Als er een echt slechte vertaling naast een goede staat, lijkt de goede dan te goed? Of als er een geweldige naast een slechte staat, lijkt de slechte dan te slecht?"

Ze voerden tests uit om te controleren op twee soorten bias:

1. Positiebias: Krijgt de vertaling aan de linkerkant een hogere score dan de vertaling aan de rechterkant? De data lieten bijna geen verschil zien op basis van positie.
2. Omgevingsbias (Surrounding Bias): Verandert het zien van een "decoy" (een zeer slechte of zeer goede vertaling) de score van de anderen? Ze vonden een kleine effect: als een model naast een veel sterker model stond, daalde de score met gemiddeld ongeveer 0,5 punt. De auteurs merken echter op dat dit heel klein is in vergelijking met de werkelijke verschillen tussen modellen (die wel 10 of 20 punten kunnen zijn), waardoor het er in de praktijk niet toe doet. Het is alsof een hardloper 10 seconden achter de winnaar aan loopt; het maakt niet uit of hij 0,5 seconde langzamer was omdat hij naast een wereldkampioen stond.

Het Vonnis

Het artikel concludeert dat cESA een betere manier is om AI-vertalers te beoordelen. Het is sneller, goedkoper en levert betrouwbaardere scores op. De auteurs suggereren dat iedereen die menselijke evaluaties van vertalingen uitvoert, moet overstappen op het tonen van drie modellen tegelijkertijd. Ze hebben zelfs een eenvoudige tool (genaamd Pearmut) gemaakt die iedereen kan gebruiken om dit nieuwe protocol uit te voeren, inclusief tutorials en richtlijnen.

Uiteindelijk suggereert het artikel dat door rechters de appels in een mand te laten vergelijken in plaats van één voor één, we een veel duidelijker beeld krijgen van welke AI werkelijk de beste is. Het is een eenvoudige verandering in hoe we naar het werk kijken, maar het maakt het hele proces van het beoordelen van machines veel slimmer en mensvriendelijker.