Estonian WinoGrande Dataset: Comparative Analysis of LLM Performance on Human and Machine Translation

Probleemstelling

Het WinoGrande-dataset is een veelgebruikt benchmark voor het evalueren van het gezond verstand-redeneren (commonsense reasoning) van grote taalmodellen (LLMs). Echter, het dataset is uitsluitend in het Engels, wat de evaluatie beperkt tot die taal. Hoewel LLMs steeds meertaliger worden, ontbreekt er een vergelijkbare benchmark voor talen als het Ests.

Een gebruikelijke aanpak om benchmarks voor andere talen te creëren, is het vertalen van het bestaande dataset met behulp van machinevertaling (MT). Het paper identificeert echter drie kritieke problemen met deze aanpak:

1. Vertaalfouten en artefacten: MT-systemen introduceren vaak onnauwkeurigheden die de taak onoplosbaar maken of modellen toestaan om op grammaticale cues in plaats van redenering te vertrouwen.
2. Gebrek aan lokale adaptatie: MT mist mechanismen voor culturele en regionale aanpassing. Voorbeelden die in het Engels logisch zijn, kunnen voor Estse sprekers onbegrijpelijk zijn als ze verwijzen naar specifieke Amerikaanse of niet-Europese contexten.
3. Complexiteit van de taak: WinoGrande vereist een strikte behoud van semantische nuance, grammaticale overeenstemming (in het Ests een agglutinerende taal met 14 naamvallen) en lexicaal overlap tussen "tweelingzinnen". Machinevertaling faalt vaak in het behoud van deze structurele integriteit.

Methodologie

De auteurs hebben een vergelijkende studie uitgevoerd met drie versies van het WinoGrande-testset (1.767 voorbeelden) in het Ests:

1. Menselijke Vertaling (Human Translated - HT):

   • Vertaald door een masterstudent in vertaalkunde en gereviseerd door een professioneel vertaler.
   • Proces: Omvatte niet alleen vertaling, maar ook localisatie (aanpassing van geografische locaties, namen, voedsel en dieren aan Estse cultuur) en correctie van oorspronkelijke fouten in het dataset.
   • Aanpassingen: 53 voorbeelden werden cultureel aangepast en 89 voorbeelden werden gecorrigeerd vanwege ambiguïteit of foutieve labels in het origineel.
   • Kwaliteitscontrole: Inter-annotator overeenstemming werd gemeten (Cohen's kappa van 0,816), wat wijst op een zeer hoge betrouwbaarheid.

2. Machine Vertaling - Eenvoudige Prompt (MT Simple):

   • Genereerd met GPT-4o/4.1 via een korte, generieke zero-shot vertaalaanvraag.

3. Machine Vertaling - Gedetailleerde Prompt (MT Detailed):

   • Genereerd met een geavanceerde prompt die specifiek was ontworpen om de problemen van de eenvoudige versie aan te pakken (bijv. instructies voor naamvalsvervoeging, behoud van lexicaal overlap tussen tweelingzinnen, en culturele vervanging van namen).

Evaluatie:
De auteurs testten een reeks van 12 modellen (zowel propriëtaire als open-source, variërend van klein tot zeer groot) op alle vier de dataset-versies (Engels origineel, HT, MT Simple, MT Detailed).

Belangrijkste Bijdragen

• Het eerste handmatig vertaalde en cultureel aangepaste WinoGrande-dataset voor het Ests: Een hoogwaardig benchmark dat geschikt is voor de evaluatie van redeneervermogen in een mid-resource Finno-Ugriese taal.
• Kritische analyse van machinevertaling voor benchmarks: Het paper demonstreert dat machinevertaling, zelfs met geavanceerde prompt engineering, niet in staat is om een dataset te produceren die semantisch en grammaticaal gelijkwaardig is aan een door experts vertaalde versie.
• Identificatie van dataset-fouten: Het paper blootlegde en corrigeerde 89 fouten in het oorspronkelijke Engelse dataset, wat de kwaliteit van de benchmark voor alle talen verbetert.
• Inzicht in de impact van semantische verschuivingen: Het kwantificeert hoeveel voorbeelden hun oorspronkelijke betekenis verliezen tijdens machinevertaling en hoe dit de modelprestaties beïnvloedt.

Resultaten

• Menselijke vs. Machine Vertaling: Modellen presteerden significant slechter op de machine-vertaalde versies vergeleken met de menselijk vertaalde versie.
  • Propriëtaire modellen presteerden ongeveer even goed op het Engels en de menselijk vertaalde Estse versie (gemiddeld verschil van 0,4%).
  • Open-source modellen presteerden gemiddeld 5,5% slechter op de menselijk vertaalde Estse versie dan op het Engels.
  • Op de machine-vertaalde versies daalde de prestatie van alle modellen aanzienlijk (bijv. propiëtaire modellen daalden met ~6-7% ten opzichte van de menselijke versie).
• Effect van Prompt Engineering: Het gebruik van een gedetailleerde prompt leidde tot slechts marginale verbeteringen in de vertaalkwaliteit en modelprestaties. De prestatieverschillen tussen "Simple" en "Detailed" MT waren verwaarloosbaar.
• Impact van Correcties en Adaptatie:
  • Op de subset van gecorrigeerde voorbeelden (89 stuks) presteerden modellen op de menselijke versie veel beter dan op het Engelse origineel (wat de kwaliteit van het origineel in twijfel trok).
  • Op de machine-vertaalde versie van deze gecorrigeerde subset daalde de prestatie zelfs tot onder het willekeurig gokniveau (chance level), wat aantoont dat fouten in het origineel worden versterkt door MT.
• Semantische Verschuiving: Ongeveer 15,2% van de machine-vertaalde voorbeelden (bij eenvoudige prompt) had een veranderde betekenis. Modellen presteerden duidelijk slechter op deze voorbeelden, maar zelfs op voorbeelden waar de betekenis behouden bleef, waren de scores lager dan bij menselijke vertaling, wat wijst op andere verborgen artefacten.

Betekenis en Conclusie

Het paper concludeert dat het vertrouwen op machinevertaling voor het creëren van benchmarks voor gezond verstand-redeneren onbetrouwbaar is. De resultaten tonen aan dat:

1. Prompt engineering niet voldoende is: Zelfs met gedetailleerde instructies kunnen LLMs geen dataset vertalen die de complexiteit, culturele nuance en grammaticale consistentie van menselijke vertalingen evenaart.
2. Rol van taalspecialisten: Voor betrouwbare evaluaties van taalvaardigheid en redeneren in LLMs is de betrokkenheid van taalspecialisten essentieel voor vertaling, localisatie en kwaliteitsborging.
3. Interpretatie van resultaten: Prestaties op machine-vertaalde datasets kunnen misleidend zijn; een model kan een goed antwoord geven op een semantisch vervormde vraag, maar dit geeft geen inzicht in het werkelijke redeneervermogen.

Het gepubliceerde Estse dataset is een waardevolle toevoeging aan de NLP-gemeenschap voor het evalueren van meertalige modellen en benadrukt de noodzaak van menselijke interventie bij het creëren van hoogwaardige benchmarks.