Automated evaluation of LLMs for effective machine translation of Mandarin Chinese to English

Deze paper presenteert een geautomatiseerd evaluatiekader dat semantische en sentimentanalyse gebruikt om de prestaties van verschillende LLM's en Google Translate bij het vertalen van Chinees naar Engels te vergelijken, waarbij wordt geconcludeerd dat hoewel deze modellen goed presteren in nieuwsvertalingen, ze moeite hebben met het behoud van culturele nuances en klassieke verwijzingen in literaire teksten.

De kern

Titel: De Grote Vertaalwedstrijd: Wie vertaalt Chinees het beste naar het Engels?

Stel je voor dat je een enorme bibliotheek hebt met boeken, kranten en verhalen in het Chinees. Je wilt ze allemaal naar het Engels vertalen, maar je hebt geen tijd om ze zelf te lezen en te vertalen. Dus vraag je hulp aan vier digitale "superhelden": Google Translate, GPT-4, GPT-4o en DeepSeek.

De auteurs van dit onderzoek (Yue Zhang en zijn team) wilden weten: wie is de beste vertaler? En belangrijker nog: wie houdt de smaak en het gevoel van het origineel het beste vast?

Hier is wat ze hebben ontdekt, vertaald in een simpel verhaal:

1. De Drie Proefballonnen (De Teksten)

Om de vertalers te testen, gaven ze hen drie heel verschillende soorten "eten" om te verteren:

• Het Nieuws (De Globale Times): Dit is als een strakke, zakelijke maaltijd. Alles is duidelijk, feitelijks en zonder veel poespas.
  • Resultaat: Alle vier de vertalers deden het hier bijna perfect. Het is alsof ze allemaal een recept volgden; er was weinig ruimte voor fouten.
• De Moderne Roman (Rode Sorghum): Dit is als een pittig, regionaal gerecht. Het bevat dialect, sterke emoties en een verhaal dat soms wild en chaotisch is.
  • Resultaat: Hier kregen ze het wat lastiger. Ze vertaalden de feiten goed, maar soms misten ze de "kruiden" (de cultuur en de sfeer).
• Het Klassieke Boek (Droom van de Rode Kamer): Dit is de zwaarste proef. Het is als proberen een eeuwenoud, verfijnd Chinees gedicht te vertalen naar het Engels, vol met oude metaforen, poëzie en complexe sociale hiërarchieën.
  • Resultaat: Hier zagen ze de grootste verschillen. Het was alsof ze probeerden een olifant in een theepot te proppen. Veel vertalers verloren de diepte en de subtiliteit kwijt.

2. De Meetlat: Hoe testen ze ze?

In plaats van dat een mens urenlang elke zin leest (wat te lang duurt), gebruikten de onderzoekers slimme computerprogramma's als BERT en MPNet.

Stel je voor dat deze programma's twee dingen checken:

1. De Betekenis (Semantiek): "Zegt de vertaling hetzelfde als het origineel?" (Alsof je kijkt of de puzzelstukjes passen).
2. Het Gevoel (Sentiment): "Voelt de vertaling zich net zo blij, verdrietig of grappig als het origineel?" (Alsof je kijkt of de muziek in de tekst hetzelfde blijft).

3. De Winnaars en Verliezers

• Google Translate: Doet het prima voor nieuws, maar bij klassieke literatuur wordt het een beetje "stroef". Het vertaalt woorden letterlijk, maar mist vaak de diepere betekenis van oude spreekwoorden. Het is alsof iemand die een woordenboek raadpleegt, maar de grap niet begrijpt.
• GPT-4 en GPT-4o: Deze zijn heel sterk en doen het vaak goed. Maar ze hebben een klein probleem: ze neigen ertoe om alles te veel "positief" of "grappig" te maken. Ze verliezen soms de subtiele, donkere of neutrale gevoelens die in de originele tekst zaten.
• DeepSeek: Dit is de verrassende winnaar van dit onderzoek.
  • Waarom? DeepSeek lijkt de "cultuur" beter te begrijpen. Bij de moeilijke klassieke teksten (Droom van de Rode Kamer) hield DeepSeek de oude titels en respectvolle aanspreekvormen beter vast dan de anderen.
  • Het was ook het beste in het behouden van de niet-te-positieve gevoelens. Waar de anderen alles een beetje vrolijker maakten, hield DeepSeek de echte, soms sombere of neutrale sfeer van het boek vast.

4. De Grote Les: "Goed" vs. "Perfect"

De onderzoekers ontdekten iets interessants:

• Bij nieuws zijn alle vertalers bijna even goed. Het is een opgelost probleem.
• Bij literatuur (vooral klassiek) is het nog steeds een enorme uitdaging. Hier zie je dat de verschillen tussen de vertalers enorm worden.

Een mooie metafoor uit het onderzoek:
Stel je voor dat je een Chinees gedicht vertaalt.

• Een slechte vertaler zegt: "De maan is rond." (Feitelijk goed, maar saai).
• Een goede vertaler zegt: "De volle maan schijnt op de jade leuning." (Dichterbij het origineel).
• De beste vertaler (in dit geval DeepSeek) voelt ook de nostalgie die de dichter bedoelde, zonder dat je dat direct in woorden kunt vangen.

Conclusie

Deze studie zegt ons dat AI (kunstmatige intelligentie) al heel ver is gekomen. Voor zakelijke teksten en nieuws kunnen we de machines volledig vertrouwen. Maar voor de schoonheid van oude verhalen, poëzie en culturele nuances, zijn ze nog niet helemaal "menselijk" genoeg.

DeepSeek heeft zich in dit onderzoek bewezen als de meest gevoelige vertaler, die beter begrijpt dat vertalen niet alleen woorden uitwisselen is, maar ook het behoud van de ziel van de tekst. Maar zelfs de beste AI heeft nog moeite met de allerzwaarste culturele puzzels.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Automated evaluation of LLMs for effective machine translation of Mandarin Chinese to English", geschreven in het Nederlands.

Titel: Geautomatiseerde evaluatie van LLM's voor effectieve machinevertaling van Mandarijn Chinees naar Engels

1. Probleemstelling

Hoewel Large Language Models (LLM's) uitstekende prestaties leveren in machinevertaling, ontbreekt er een systematische, geautomatiseerde beoordeling van de vertaalkwaliteit, vooral voor complexe taalkoppels zoals Mandarijn Chinees naar Engels.

• Uitdagingen: Menselijke evaluatie door experts is tijdrovend en niet schaalbaar gezien de snelle evolutie van LLM's en de noodzaak van diverse teksttypes voor een eerlijke beoordeling.
• Taalkundige complexiteit: Chinees en Engels verschillen fundamenteel in morfologie (Chinees heeft weinig inflexie, Engels veel), woordvolgorde, en het ontbreken van woordgrenzen (segmentatieproblemen).
• Culturele en literaire nuances: Bestaande systemen hebben moeite met het behoud van culturele specificiteiten, klassieke referenties (zoals in Droom van de Rode Kamer), idiomatische uitdrukkingen (chengyu) en emotionele nuance, wat leidt tot vertaalfouten die niet alleen semantisch, maar ook emotioneel en stilistisch zijn.
• Huidige beperkingen: Traditionele metrieken zoals BLEU scoren vaak slecht op semantische overeenkomst bij morfologisch verschillende talen. Er is een gebrek aan vergelijkend onderzoek tussen Google Translate en geavanceerde LLM's (GPT-4, GPT-4o, DeepSeek) over verschillende genres.

2. Methodologie

De auteurs ontwikkelden een multidimensionaal evaluatiekader dat geautomatiseerde machine learning technieken combineert met menselijke expertreferenties.

• Datasets: Drie representatieve tekstgenres werden geselecteerd:

  1. Nieuws: Artikelen uit Global Times (gestructureerde, formele taal).
  2. Klassieke literatuur: Droom van de Rode Kamer (Hónglóumèng) (klassiek Chinees, poëzie, complexe hiërarchieën).
  3. Moderne fictie: Rode Sorghum van Mo Yan (magisch realisme, regionale dialecten, emotionele complexiteit).
  • Referentie: Menselijke expertvertalingen werden gebruikt als "ground truth" (respectievelijk H. Bencraft Joly, Howard Goldblatt en de officiële Engelstalige uitgaven van Global Times).

• Vertalingssystemen: Vier systemen werden vergeleken:

  • Google Translate (via API).
  • GPT-4 en GPT-4o (via OpenAI API).
  • DeepSeek (via API).

• Evaluatiekader (8 Stappen):

  1. Data-extractie en standaardisatie: UTF-8 codering en behoud van alinea-structuur.
  2. Generatie: Vertalingen gegenereerd via API's met consistente prompts.
  3. Preprocessing: Verwijdering van stopwoorden om focus te leggen op betekenisvolle woordcombinaties.
  4. N-gram analyse: Analyse van bigrams en trigrams om lexische keuzes en patronen te vergelijken.
  5. Sentimentanalyse: Gebruik van een BERT-gebaseerd model (fine-tuned op het SenWave dataset) voor classificatie van 9 emoties (optimistisch, dankbaar, empathisch, pessimistisch, angstig, verdrietig, geïrriteerd, ontkenning, humor).
  6. Semantische analyse: Berekening van de Cosine Similarity tussen machinevertalingen en expertvertalingen met behulp van een MPNet-model.
  7. Visualisatie en statistiek: Generatie van sentimentverdelingen en berekening van significante verschillen.
  8. Integratie: Koppeling van semantische nauwkeurigheid met emotionele trouw.

• Metrieken:

  • BERT-Score: Voor token-level overeenkomst (precision, recall, F1).
  • Cosine Similarity: Voor alinea-level semantische consistentie (0 = geen overeenkomst, 1 = perfect).
  • Sentiment Deviation: Afwijking in de verdeling van positieve, neutrale en negatieve emoties ten opzichte van de expert.

3. Belangrijkste Bijdragen

• Uitgebreid Vergelijkend Onderzoek: Eén van de eerste studies die Google Translate, GPT-4, GPT-4o en DeepSeek systematisch vergelijkt over drie zeer verschillende Chinese tekstgenres.
• Multidimensionaal Kader: Integratie van semantische similariteit, sentimentanalyse en n-gram analyse om niet alleen de "juistheid" maar ook de "kwaliteit" (emotionele en culturele nuance) te meten.
• Genre-specifieke Inzichten: Het kwantificeren van hoe de prestaties van modellen variëren naargelang de complexiteit van de tekst (nieuws vs. klassieke literatuur).
• Openbare Reproductie: Alle code, data en resultaten zijn openbaar beschikbaar gesteld via een GitHub-repository.

4. Resultaten

• Semantische Similariteit:

  • Nieuws: Alle systemen presteerden zeer hoog (gemiddeld ~0.95), met een minimale spreiding. DeepSeek leidde licht (0.9534). Dit suggereert dat nieuwsvertaling voor deze modellen een "opgelost probleem" is.
  • Moderne Fictie: Prestaties daalden (gemiddeld ~0.73-0.80). DeepSeek scoorde het beste (0.7978), gevolgd door GPT-4o.
  • Klassieke Literatuur: De grootste daling (gemiddeld ~0.70-0.77). DeepSeek toonde een duidelijke superioriteit (0.7689) ten opzichte van Google Translate (0.6987), met een gat van ~7 procentpunten.
  • Conclusie: Hoe complexer de tekst (culturele diepgang, klassieke taal), hoe groter het prestatieverschil tussen de modellen.

• Sentimentanalyse:

  • Nieuws: Goede overeenstemming met expertvertalingen.
  • Literatuur: LLM's neigden naar een positieve polarisatie. Ze reduceerden neutrale emoties (die in klassieke literatuur vaak impliciet zijn) en verhoogden het aandeel van humor en positieve emoties.
  • DeepSeek: Toonde de kleinste afwijking in sentimentverdeling en behield neutrale emoties beter dan de andere modellen, wat dichterbij de expertreferentie lag.
  • Humor: LLM's detecteerden vaak meer humor dan de expert, wat wijst op een misinterpretatie van cultureel nuancevolle ironie of zelfspot.

• Kwalitatieve Analyse:

  • Bij klassieke idioom en poëzie faalden systemen vaak (soms <0.30 similariteit).
  • DeepSeek toonde een beter begrip van metaforen en culturele context (bijv. in Droom van de Rode Kamer behield het aristocratische titels beter dan Google Translate).
  • Bij expliciete vloektaal of taboes (bijv. in Rode Sorghum) weigerden GPT-modellen vaak te vertalen, terwijl DeepSeek probeerde maar de viscerale urgentie miste.

5. Betekenis en Conclusie

• DeepSeek Superioriteit: DeepSeek presteerde consistent beter dan de concurrenten, vooral bij complexe, cultureel beladen teksten. Dit suggereert dat de architectuur of training van DeepSeek beter is afgestemd op het behoud van culturele en stilistische nuances.
• Semantiek vs. Emotie: De studie toont aan dat een hoge semantische score niet garandeert dat de emotionele toon behouden blijft. Modellen neigen ertoe om ambiguïteit in literaire werken te vereenvoudigen naar duidelijke positieve/negatieve labels.
• Toekomstperspectief: Hoewel machinevertaling voor gestandaardiseerde teksten (nieuws) bijna menselijk is, blijft de vertaling van klassieke literatuur en cultureel specifieke inhoud een open uitdaging.
• Aanbeveling: Evaluatiekaders moeten evolueren van puur statistische metrieken naar holistische benaderingen die rekening houden met culturele competentie, emotionele trouw en narratieve coherentie.

Samenvattend biedt dit onderzoek een robuust, geautomatiseerd raamwerk om de voortgang van LLM's in machinevertaling te monitoren en benadrukt het dat, hoewel de technologie snel vordert, het behoud van de "ziel" van een tekst (cultuur, emotie, stijl) nog steeds een significant obstakel vormt voor alle huidige modellen.