Machine translation of modern Chinese poetry into Japanese: A comparative evaluation of LLMs, neural machine translation systems, and prompt strategies

Taal is een uitgestrekt, verschuivend landschap waar betekenis niet alleen door woorden wordt gedragen, maar ook door ritme, stilte en het specifieke gewicht van een frase. Decennialang hebben computers geleerd dit landschap te vertalen, waarbij ze bewogen van rigide, op regels gebaseerde systemen naar neurale netwerken die het vermogen van het menselijk brein om patronen te vinden, nabootsen. Deze moderne systemen, bekend als neurale machinevertaling, zijn bijzonder goed geworden in het omzetten van nieuwsartikelen of technische handleidingen van de ene taal naar de andere, waarbij ze de feiten met hoge precisie vastleggen. Recentelijk is een nieuwe generatie kunstmatige intelligentie, genaand grote taalmodellen genoemd, het veld binnengekomen. In tegen tegenstelling tot hun voorgangers, die specifiek voor vertaling waren getraind, zijn deze modellen algemene denkers die complexe instructies kunnen opvolgen en context kunnen begrijpen op een manier die meer aanvoelt als een gesprek. Ze beloven de rommelige, creatieve delen van taal te kunnen hanteren waar machines normaal gesproken moeite mee hebben. Maar poëzie blijft de ultieme test. Een gedicht is niet alleen een boodschap die gedecodeerd moet worden; het is een ervaring die is opgebend op beeldspraak, culturele nuance en een delicaat evenwicht tussen wat er wordt gezegd en wat er onvermeld blijft. Het vertalen van een gedicht vereist dat een computer meer doet dan woorden uitwisselen; de machine moet een gevoel reconstrueren. Dit roept een moeilijke vraag op: kunnen deze nieuwe, conversationele machines poëzie daadwerkelijk beter vertalen dan de gevestigde instrumenten die we dagelijks gebruiken, en verandert de manier waarop we hen laten werken het resultaat?

Om dit te ontdekken, zetten onderzoekers zich in om de prestaties van deze verschillende systemen te vergelijken op moderne Chinese poëzie, een genre dat bekendstaat om zijn gecondenseerde beeldspraak en emotionele diepgang. Ze kozen een specifieke collectie van twaalf gedichten van de hedendaagse dichter Yu Xiuhua, om er zeker van te zijn dat de teksten vers waren en niet eerder door machines of mensen waren vertaald. Het team zette twee van de meest populaire online vertaaldiensten, die vertrouwen op standaard neurale netwerken, af tegen twee van de leidende grote taalmodellen. Om te zien of de instructies die aan de machines werden gegeven ertoe deden, testten ze de grote taalmodellen onder twee verschillende omstandigheden. In het eerste scenario gaven ze de modellen een eenvoudige, directe opdracht om de tekst te vertalen. In het tweede scenario vroegen ze de modellen om eerst de betekenis van het gedicht in detail uit te leggen voordat ze de vertaling probeerden te maken, een strategie die bedoeld was om de machine te dwingen de context te begrijpen voordat deze woorden genereert. De resulterende vertalingen werden vervolgens geëvalueerd door een panel van acht experts in de Chinese en Japanse literatuur. Deze experts beoordeelden de gedichten niet alleen op de vraag of de betekenis correct was, maar ook op hoe goed de vertaling vloog, of het klonk als een echt gedicht, en in hoeverre het aanvoelde alsof het door een machine was geschreven.

De resultaten toonden een duidelijk voordeel voor de nieuwere, instructievolgende modellen. Wanneer ze een eenvoudige opdracht kregen om te vertalen, produceerden de grote taalmodellen versies die aanzienlijk trouwer waren aan de oorspronkelijke betekenis, veel vloeiender waren in het Japans en veel dichter bij de oorspronkelijke poëtische stijl lagen dan de standaard online vertalers. De standaardinstrumenten produceerden vaak vertalingen die grammaticaal correct waren, maar vlak aanvoelden, waarbij het ritme en het specifieke culturele gewicht van de woorden verloren gingen. De grote taalmodellen leken echter het gedicht als een eenheid als geheel te vatten, waarbij ze de spanning en beeldspraak behielden die poëzie laten resoneren. Bijvoorbeeld, waar een standaardvertaler een rituele frase zou kunnen omzetten in een letterlijke beschrijving van snelheid, slaagden de grote taalmodellen erin de sensatie van een plechtig bevel te behouden, waardoor de spirituele toon van het origineel werd gevangen. Ze vertoonden ook veel minder tekenen van computergeneratie, door de rigide zinsstructuren te vermijden die machinevertaling vaak verraden.

Het verhaal wordt echter complexer wanneer de onderzoekers de instructies wijzigden. Het idee dat het geven van meer context aan een machine — het vragen om eerst het gedicht uit te leggen — altijd zou leiden tot een betere vertaling, bleek onwaar. Het effect van deze "eerst-uitleg"-strategie hing volledig af van welk specifiek model werd gebruikt. Voor een van de grote taalmodellen maakte de extra stap van het uitleggen van het gedicht de vertaling zelfs slechter. De resulterende gedichten werden te expliciet, verloren hun mysterie en poëtische compressie, alsof de machine de tekst te veel had geanalyseerd en de ziel ervan had weggefilterd. Voor het andere model was dezelfde strategie een succes; de uitlegstap hielp het model om zijn gedachten te organiseren, wat leidde tot vertalingen die coherenter en stilistisch sterker waren. Dit suggereert dat er geen enkele "beste" manier is om deze machines aan te sturen. Wat werkt voor het ene systeem kan het andere hinderen, afhankelijk van hoe dat specifieke systeem informatie verwerkt.

Misschien wel de meest verrassende bevinding was wat er gebeurde toen de onderzoekers de twee grote taalmodellen vergeleken nadat ze beiden de gedetailleerde, eerst-uitleg-instructies hadden gekregen. Onder deze specifieke omstandigheden verdween het prestatieverschil tussen de twee modellen. Hoewel ze misschien met verschillende sterktes en zwaktes begonnen, leidde de gedeelde instructie hen naar een vergelijkbaar kwaliteitsniveau. Ze produceerden vertalingen die statistisch ononderscheidbaar waren van elkaar wat betreen nauwkeurigheid, flow en stijl. Dit suggereert dat de manier waarop we een machine vragen te werken net zo belangrijk kan zijn als de machine zelf. In het domein van de poëzievertaling creëert de interactie tussen het interne ontwerp van het model en de menselijke prompt het uiteindelijke resultaat. De studie concludeert dat we niet simpelweg de krachtigste kunstmatige intelligentie kunnen kiezen en verwachten dat deze literatuur perfect zal afhandelen. In plaats daarvan is het vertalen van poëzie met machines een delicate onderhandeling tussen het instrument en de instructies, waarbij het doel is om de specifieke combinatie te vinden die de machine toestaat om afstand te nemen en het gedicht te laten ademen.