Evaluating GPT -5 Literary Metaphor Translation from English into Arabic through Recognition, Interpretation, and Rendering
Deze studie evalueert de vertaling van literaire metaforen van het Engels naar het Arabisch door GPT-5 met behulp van een fasebewust kader, waarbij wordt onthuld dat hoewel het model uitblinkt in het herkennen en interpreteren van metaforen, het aanzienlijk moeite heeft met het weergeven ervan in vergelijking met zowel DeepL als menselijke vertaling, waardoor een kritieke kloof tussen begrip en creatieve productie in AI wordt blootgelegd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Taal is meer dan een code voor het uitwisselen van feiten; het is een landschap van beelden, waarin een schrijver een zwaar hart als een steen kan beschrijven of een vervagende herinnering als een mist. Wanneer een vertaler een verhaal van de ene naar de andere taal verplaatst, moet hij niet alleen de feiten van de plot overbrengen, maar ook deze delicate beelden. Dit geldt in het bijzonder voor metaforen, de figuurlijke taal die literatuur haar emotionele diepgang geeft. Decennialang waren menselijke vertalers de enigen die werden vertrouwd om dit terrein te navigeren, maar de opkomst van kunstmatige intelligentie heeft het gesprek veranderd. Large language models, de krachtige computersystemen achter moderne chatbots, kunnen nu vloeiende vertalingen produceren die soepel lezen en grammaticaal kloppen. Toch blijft er een cruciale vraag bestaan: wanneer deze machines een metafoor tegenkomen, begrijpen ze dan werkelijk het beeld achter de woorden, of zijn ze simpelweg de meubels aan het verplaatsen terwijl ze het beeld achterlaten?
Onderzoekers aan de Qassim University zetten zich in om dit te beantwoorden door in de zwarte doos van kunstmatige intelligentie te kijken. Ze richtten zich op een specifiek type machine, een model bekend als GPT-5, en testten het vermogen om met de literaire metaforen in Kazuo Ishiguro's roman The Buried Giant om te gaan. In plaats van de machine enkel te vragen een zin te vertalen en het eindresultaat te beoordelen, braken de onderzoekers het proces af in drie afzonderlijke stappen. Eerst vroegen ze de machine om simpelweg te identificeren welke woorden metaforen waren. Ten tweede vroegen ze het om uit te leggen wat die metaforen binnen het verhaal betekenden. Ten slotte vroegen ze om de passage naar het Arabisch te vertalen. Door deze taken te scheiden, kon het team precies zien waar de machine slaagde en waar hij struikelde, in plaats van slechts te gissen waarom een uiteindelijke vertaling zou kunnen falen.
De studie onderzocht 20 metaforische uitdrukkingen uit de eerste twee hoofdstukken van de roman. De resultaten onthulden een verrassende kloof tussen begrijpen en doen. De kunstmatige intelligentie was opmerkelijk goed in de eerste twee stappen. Het identificeerde de metaforen in de tekst correct en gaf nauwkeurige verklaringen van hun betekenis, waarbij het vaak de prestaties van een menselijke expert evenaarde. Het wist dat een "welkome tegengif voor de middagzon" een metafoor was voor verlichting van de hitte, en kon die connectie duidelijk uitleggen. Echter, toen de machine werd gevraagd de passage daadwerkelijk naar het Arabisch te vertalen, daalde de prestatie aanzienlijk. Hoewel het het concept begreep, worstelde het ermee om het beeld in de nieuwe taal te recreëren. In meer dan een derde van de gevallen verwijderde de machine de metafoor volledig, waardoor een levendig beeld veranderde in een droge bewering, of vervormde het de betekenis zodanig dat het oorspronkelijke beeld verloren ging.
Om te zien hoe dit vergeleken kon worden met andere methoden, zetten de onderzoekers de machine af tegen twee andere vertalers: een gespecialiseerde vertaalsoftware genaamd DeepL en een gepubliceerde Arabische vertaling door een professionele menselijke vertaler genaamd Kholoud Amro. De professionele menselijke vertaling was de duidelijke winnaar; zij behield de beeldspraak en de emotionele lading van de oorspronkelijke tekst veel beter dan de machines. De gespecialiseerde software, DeepL, presteerde beter dan de algemene chatbot, maar bleef nog steeds tekort voor de menselijke standaard. De studie toonde aan dat hoewel de chatbot vloeiende zinnen kon produceren, het vaak faalde om de consistentie van beelden door het verhaal heen te handhaven. Als een personage bijvoorbeeld in de ene zin als een "bootman" wordt beschreven, kan de machine hem in de volgende zin een "vaartuig" noemen, wat de flow van het narratief verbreekt. De menselijke vertaler behield daarentegen een consistente en levendige afbeelding gedurende het hele proces.
De onderzoekers identificeerden vier hoofdoorzaken waarom de machines moeite hadden. Ten eerste konden ze vaak niet het juiste equivalente woord in het Arabisch vinden dat dezelfde culturele lading droeg. Ten tweede slaagden ze er niet in om de beelden consistent te houden naarmate het verhaal vorderde. Ten derde begrepen ze soms de context verkeerd, wat leidde tot een vertaling die op zichzelf wel logisch was, maar niet klopte voor het verhaal. Ten slotte, en misschien wel het belangrijkste, ontbrak het de machines aan het vermogen om een metafoor creatief te herbouwen. Wanneer een directe vertaling niet werkte, kan een menselijke vertaler het beeld licht aanpassen om het in de nieuwe taal te laten passen, terwijl het gevoel hetzelfde blijft. De machines neigden echter ofwel strikt aan de oorspronkelijke woorden vast te houden, of het beeld geheel te laten vallen.
Deze studie suggereert dat de huidige manier waarop we kunstmatige intelligentie in vertaling evalueren, te gul kan zijn. Als we alleen kijken naar de vraag of een vertaling vloeiend of grammaticaal correct is, missen we misschien het feit dat de ziel van de tekst — de metaforen en de beeldspraak — verloren is gegaan. De machine kan je vertellen wat een metafoor betekent, maar kan de ervaring van die metafoor nog niet recreëren in een nieuwe taal met dezelfde vaardigheid als een mens. Hoewel deze instrumenten krachtig zijn en verbeteren, missen ze nog steeds het diepe, intuïtieve begrip van cultuur en beeldspraak dat een menselijke vertaler in staat stelt om een verhaal in een andere taal tot leven te wekken. De kloof tussen het herkennen van een metafoor en het succesvol schilderen ervan in een nieuwe taal blijft een aanzienlijke hindernis voor kunstmatige intelligentie om te overwinnen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.