Pun Intended: Multi-Agent Translation of Wordplay with Contrastive Learning and Phonetic-Semantic Embeddings for CLEF JOKER 2025 Task 2

Stel je voor dat je een grap probeert te vertalen van de ene taal naar de andere, maar de grap leunt op een woord dat tegelijkertijd naar twee verschillende dingen klinkt. In het Engels zou je kunnen zeggen: "I'm reading a book on anti-gravity. It's impossible to put down!" De humor komt voort uit de frase "put down", wat zowel "ophouden met vasthouden" als "op een oppervlak plaatsen" betekent. Als je dit letterlijk naar het Frans vertaalt, verlies je de dubbele betekenis en sterft de grap. Dit is de lastige wereld van "puns" (woordspelingen), een vorm van woordspeling waarbij één woord twee betekenissen heeft of klinkt als een ander woord. Decennialang waren computers hier erg slecht in omdat ze getraind zijn om letterlijk te zijn, zoals een robot die een recept exact volgt maar geen gevoel voor humor heeft. Ze proberen woorden één-op-één te vervangen, wat vaak de clou vernietigt. Maar wat als we computers konden leren om minder als robots en meer als komieken te zijn, begrijpend dat je soms de regels van vertaling moet breken om de grap levend te houden?

Dit artikel, getiteld "Pun Intended", is een rapport van een team onderzoekers van Georgia Tech die deelnamen aan een wedstrijd genaamd CLEF JOKER 2025. Hun doel was om Engelse woordspelingen naar het Frans te vertalen met behulp van de nieuwste, krachtigste computerbreinen (genaamd Large Language Models). In plaats van de computer alleen maar te vragen om te "vertalen", bouwden ze een driestappen systeem ontworpen om de geest van de grap te vangen in plaats van alleen de woordenboekdefinities.

Eerst probeerden ze een "baseline" benadering, waarbij ze verschillende AI-modellen simpelweg vroegen om Franse woordspelingen te genereren en een tweede AI gebruikten om als rechter op te treden, om te controleren of het resultaat daadwerkelijk een grap was of gewoon een saaie zin. Dit was als het vragen aan een groep vrienden om een grap te vertellen en één vriend die knikte of het grappig was. Hoewel dit redelijk werkte, weken de grappen vaak te ver af van het oorspronkelijke verhaal.

Om het beter te doen, bouwden ze een "guided chain-of-thought" pijplijn. Denk hierbij aan het geven van een kaart en een kompas aan de computer. Ze leerden de AI om eerst het lastige woord te identificeren, vervolgens naar de twee verschillende betekenissen ervan te zoeken, en tot slot een speciaal wiskundig hulpmiddel te gebruiken genaamd "phonetic-semantic embeddings". Dit hulpmiddel is als een supergevoelig oor gecombineerd met een woordenboek; het helpt de computer om Franse woorden te vinden die niet alleen de juiste dingen betekenen, maar ook qua klank lijken op de oorspronkelijke Engelse woorden. Het is alsoals proberen een Frans woord te vinden dat klinkt als "cat" maar "dog" betekent, gewoon om te zien of je er een grap van kunt maken.

Ten slotte voegden ze een "multi-agent" systeem toe. Stel je een panel voor van vier verschillende rechters, elk met een specifieke taak: één controleert of de betekenis juist is, één controleert of de vertaling natuurlijk klinkt, één controleert de emotie, en één controleert of het authentiek aanvoelt. Deze rechters gaven niet alleen een score; ze gaven feedback. Als de grap niet echt grappig was of de vertaling onhandig was, schreef het systeem het opnieuw en probeerde het opnieuw, tot wel vijf keer, totdat het panel tevreden was.

De resultaten waren fascinerend. Wanneer de onderzoekers standaard computertests gebruikten (die meten hoe nauwkeurig de nieuwe zin woord voor woord overeenkomt met de oude), scoorde hun systeem eigenlijk vrij laag. Dit komt omdat hun systeem bewust de letterlijke vertaling vermeed om de humor levend te houden. Echter, toen echte menselijke experts die vloeiend Frans spreken de grappen lazen, eindigde het team met hun systeem op de eerste en tweede plaats van de 51 teams. De mensen hielden van de grappen omdat ze daadwerkelijk grappig waren en logisch waren in het Frans, zelfs als ze niet precies leken op de Engelse originelen.

Het artikel suggereert dat om succesvol woordspelingen te vertalen, we moeten stoppen met proberen perfecte vertalers te zijn en moeten beginnen met het worden van creatieve partners. De onderzoekers ontdekten dat hoewel de nieuwste AI-modellen erg goed zijn in het opsporen waar een woordspeling zit, ze hulp nodig hebben om de juiste Franse woorden te vinden die ook qua klank en betekenis kloppen. Door een "gids" te combineren die naar klanken en betekenissen kijkt, en een "panel" van rechters die de grap verfijnen, hebben ze aangetoond dat computers kunnen leren om grappen te vertellen die werken over verschillende talen heen. Ze hebben het probleem niet opgelost om elke enkele woordspeling perfect te vertalen, maar ze hebben bewezen dat het verschuiven van het doel van "letterlijke nauwkeurigheid" naar "grappige equivalentie" de juiste weg is.