An Investigation of Translationese in the Generations of Multilingual Large Language Models

Wanneer iemand spreekt of schrijft in een taal die niet de moedertaal is, dragen hun woorden vaak een subtiele, onzichtbare vingerafdruk met zich mee. Ze gebruiken mogelijk zinsstructuren die enigszins stijf aanvoelen, kiezen woorden die technisch correct maar zelden door locals worden gebruikt, of rangschikken zinnen op een manier die de invloed van de eerste taal verraadt. Linguïsten noemen dit fenomeen "translationese" (vertalingstaal). Het is de voortdurende echo van de oorspronkelijke taal, zichtbaar zelfs wanneer de tekst succesvol is vertaald. Decennialang is dit concept bestudeerd in de menselijke vertaling, waarbij wetenschappers analyseren hoe de handeling van het vertalen de textuur van een taal verandert. Vandaag de dag is er echter een nieuwe vraag ontstaan in het veld van kunstmatige intelligentie. Large language models, de krachtige computersystemen die vloeiend kunnen schrijven in tientallen talen, worden steeds gebruikelijker. Hoewel deze machines tekst kunnen produceren die aan de oppervlakte perfect lijkt, beginnen onderzoekers zich af te vragen of ze werkelijk nadenken in de taal waarin ze schrijven, of dat ze in het geheim alles vertalen vanuit een dominante interne taal, waarschijnlijk Engels, voordat ze het uiteindelijke resultaat produceren. Als ze dit doen, zou hun output dezelfde verborgen vingerafdrukken van vertaling dragen die menselijke vertalers achterlaten.

Een team van onderzoekers zette zich in om deze mogelijkheid te onderzoeken door de door deze kunstmatige intelligentiemodellen gegenereerde tekst te behandelen alsof het een vertaling is. Ze wilden weten of de machines tekst produceerden die klonk alsof deze vertaald was, zelfs wanneer ze werden gevraagd om direct in een specifieke taal te schrijven. Hiervoor verzamelden ze tekstmonsters in vijf verschillende talen: Engels, Duits, Spaans, Grieks en Pasjtoe. Ze creëerden een enorme collectie geschriften die drie verschillende soorten bevatte: tekst die natuurlijk is geschreven door moedertaalsprekers, tekst die daadwerkelijk door mensen is vertaald, en tekst gegenereerd door twee van de meest geavanceerde beschikbare AI-modellen. Ze voegden ook een vierde type toe, waarbij de AI in het Engels schreef en een apart computerprogramma dit naar de doeltaal vertaalde, om te zien hoe dat vergeleken zou worden met de AI die direct in de doeltaal schrijft. De onderzoekers gebruikten vervolgens een geavanceerd computerprogramma dat getraind was om de specifieke patronen van translationese te herkennen. Dit programma was getraind op duizenden voorbeelden van menselijke teksten en menselijke vertalingen, waarbij het leerde de subtiele statistische verschillen te herkennen die een moedertaalspreker van een vertaler onderscheiden.

De resultaten toonden een duidelijk patroon. Wanneer de AI-modellen in het Engels schreven, werd hun tekst zelden als vertaald gemarkeerd, wat suggereert dat ze natuurlijk opereerden in hun dominante taal. Echter, zod{%t de modellen overschakelden naar andere talen, veranderde het verhaal. In het Duits en Spaans vertoonde de door AI gegenereerde tekst sterke tekenen van translationese. Het computerprogramma identificeerde een aanzienlijk deel van de Duitse tekst en een groot deel van de Spaanse tekst als zijnde voorzien van de kenmerkende markers van vertaling. Dit suggereert dat zelfs wanneer de modellen worden aangestuurd om direct in deze talen te schrijven, ze mogelijk vertrouwen op een intern proces dat lijkt op vertaling, waarbij ze misschien eerst in het Engels denken en de ideeën daarna omzetten. Het effect was nog uitgesprokener toen de onderzoekers naar de specifieke woorden keken die de modellen kozen. Ze vonden dat de AI de meest voor de hand liggende, onhandige fouten die mensen zouden maken, vermeed, maar dat het nog steeds moeite had met de subtiele distributie van veelvoorkomende woorden. Bijvoorbeeld, in het Duits gebruikten de modellen bepaalde veelvoorkomende verbindingswoorden in patronen die overeenkwamen met vertaalde tekst in plaats van moedertaal, terwijl ze in het Spaans artikelen zoals "the" (het/de) veel minder frequent gebruikten dan een moedertaalspreker zou doen.

Interessant genoeg hing de mate van dit "vertalingseffect" sterk af van de taal zelf. De modellen presteerden beter in het Grieks en Pasjtoe, twee talen met minder digitale middelen beschikbaar voor training, dan in het Duits en Spaans. In deze talen met minder middelen was de door AI gegenereerde tekst minder waarschijnlijk als vertaald gemarkeerd. De onderzoekers suggereren dat dit kan komen doordat de trainingsdata voor Duits en Spaans een enorme hoeveelheid bestaand vertaald materiaal bevat, die de modellen simpelweg imiteren. In contrast hiermee bevat de trainingsdata voor Grieks en Pasjtoe mogelijk minder vertaalde inhoud, waardoor de modellen meer moeten vertrouwen op de beschikbare native structuren. Het team vroeg ook menselijke lezers om een kleine steekproef van de tekst te beoordelen. Verrassend genoeg waren de mensen vaak niet in staat de translationese te detecteren die het computerprogramma zo gemakkelijk vond. De mensen merkten vooral vreemde woordkeuzes of vreemde combinaties op, terwijl de computer de diepere statistische verschuivingen in de ordening van woorden detecteerde. Dit geeft aan dat hoewel de AI de meest voor de hand liggende fouten misschien verbergt, de onderliggende structuur van het schrijven nog steeds een gebrek aan natuurlijke vloeiendheid verraadt.

De studie concludeert dat deze krachtige taalmodellen nog niet op een werkelijk native manier tekst genereren voor niet-Engelse talen. In plaats daarvan draagt hun output vaak de verborgen handtekening van vertaling, wat suggereert dat hun interne verwerking nog steeds verankerd is aan het Engels. Dit betekent niet dat de modellen falen; ze zijn vaak zeer effectief en nuttig. Het onthult echter een fundamentele beperking in hoe ze leren en opereren. Ze lijken het oppervlakkige niveau van veel talen te beheersen, terwijl ze nog steeds vertrouwen op een centraal, op Engels gebaseerd kader voor hun redenering. De onderzoekers merken op dat deze bevinding helpt verklaren waarom deze modellen soms worstelen met culturele nuances of de natuurlijke flow van een taal die niet Engels is. Door deze verborgen vingerafdrukken te identificeren, biedt de studie een nieuwe manier om de werkelijke kwaliteit van door machines gegenereerde tekst te meten, waarbij men verder gaat dan eenvoudige correctheid om de werkelijke natuurlijkheid van de stem te beoordelen die de machine probeert na te bootsen.