Non Monotonic Cross Lingual Representational Distances for Culturally Specific Japanese Concepts in Two Transformer Models

In de digitale geesten van moderne kunstmatige intelligentie bestaat een uitgestrekt, onzichtbaar landschap waar woorden en ideeën niet worden opgeslagen als definities, maar als punten in een ruimte. Onderzoekers noemen deze punten "representaties". Wanneer een computer een zin leest, vertaalt hij de tekst naar een lange lijst met getallen die de betekenis van die zin beschrijft in relatie tot alles wat hij weet. Als twee ideeën zeer vergelijkbaar zijn, liggen hun punten in deze ruimte dicht bij elkaar; als ze verschillend zijn, liggen ze ver uit elkaar. Jarenlang wisten wetenschappers al dat deze machines informatie tussen talen kunnen verplaatsen, waarbij ze een gedachte van het Engels naar het Japans of Spaans vertalen zonder de kernvorm te verliezen. Maar een hardnekkige vraag blijft bestaan: behandelt de machine een cultureel uniek idee op dezelfde manier als een standaard idee? Laat de specifieke smaak van een cultuur, met haar unieke sociale regels en waarden, een duidelijke afdruk achter in hoe de machine de woorden "ziet", of vlakt de machine die verschillen simpelweg weg?

Deze vraag dreef een recente studie die in twee populaire modellen voor kunstmatige intelligentie keek om te zien hoe zij omgaan met twintig specifieke Japanse concepten die diep geworteld zijn in hun cultuur. Dit zijn niet zomaar gewone woorden; dit zijn termen zoals giri, wat een diep gevoel van sociale plicht beschrijft, of wa, wat verwijst naar de harmonie van een groep. De onderzoekers wilden weten of de interne kaart van de machine van deze ideeën er anders uitzag wanneer het concept in de oorspronkelijke Japanse taal werd gepresenteerd vergeleken met wanneer het in het Engels of Spaans werd beschreven. Ze vroegen niet of de machine de woorden correct kon vertalen, maar hoe de afstand tussen de ideeën veranderde terwijl de informatie door de verschillende lagen van het computerebrein reisde.

Om het antwoord te vinden, zetten de onderzoekers een zorgvuldig experiment op met behulp van twee verschillende AI-modellen, waarvan er één iets groter was dan de andere. Ze namen twintig van deze cultureel specifieke Japanse concepten en maakten vier verschillende versies van een prompt voor elk concept. De eerste was de originele Japanse zin. De tweede was een directe, woord-voor-woord Engelse vertaling van die Japanse zin. De derde was een Spaanse vertaling van de standaard Engelse basislijn. De vierde was een door elkaar gehusselde versie van de Japanse tekst, waarbij de volgorde van de interne code van de computer werd gehusseld om de betekenis te verbreken terwijl dezelfde letters en klanken behouden bleven. Door deze vier versies in de modellen te voeren, kon het team meten hoe ver de resulterende interne punten verwijderd waren van een standaard Engelse basislijn. Ze maten deze afstand bij elke stap, of "laag", van de verwerking van het model, van het allereerste moment dat de tekst werd gelezen tot het laatste moment voordat een antwoord werd gegenereerd.

De resultaten onthulden een patroon dat verrassend consistent was over de hele linie, ongeacht de taal of het specifieke concept. Terwijl de informatie door de lagen van de modellen bewoog, veranderde de afstand tussen de ideeën niet simpelweg kleiner of groter in een rechte lijn. In plaats daarvan volgde het een curve. De afstand begon hoog, daalde naar een laag punt heel vroeg in het proces, en begon vervolgens weer te stijgen naarmate de informatie zich richting het einde bewoog. Deze "dip en stijging" kwam voor bij de Japanse prompts, de Spaanse prompts, de letterlijke Engelse vertalingen en zelfs de door elkaar gehusselde Japanse tekst. Het feit dat de gehusselde tekst, die geen echte betekenis had, hetzelfde patroon vertoonde, suggereert dat dit gedrag een fundamentele eigenschap is van hoe deze modellen elke sequentie van tokens verwerken, in plaats van een speciale handtekening van culturele diepgang.

Echter, toen de onderzoekers zich concentreerden op een specifiek middenstuk van de lagen van het model, kwam er een duidelijk verschil aan het licht. In dit bereik waren de Japanse prompts die de cultureel specifieke concepten bevatten consequent verder verwijderd van de Engelse basislijn dan de andere versies dat waren. Of het nu ging om een vergelijking van Japans met letterlijk Engels of Japans met Spaans, de Japanse ideeën namen een meer afstandelijke positie in binnen de interne ruimte van de machine. Dit was een meetbaar en significant verschil, waarbij de Japanse concepten merkbaar verder buiten de basislijn lagen. Dit gold voor alle twintig concepten in beide geteste modellen. De gegevens toonden aan dat de machine deze cultureel rijke ideeën niet als identiek aan hun Engelse beschrijvingen behandelde; het hield ze op een duidelijke afstand, wat suggereert dat de culturele inkadering of de specifieke linguïstische structuur van de Japanse input een blijvende afdruk achterliet op de representatie.

Ondanks dit duidelijke verschil, stopt de studie bij de verklaring dat de machine de cultuur niet begrijpt of de betekenis niet kan vertalen. De onderzoekers merkten zorgvuldig op dat de Japanse prompts niet alleen verschilden van de Engelse door de cultuur, maar ook door de taal, de zinsstructuur en de specifieke motivaties die in de tekst werden beschreven. Omdat zoveel factoren tegelijkertijd veranderden, is het onmogelijk om met zekerheid te zeggen dat de extra afstand uitsluitend werd veroorzaakt door de culturele uniciteit van de woorden. Het zou net zo goed het resultaat kunnen zijn van de taal zelf of de manier waarop de zinnen werden geconstrueerd. Bovendien betekende het feit dat de gehusselde tekst ook de vroege dip en latere stijging vertoonde, dat het niet-monotone patroon geen unieke vingerafdruk van culturele betekenis is.

De studie concludeert dat hoewel deze modellen wel laagafhankelijke verschillen vertonen in hoe zij cultureel specifieke Japanse concepten representeren, de redenen voor die verschillen een mix blijven van taal, structuur en cultuur die met dit experiment alleen niet volledig gescheiden kunnen worden. De machine vlakt alle culturele nuances niet simpelweg af tot één enkel punt; het behoudt een meetbare afstand voor deze specifieke ideeën. Toch bewijst deze afstand niet dat de machine de betekenis heeft verloren of dat het worstelt met de cultuur. Het laat simpelweg zien dat de interne geometrie van deze modellen complex en gevoelig is voor de specifieke manier waarop een concept wordt ingekaderd. De bevindingen bieden een nauwkeurige kaart van waar deze ideeën zich in de geest van de machine bevinden, maar laten de diepere vraag waarom ze daar zitten, en wat die afstand werkelijk betekent voor het menselijk begrip, als een open uitnodiging voor toekomstig onderzoek.