Multilingual LLMs Struggle to Link Orthography and Semantics in Bilingual Word Processing

De studie toont aan dat meertalige grote taalmodellen moeite hebben met het koppelen van orthografie en semantiek bij tweetalige woordverwerking, waarbij ze vooral bij interlinguale homografen sterk afhankelijk zijn van schriftelijke gelijkenissen in plaats van betekenisbegrip.

De kern

Wanneer Woorden Leugenachtig Zijn: Waarom AI's Bilingualiteit Moeilijk Vindt

Stel je voor dat je een enorme bibliotheek hebt waar alle woorden van de wereld in staan. Voor een mens die twee talen spreekt (bijvoorbeeld Nederlands en Engels), is deze bibliotheek één grote, gemengde ruimte. Woorden die op elkaar lijken, staan vaak dicht bij elkaar.

Deze studie kijkt naar hoe Artificiële Intelligentie (AI) – specifiek de slimme taalmodellen zoals die van ons – omgaat met deze "gemengde bibliotheek". De onderzoekers wilden weten: Begrijpen deze AI's echt wat woorden betekenen, of kijken ze alleen maar naar hoe ze eruitzien?

Om dit te testen, gebruikten ze drie soorten "woordparen" tussen talen zoals Engels, Spaans, Frans en Duits. Laten we ze vergelijken met drie soorten vrienden op een feestje:

1. De Tweeling (Cognaten)

Dit zijn woorden die er bijna hetzelfde uitzien én hetzelfde betekenen in twee talen.

• Voorbeeld: Soup (Engels) en Sopa (Spaans). Beide betekenen "soep".
• De AI-reactie: Dit is makkelijk voor de AI. Het is alsof je een tweeling ziet; ze lijken op elkaar, dus de AI denkt: "Ah, dit is hetzelfde!" De AI doet dit heel goed.

2. De Vreemdelingen (Non-cognaten)

Woorden die hetzelfde betekenen, maar er totaal anders uitzien.

• Voorbeeld: Pot (Engels) en Olla (Spaans). Beide zijn een pot, maar de naam is anders.
• De AI-reactie: De AI moet hier even nadenken, maar het lukt meestal wel.

3. De Bedriegers (Interlinguale Homografen)

Dit is het echte probleem. Dit zijn woorden die er precies hetzelfde uitzien, maar heel iets anders betekenen in een andere taal.

• Voorbeeld: Het woord Gift.
  • In het Engels betekent het: "Een cadeautje".
  • In het Duits betekent het: "Vergif".
• De AI-reactie: Hier gaat het mis. De AI kijkt naar het woord, ziet dat het op "cadeautje" lijkt (want dat is wat ze vaak in hun training hebben gezien), en negeert de context. Het is alsof je iemand ziet met een giftig glimlachje en denkt: "Hij is zo vriendelijk!", terwijl hij eigenlijk een mes vasthoudt.

Wat Vonden Ze? De Grote Ontmaskering

De onderzoekers deden drie proeven om de AI te testen:

1. De "Wie is wie?" Test (Woorden los van elkaar)
Ze gaven de AI twee woorden en vroegen: "Betekenen deze hetzelfde?"

• Resultaat: De AI was slim genoeg om te zien dat Soup en Sopa hetzelfde zijn. Maar bij de "bedriegers" (zoals Gift) faalde de AI. Ze deden vaak alsof ze wisten dat het een cadeautje was, zelfs als het in een Duitse zin zat.
• Conclusie: De AI kijkt te veel naar de vorm (hoe het woord eruitziet) en te weinig naar de betekenis. Ze vertrouwen op hun ogen, niet op hun verstand.

2. De "Wat betekent dit?" Test (Betekenis ophalen)
Ze vroegen de AI: "Wat betekent dit woord?" en gaven twee opties.

• Resultaat: De AI deed het niet veel beter dan een gok. Het maakte geen verschil of het woord een "tweeling" was of een "bedrieger".
• Conclusie: De AI heeft eigenlijk geen echte connectie met de echte wereld. Het heeft woorden geleerd als statistische patronen (zoals een papegaai die zinnen nabootst), niet als dingen met een echte betekenis. Het kan de betekenis niet echt "ophalen" uit zijn geheugen.

3. De "Context Test" (Woorden in een zin)
Dit was de belangrijkste test. Ze gaven de AI een zin in het Engels, maar met een Duits woord erin dat erop leek.

• Voorbeeld: "The dog drank the Gift." (De hond dronk het Gift/Vergif).
  • In het Engels zou dit "cadeautje" zijn, maar dat past niet bij "drinken".
  • In het Duits is het "vergif", wat wel past.
• Resultaat: De AI had moeite om de context te gebruiken. Als de zin in het Engels was, dacht de AI vaak: "Het is een cadeautje!" en negeerde het feit dat je geen cadeautjes drinkt. Ze lieten zich te makkelijk leiden door het woord zelf, in plaats van de hele zin.

De Grote Leerles: Waarom is dit belangrijk?

De onderzoekers vergelijken de AI met een mens die twee talen spreekt. Mensen hebben een "geïntegreerd brein": als ze het woord Gift zien, weten ze direct dat het in het Duits "vergif" betekent als de context daar om vraagt.

De AI's doen dit niet. Ze zijn te veel gefocust op hoe woorden eruitzien (de orthografie) en te weinig op wat ze echt betekenen (de semantiek). Het is alsof de AI een boek leest waarbij ze alleen naar de letters kijken, maar de verhalen niet echt begrijpen.

Samengevat in één zin:
Deze slimme computers zijn goed in het herkennen van woorden die op elkaar lijken, maar ze worden slordig en verwarrend wanneer woorden er hetzelfde uitzien maar iets anders betekenen, omdat ze te veel vertrouwen op hun "ogen" en te weinig op hun "verstand".

Dit betekent dat we nog niet klaar zijn voor AI's die perfect meedoen in een gesprek waar mensen spontaan van taal wisselen (zoals in een druk café). Ze moeten nog leren om echt te begrijpen wat er gezegd wordt, en niet alleen hoe het eruitziet.

Technische samenvatting

Titel: Meertalige LLMs worstelen met het koppelen van orthografie en semantiek bij tweetalige woordverwerking

1. Het Probleem

Hoewel Large Language Models (LLMs) bijna menselijke prestaties hebben bereikt in grammatica en zinbegrip in het Engels, is hun cognitieve capaciteit voor tweetalige verwerking nog onvoldoende onderzocht. Menselijke tweetaligheid wordt gekenmerkt door een geïntegreerd mentale lexicon waar woorden uit twee talen gelijktijdig geactiveerd kunnen worden. Dit leidt tot specifieke fenomenen:

• Cognaten: Woorden met een vergelijkbare spelling en betekenis in twee talen (bijv. blind in Engels en Duits). Deze worden door mensen sneller verwerkt ("cognate facilitation").
• Interlinguale homografen: Woorden die er hetzelfde uitzien maar een verschillende betekenis hebben in twee talen (bijv. gift betekent "cadeau" in het Engels maar "gif" in het Duits). Deze veroorzaken verwarring en remmen de verwerking bij mensen.

De centrale vraag is of multilinguale LLMs deze complexe interactie tussen orthografie (spelling) en semantiek (betekenis) kunnen repliceren, of dat ze puur vertrouwen op oppervlakkige spelformaten in plaats van diepgaand begrip.

2. Methodologie

De auteurs hebben drie nieuwe experimentele taken ontworpen, geïnspireerd op psycholinguïstische experimenten (zoals de Lexical Decision Task), om vijf populaire meertalige LLMs te evalueren: BLOOMZ, Mistral, LLaMA-2, LLaMA-3 en LLaMA-3.1.

De studie richtte zich op drie taalparen: Engels-Spaans, Engels-Frans en Engels-Duits. De dataset bestond uit 420 woordparen per taalpaar, verdeeld over cognaten, niet-cognaten en interlinguale homografen.

De drie experimentele taken waren:

1. Woordpaar-disambiguatie: De modellen moesten bepalen of twee woorden (één uit elke taal) dezelfde betekenis hebben (True/False). Dit werd gedaan in isolatie.
2. Semantisch oordeel: De modellen moesten de juiste betekenis van een woord kiezen uit twee opties (één correct, één incorrect). Dit testte het vermogen om semantische informatie op te halen zonder contextuele hints.
3. Semantische beperking in zinnen: De modellen kregen zinnen met een "incongruente" situatie (bijv. een Engelse zin met een Spaans doelwoord dat een homograaf is). Ze moesten de taal van het woord identificeren, de betekenis bepalen en beoordelen of de zin logisch was. Er werden zinnen met lage en hoge semantische beperking gebruikt om te zien hoe context de verwerking beïnvloedt.

Daarnaast werd een token-overlapanalyse uitgevoerd om te meten hoe sub-woord tokens door de modellen worden gedeeld tussen de verschillende woordtypes.

3. Belangrijkste Resultaten

• Sterke prestaties bij Cognaten, zwakke prestaties bij Homografen:
  De modellen presteerden uitstekend in het herkennen van cognaten en niet-cognaten in isolatie (vaak >90% nauwkeurigheid). Echter, bij het disambiguëren van interlinguale homografen presteerden de meeste modellen (behalve BLOOMZ) onder het willekeurige niveau (bijv. ~25-37% nauwkeurigheid in plaats van 50%). Dit suggereert dat modellen sterk vertrouwen op orthografische overeenkomsten in plaats van semantisch begrip. Als woorden er hetzelfde uitzien, gaan ze er ten onrechte van uit dat ze dezelfde betekenis hebben.

• Gebrek aan correlatie tussen orthografie en semantiek:
  Er werd geen correlatie gevonden tussen het vermogen om woordparen te disambiguëren en het vermogen om de juiste betekenis te herkennen (gemeten via conditionele entropie). Dit betekent dat een model dat goed is in het herkennen van woordparen, niet per se de betekenis van die woorden begrijpt.

• Semantisch Oordeel:
  In de taak voor semantisch oordeel presteerden de modellen over het algemeen matig (rond de 50-60%), zonder significante voordelen voor cognaten. Dit weerlegt de hypothese dat orthografische gelijkenis helpt bij het ophalen van betekenis; in tegenstelling tot mensen, profiteren LLMs niet van "cognate facilitation" bij het begrijpen van betekenis.

• Contextuele Verwerking en Correctie:
  Bij het verwerken van zinnen met homografen toonden de modellen een tweeledige strategie:

  • Voor niet-Engelse homografen in Engelse zinnen, gebruikten ze vaak "Correctie Type 2": ze herkenden dat het woord niet tot de contexttaal behoorde, maar gebruikten de Engelse context om de juiste betekenis af te leiden.
  • Voor Engelse homografen in niet-Engelse zinnen faalden ze vaak. Ze negeerden de context en bleven vastzitten aan de Engelse betekenis, zelfs als de zin hierdoor onlogisch werd.
  • De modellen hadden moeite om de taal van het woord correct te identificeren wanneer dit in conflict was met de context, en neigden vaak om de betekenis van de contexttaal toe te passen.

4. Bijdragen en Significatie

• Kritische Beperking in Meertaligheid: Het paper toont aan dat multilinguale LLMs, ondanks hun indrukwekkende taalvaardigheid, fundamenteel worstelen met de koppeling tussen orthografie en semantiek bij tweetalige woorden. Ze gedragen zich meer als statistische patronenherkenners dan als systemen met een geïntegreerd mentale lexicon zoals bij mensen.
• Validatie van het BIA+ Model: De bevindingen ondersteunen het Bilingual Interactive Activation Plus (BIA+) model uit de psycholinguïstiek, maar tonen ook aan dat LLMs de "non-selectieve" activatie (waarbij beide talen tegelijk actief zijn) niet op een menselijke manier hanteren. Ze lijden onder interferentie van homografen in plaats van dit te overwinnen met context.
• Implicaties voor AI-ontwikkeling: De studie suggereert dat huidige trainingmethoden (voorspellen van het volgende token) onvoldoende zijn om diepgaande semantische gronding ("grounding") te creëren. Voor betere meertalige AI-systemen is het nodig om modellen te trainen die semantische relaties sterker koppelen aan orthografische vormen, en die beter kunnen redeneren in contexten waar de taal van het woord en de zin verschillen.
• Open Data: De auteurs hebben de dataset (woorden, betekenissen en zinnen) en de broncode openbaar gemaakt, wat een waardevol hulpmiddel is voor toekomstig onderzoek naar meertalige cognitieve modellen.

Conclusie:
Multilinguale LLMs zijn momenteel niet in staat om de complexe dynamiek van tweetalige woordverwerking na te bootsen zoals mensen dat doen. Ze vertrouwen te sterk op oppervlakkige orthografische signalen, wat leidt tot ernstige fouten bij het begrijpen van woorden die er hetzelfde uitzien maar verschillende betekenissen hebben in verschillende talen. Dit onderstreept de noodzaak van nieuwe trainingsparadigma's die semantische gronding en contextueel redeneren in meertalige settings verbeteren.