Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages

Dit onderzoek toont aan dat taalmodellen, ondanks instructies en context, moeite hebben om leenwoorden in tien verschillende talen te onderscheiden van inheemse woorden, wat wijst op een vooringenomenheid ten opzichte van leenwoorden en implicaties heeft voor NLP-toepassingen in minderheidstalen.

De kern

Titel: Zijn Taalmodellen Taalblinde? (Of: Waarom AI moeite heeft met 'leende' woorden)

Stel je voor dat je een enorme bibliotheek hebt, gevuld met boeken in tien verschillende talen. In deze bibliotheek zijn woorden uit andere talen 'geleend' en zijn ze zo langzamerhand een vast onderdeel geworden van de taal, net als een vreemde boom die in een nieuw bos is geplant en daar nu volledig thuis lijkt te zijn.

De onderzoekers van dit paper (Mérilin Sousa Silva en Sina Ahmadi) wilden weten of de slimme computerprogramma's (de 'Taalmodellen' of AI's) die we vandaag de dag gebruiken, kunnen zien welk woord een 'geleend' woord is en welk woord 'thuis' hoort.

Hier is wat ze ontdekten, vertaald naar alledaags taalgebruik:

1. Het Probleem: De AI is een 'Taalblinde'

Je zou denken dat een computer die miljarden teksten heeft gelezen, elk woord perfect kan herkennen. Maar nee. De onderzoekers gaven de AI's een opdracht: "Vind alle woorden in deze zin die uit een andere taal zijn gekomen."

Het resultaat? De AI's faalden opvallend vaak. Het was alsof je een kind vraagt om in een volgepropte kamer te zoeken naar de rode ballen, maar het kind ziet ze niet of verwart ze met rode sokken. Zelfs als je de AI heel duidelijk uitlegde wat een 'geleend woord' is (bijvoorbeeld: "een woord dat in de loop der tijd is overgenomen"), konden ze het nog steeds niet goed doen.

De analogie: Stel je voor dat je een gast uitnodigt voor een diner. Je vraagt de gast om te vertellen welke gerechten op het menu 'thuisgemaakt' zijn en welke 'besteld' zijn bij de Chinese afhaal. De AI is die gast die, ondanks dat hij alles heeft gegeten, denkt dat de pizza (die oorspronkelijk uit Italië komt, maar nu in Nederland standaard is) 'thuisgemaakt' is, en dat het woord 'sjaal' (oorspronkelijk Perzisch) 'besteld' is.

2. De Drie Soorten Verwarring

De onderzoekers keken waarom de AI's het zo moeilijk hadden. Ze ontdekten drie grote valkuilen:

• Verwarring met 'Code-Switching' (Taalwisselen):
  Soms zeggen mensen in een gesprek ineens een woord in een andere taal, zoals: "Ik ga naar de party."
  De AI dacht vaak: "Ah, party is een geleend woord!" Maar dat is het niet in deze context; de spreker wisselt gewoon even van taal. De AI zag de 'vreemdheid' van het woord, maar miste de context dat het een bewuste wisseling was.

  • Vergelijking: Het is alsof je iemand ziet met een hoed op en denkt: "Die hoed is zeker van een ander land!" terwijl de persoon de hoed gewoon elke dag draagt als onderdeel van zijn outfit.

• De 'Naam' Valstrik:
  AI's houden van namen. Als ze een woord zagen als NASA of PISA, dachten ze direct: "Dit klinkt als een leenwoord!" Maar dat zijn gewoon namen van organisaties.

  • Vergelijking: Het is alsof je denkt dat "Apple" (het fruit) een leenwoord is omdat het ook een computerbedrijf is. De AI kijkt naar de vorm van het woord, niet naar wat het echt betekent.

• De 'Wetenschappelijke' Valstrik:
  Veel wetenschappelijke woorden komen oorspronkelijk uit het Grieks of Latijn (zoals filosofie of nitraat). Voor de AI was dit een raadsel. Sommige modellen dachten: "Dit klinkt oud en vreemd, dus het is een leenwoord!" Andere modellen dachten: "Nee, dit wordt al eeuwen gebruikt, dus het is gewoon Nederlands."

  • Vergelijking: Het is alsof je een oude, ingeburgerde eik in je tuin ziet en denkt: "Die is zeker pas gisteren geplant omdat hij er zo anders uitziet dan de rest," terwijl hij daar al 100 jaar staat.

3. De Oplossing: Oefening baart Kunst (maar niet perfect)

De onderzoekers probeerden de AI's te trainen met speciale oefeningen (zogenaamde 'fine-tuning'). Ze gaven de computer duizenden voorbeelden van zinnen met geleende woorden.

Het resultaat:

• Zonder training: De AI's waren bijna volledig blind (slechts 1-2% goed).
• Met training: De AI's werden veel beter (tot wel 85% goed).

Het was alsof je een blindeman een kaart geeft en hem laat oefenen. Plotseling ziet hij de weg. Maar zelfs de getrainde AI's maakten nog steeds fouten. Ze vertrouwden te veel op hoe een woord eruitzag (de schrijfwijze) in plaats van wat het betekende in de context.

4. Waarom is dit belangrijk?

Dit klinkt misschien als een klein taalkundig gedoe, maar het heeft grote gevolgen:

• Voor minderheidstalen: Veel talen worden overspoeld door woorden uit machtigere talen (zoals Engels). Als we AI-tools willen bouwen om die minderheidstalen te beschermen of te onderwijzen, moeten we eerst weten welke woorden 'echt' van die taal zijn en welke 'geleend' zijn. Als de AI dit niet kan, helpt hij niet goed bij het behoud van de taal.
• Voor geschiedenis: Woorden vertellen ons hoe culturen met elkaar omgaan. Als AI's dit niet snappen, missen we een stukje van de geschiedenis van de mensheid.

Conclusie

De titel van het paper vraagt: "Zijn Taalmodellen Taalblinde?"
Het antwoord is: Ja, ze zijn nog een beetje blind.

Ze kunnen heel goed zinnen maken en vertalen, maar als je ze vraagt om de 'oorsprong' van een woord te achterhalen, raken ze in de war. Ze zien de 'kleding' van het woord (hoe het eruitziet), maar begrijpen niet de 'geschiedenis' (waar het vandaan komt en hoe het is ingeburgerd).

De boodschap voor de toekomst is duidelijk: we moeten AI's niet alleen leren wat woorden betekenen, maar ook waar ze vandaan komen en hoe mensen ze in het echt gebruiken. Tot die tijd blijven ze een beetje 'taalblinde' gasten in onze bibliotheek.

Technische samenvatting

Probleemstelling

Lexicale leningen (leenwoorden) zijn woorden die uit de ene taal in de andere worden overgenomen en geïntegreerd in het vocabulaire van de ontvangende taal. Hoewel dit fenomeen in de linguïstiek goed bestudeerd is, blijft de automatische identificatie van leenwoorden door NLP-systemen (Natural Language Processing) een uitdaging, vooral voor minderheidstalen die onder druk staan van dominante talen.

De kernvraag van dit onderzoek is of voorgeprogrammeerde Taalmodellen (LLMs) en andere neurale netwerken het vermogen bezitten om leenwoorden te onderscheiden van inheemse woorden, zelfs wanneer ze expliciet hiertoe worden aangezet. Bestaande studies tonen aan dat systemen vaak een bias vertonen naar leenwoorden in generatie- en begripstaken, maar het is onduidelijk of ze deze kunnen identificeren wanneer erom wordt gevraagd.

Methodologie

De auteurs evalueren het vermogen tot leenwoord-identificatie met twee complementaire benaderingen, gebruikmakend van het ConLoan-dataset (een contrastief meertalig dataset met annotaties voor 10 talen: Chinees, Frans, Duits, Grieks, IJslands, Italiaans, Noord-Koerdisch, Portugees, Russisch en Spaans).

1. Prompting van Large Language Models (LLMs):

   • Modellen: Gemini-2.5-Flash-Lite, GPT-4.1 (OpenAI) en Meta-Llama-3-8B-Instruct.
   • Instellingen: Zero-shot en Few-shot (met twee voorbeelden).
   • Prompt-varianten: Drie niveaus van granulariteit in de definitie van een leenwoord:
     • Minimaal: Alleen de instructie om leenwoorden te detecteren.
     • Etymologisch: Definieert leenwoorden op basis van historische overname (Haspelmath & Tadmor, 2009).
     • Gebruiksgebaseerd: Benadrukt conventioneel gebruik door monolinguale sprekers om leenwoorden te onderscheiden van code-switching.
   • Output: De modellen moesten de leenwoorden teruggeven als een Python-lijst van strings.

2. Fine-tuning van Meertalige Encoder-modellen:

   • Modellen: mBERT, XLM-RoBERTa (base en large), en ELECTRA-base (meertalig).
   • Taakformulering: Sequence labeling met BIO-tagging (B-LOAN, I-LOAN, O).
   • Instellingen:
     • Zero-shot: De modellen werden gebruikt als bevroren feature-extractors zonder training.
     • Fine-tuned: Modellen werden getraind op een 80/20 train/test-split van ConLoan met een token-classificatie-head.

Evaluatiemetrics: Precision, Recall en F1-score (geëvalueerd op entiteitsniveau via de seqeval bibliotheek). Er werden zowel strikte als relaxeerde scoringprotocollen gebruikt om variatie in segmentatie door LLMs op te vangen.

Belangrijkste Resultaten

1. Prestatie van LLMs (Prompting):

• De prestaties waren over het algemeen slecht. De gemiddelde F1-scores bleven onder de 0,70 in alle instellingen.
• Gemini presteerde het beste (gemiddelde F1: 0,466), gevolgd door OpenAI (0,41) en Llama (~0,23).
• Few-shot learning had wisselende effecten: het verbeterde de recall in sommige gevallen, maar verlaagde de prestaties bij de meest gedetailleerde prompt (Prompt 3).
• Taalvariatie: Talen met rijke morfologie (Duits, IJslands, Portugees) lieten de laagste scores zien, terwijl talen zoals Chinees, Frans en Italiaans beter scoorden.
• Foutpatronen: Modellen verwarren vaak code-switching met leenwoorden (bijv. het woord "really" in Koerdisch als leenwoord labelen) en omgekeerd (inheemse woorden die Engels lijken, zoals "deal" in Frans, als niet-leenwoord labelen).

2. Prestatie van Fine-tuned Encoders:

• Zero-shot baseline: Ongetrainde modellen presteerden zeer slecht (gemiddelde F1 < 0,02), wat aantoont dat ze geen inherente kennis hebben van deze taak.
• Fine-tuning: Leide tot dramatische verbeteringen. De beste modellen (XLM-RoBERTa Large) bereikten een gemiddelde F1-score van 0,8513.
• Taalvariatie: Romance-talen (Frans, Italiaans, Spaans, Portugees) bereikten de hoogste scores (>0,8), terwijl andere talen ook aanzienlijk verbeterden (van bijna 0 naar >0,7).

3. Systematische Fouten (Analyse):

• Code-switching vs. Leenwoorden: Modellen hebben moeite de nuance te begrijpen tussen tijdelijke taalwisseling en geassimileerde leenwoorden.
• Eigenaardige Namen (Named Entities): Namen van landen, organisaties (bijv. NASA) en acroniemen worden vaak ten onrechte als leenwoorden gemarkeerd.
• Wetenschappelijke/Terminologie: Woorden van Grieks-Latijnse oorsprong die volledig geassimileerd zijn (bijv. "nitraten"), worden soms gemist door fine-tuned modellen of ten onrechte als recente leenwoorden gelabeld door LLMs op basis van etymologie.

Bijdragen

1. Empirisch Bewijs: Het artikel levert het eerste systematische bewijs dat general-purpose LLMs, zelfs met expliciete instructies, niet in staat zijn om leenwoorden betrouwbaar te onderscheiden van inheemse vocabulaire.
2. Evaluatie Framework: Het introduceert een uitgebreide evaluatie over 10 typologisch diverse talen, gebruikmakend van het ConLoan-dataset.
3. Fine-tuning Effectiviteit: Het toont aan dat hoewel fine-tuning de prestaties aanzienlijk verbetert (van ~0,02 naar ~0,85), de taak nog steeds niet volledig opgelost is en specifieke foutpatronen (zoals confusie met code-switching) blijven bestaan.

Significantie en Implicaties

• NLP voor Minderheidstalen: De bevindingen hebben grote gevolgen voor het ontwikkelen van NLP-tools voor talen die onder druk staan van dominante talen. Als systemen leenwoorden niet kunnen identificeren, kunnen ze geen effectieve tools bieden voor taalbehoud of het revitaliseren van inheemse vocabulaire.
• Bias in Modellen: De resultaten bevestigen dat moderne NLP-systemen een bias vertonen naar leenwoorden (vaak van het Engels), wat de integratie van minderheidstalen kan ondermijnen.
• Toekomstig Onderzoek: Het onderzoek suggereert dat leenwoord-detectie meer vereist dan oppervlakkige orthografische of etymologische cues; het vereist een dieper begrip van pragmatische context, sprekerintentie en sociolinguïstische integratie.

Kortom, taalmodellen zijn "leningsblind": ze kunnen de subtiele grens tussen wat een geïntegreerd leenwoord is en wat code-switching of een eigen woord is, niet betrouwbaar trekken zonder specifieke training, en zelfs dan blijven ze vatbaar voor systematische fouten.