Do LLMs Know What Luxembourgish Borrows? Probing Lexical Neology in Low-Resource Multilingual Models

Technische Samenvatting: Weten LLM's wat Luxemburgs leent? Het onderzoeken van lexicaal neologisme in meertalige modellen met beperkte bronnen

Probleemstelling
Grote Taalmodellen (LLM's) worden steeds vaker ingezet voor schrijfhulp in kleine contacttalen zoals Luxemburgs. Het blijft echter onduidelijk of deze modellen de gemeenschapsnormen rondom leenwoorden en neologisme (het creëren van nieuwe woorden) respecteren. Luxemburgs bestaat in een dicht contactgebied met het Duits, Frans en Engels, waar moderne lexicaal groei sterk afhankelijk is van morfologisch en orthografisch aangepaste leenwoorden in plaats van endogene scheppingen. Huidige LLM's, getraind op enorme meertalige corpora, kunnen mogelijk niet onderscheid maken tussen legitieme geïntegreerde leenwoorden, codeswitching en inheemse vocabulaire, waardoor ze aangepaste vormen mogelijk als fouten behandelen of normaliseren naar de brontalen. Deze studie onderzoekt of kant-en-klare meertalige LLM's in staat zijn om inheemse Luxemburgse woorden correct te onderscheiden van leenwoorden uit het Frans, Duits of Engels, en of ze lexicaal innovatie kunnen detecteren.

Methodologie
De auteurs introduceren LexNeo-Bench, een benchmark op token-niveau afgeleid van LuxBorrow, een grootschalig corpus van professioneel geredigeerd Luxemburgs nieuws (RTL, 1999–2025). De benchmark bestaat uit 3.050 instanties waarbij doeltokens zijn gelabeld als NATIVE, FR_LOAN (Frans), DE_LOAN (Duits) of EN_LOAN (Engels). Merk op dat EN_LOAN wordt gebruikt als een diagnostische distractor in prompts, maar wordt uitgesloten van de evaluatiestelling vanwege de lage frequentie.

De studie evalueert drie instructie-geoptimaliseerde meertalige LLM's (Gemma 3 12B, Gemma 3 27B en Llama 3.3 70B) in een bevroren, alleen-prompt setting over 34 configuraties. De evaluatie richt zich op twee taken:

1. Classificatie van Leenwoorden: Een vier-weg classificatietaken (NATIVE, FR_LOAN, DE_LOAN, EN_LOAN).
2. Detectie van Neologisme: Een binaire taak om te bepalen of een token een lexicaal innovatie (leenwoord) vertegenwoordigt of een inheems item.

Om de beperkingen van parametrische kennis aan te pakken, construeren de auteurs een Linguïstische Kennisgrafiek (LKG) die morfologische patronen, een leenwoordenlexicon uit het Lëtzebuerger Online Dictionnaire (LOD) en synoniemparen integreert. Ze vergelijken verschillende prompt-strategieën:

• Zero-shot: Standaard instructies zonder context.
• Few-shot: Instructies met vijf handmatig samengestelde voorbeelden.
• KG_flat: Een globale lijst van 19 productieve morfologische patronen die aan elke prompt wordt toegevoegd.
• KG_graph: Een instantie-specifiek subgrafiek opgehaald uit de LKG, die token-specifieke etymologie, brongegevens, analogieën en contrastieve patronen bevat.

Belangrijkste Bijdragen

1. LexNeo-Bench: De eerste benchmark op token-niveau voor classificatie van leenwoorden in Luxemburgs, afgeleid van een diachronisch nieuws-corpus, met publieke scripts voor extractie en evaluatie.
2. Proxy-taak voor Neologisme: De introductie van een binaire taak voor lexicaal innovatie om het bewustzijn van LLM's over neologisme te onderzoeken, waarbij blijkt dat deze taak zelfs voor sterke modellen uitdagend blijft.
3. Lexicon-bewuste Prompting: Demonstratie dat het injecteren van gestructureerde, door de gemeenschap samengestelde lexicaal bronnen (via kennisgrafieken) de prestaties van LLM's in contactsituaties met beperkte bronnen significant verbetert, en een concrete weg biedt voor het integreren van lexicaal bronnen in LLM-werkstromen.

Resultaten

• Basisprestaties: Zonder externe context presteren LLM's slechts iets boven het toevalsniveau (24,5% – 34,7% nauwkeurigheid) bij de classificatie van leenwoorden, wat aangeeft dat parametrische kennis alleen ontoereikend is voor het onderscheiden van aangepaste leenwoorden in Luxemburgs.
• Invloed van Kennisgrafieken: De KG_graph prompt-strategie verbetert de prestaties dramatisch, waardoor de nauwkeurigheid stijgt naar 71,3% – 81,0%. Deze verbetering wordt toegeschreven aan instantie-specifieke ophaaloperaties in plaats van de blote aanwezigheid van globale patronenlijsten (KG_flat presteerde vergelijkbaar met niet-KG-baselines).
• Modelgrootte en Bias: In tegenstelling tot verwachtingen behaalde het kleinste model (Gemma 3 12B) de hoogste nauwkeurigheid (81,0%) onder KG_graph, en presteerde het beter dan de 27B en 70B modellen. Grotere modellen vertoonden een bias ten opzichte van het overvoorspellen van Duitse leenwoorden (DE_LOAN) en hadden moeite om inheemse woorden te identificeren wanneer grafiekbewijs onvolledig was, wat wijst op sterkere interne priors voor brontalen die in conflict komen met contextueel bewijs.
• Brontal-Bias: Modellen vertoonden een systematische bias naar Duitse oorsprong, waarbij Franse leenwoorden 4,6 keer vaker als Duits werden geclassificeerd dan andersom. Ze voorspelden ook vaak EN_LOAN voor inheemse tokens in zero-shot settings, een bias die werd onderdrukt door KG_graph prompting.
• Detectie van Neologisme: In tegenstelling tot de classificatie van leenwoorden, profiteerde de taak voor neologisme-detectie niet van KG_graph prompting; de prestaties verslechterden zelfs. Few-shot prompting bleef de meest effectieve strategie voor deze taak. De auteurs schrijven dit toe aan het feit dat de LKG structurele oorsprongsinformatie (bron, morfologie) codeert in plaats van diachronische signalen (recentheid, eerste aantekening) die nodig zijn om "neologisme" te definiëren.
• Binair versus Meerklasse: Het onderscheiden van inheemse woorden van elk leenwoord was gemakkelijker (85,5% nauwkeurigheid voor 12B) dan het onderscheiden van de specifieke brontaal, wat aangeeft dat de primaire moeilijkheid ligt in het scheiden van Franse van Duitse leenwoorden in een dicht contactgebied.

Betekenis en Claims
Het artikel stelt dat voor contacttalen met beperkte bronnen lexicon-bewuste prompting essentieel is voor robuuste oordelen over leenwoorden. De studie toont aan dat gestructureerde linguïstische context de schaarste aan pre-training data gedeeltelijk kan compenseren, waardoor zelfs kleinere modellen grotere modellen kunnen overtreffen wanneer ze worden voorzien van instantie-specifiek bewijs. De auteurs merken echter bescheiden op dat hoewel structurele context helpt bij het identificeren van waar een woord vandaan komt, het geen diachronische vragen oplost over wanneer een woord de taal is binnengekomen, wat de bruikbaarheid voor neologisme-detectie beperkt zonder expliciete temporele signalen.

Het werk draagt bij aan de ENEOLI COST Actie door leenwoorden te behandelen als een vorm van lexicaal innovatie en een raamwerk te bieden voor het evalueren hoe meertalige LLM's dergelijke vormen analyseren. De auteurs benadrukken dat deze bronnen beschrijvende hulpmiddelen zijn voor het bestuderen van contactverschijnselen en het testen van modellen, en geen voorschrijvende standaarden voor "correct" taalgebruik. Beperkingen omvatten de afhankelijkheid van een enkele nieuwsbron (wat informele registers ondervertegenwoordigt) en het gebruik van automatische annotatiepijplijnen. Er wordt voorgesteld om het werk uit te breiden door de benchmark uit te breiden naar andere genres en expliciete diachronische signalen te integreren.