Do LLMs Know What Luxembourgish Borrows? Probing Lexical Neology in Low-Resource Multilingual Models

Résumé technique : Les LLM savent-ils ce que le luxembourgeois emprunte ? Sonde de la néologie lexicale dans les modèles multilingues à ressources limitées

Énoncé du problème
Les modèles de langage de grande taille (LLM) sont de plus en plus déployés pour l'assistance à la rédaction dans des langues de contact à faible ressources comme le luxembourgeois. Cependant, il reste incertain de savoir si ces modèles respectent les normes communautaires concernant l'emprunt lexical et la néologie (la création de nouveaux mots). Le luxembourgeois existe dans une zone de contact dense avec l'allemand, le français et l'anglais, où la croissance lexicale moderne repose largement sur des emprunts morphologiquement et orthographiquement adaptés plutôt que sur des créations endogènes. Les LLM actuels, entraînés sur d'immenses corpus multilingues, peuvent échouer à distinguer entre les mots d'emprunt légitimes intégrés, le code-switching et le vocabulaire natif, traitant potentiellement les formes adaptées comme des erreurs ou les normalisant vers les langues donneuses. Cette étude examine si des LLM multilingues hors boîte peuvent correctement identifier les mots luxembourgeois natifs par rapport aux emprunts en provenance du français, de l'allemand ou de l'anglais, et s'ils peuvent détecter l'innovation lexicale.

Méthodologie
Les auteurs introduisent LexNeo-Bench, un benchmark au niveau des tokens dérivé de LuxBorrow, un corpus à grande échelle de nouvelles luxembourgeoises éditées professionnellement (RTL, 1999–2025). Le benchmark se compose de 3 050 instances où les tokens cibles sont étiquetés comme NATIVE, FR_LOAN (français), DE_LOAN (allemand) ou EN_LOAN (anglais). Notez que EN_LOAN est utilisé comme distracteur diagnostique dans les invites mais est exclu de l'ensemble d'évaluation en raison de sa faible fréquence.

L'étude évalue trois LLM multilingues adaptés aux instructions (Gemma 3 12B, Gemma 3 27B et Llama 3.3 70B) dans un cadre figé, uniquement par invite, à travers 34 configurations. L'évaluation se concentre sur deux tâches :

1. Classification des emprunts : Une tâche de classification à quatre voies (NATIVE, FR_LOAN, DE_LOAN, EN_LOAN).
2. Détection de la néologie : Une tâche binaire déterminant si un token représente une innovation lexicale (emprunt) ou un élément natif.

Pour pallier les limites des connaissances paramétriques, les auteurs construisent un Graphique de Connaissances Linguistiques (LKG) intégrant des motifs morphologiques, un lexique d'emprunts issus du Lëtzebuerger Online Dictionnaire (LOD) et des paires de synonymes. Ils comparent plusieurs stratégies d'invite :

• Zero-shot : Instructions standard sans contexte.
• Few-shot : Instructions avec cinq exemples manuellement sélectionnés.
• KG_flat : Une liste globale de 19 motifs morphologiques productifs ajoutée à chaque invite.
• KG_graph : Un sous-graphe spécifique à l'instance récupéré depuis le LKG, contenant l'étymologie spécifique au token, les métadonnées de la langue donneuse, des analogues et des motifs contrastifs.

Contributions clés

1. LexNeo-Bench : Le premier benchmark au niveau des tokens pour la classification des emprunts en luxembourgeois, dérivé d'un corpus de nouvelles diachronique, avec des scripts publics pour l'extraction et l'évaluation.
2. Tâche proxy de néologie : L'introduction d'une tâche binaire d'innovation lexicale pour sonder la conscience de la néologie des LLM, révélant que cette tâche reste difficile même pour des modèles puissants.
3. Invitation consciente du lexique : Démonstration que l'injection de ressources lexicales structurées et curées par la communauté (via des graphes de connaissances) améliore considérablement les performances des LLM dans des contextes de contact à ressources limitées, offrant une voie concrète pour intégrer des ressources lexicales dans les flux de travail des LLM.

Résultats

• Performance de base : Sans contexte externe, les LLM ne performent que légèrement au-dessus du hasard (24,5 % – 34,7 % de précision) sur la classification des emprunts, indiquant que les connaissances paramétriques seules sont insuffisantes pour distinguer les emprunts adaptés en luxembourgeois.
• Impact des graphes de connaissances : La stratégie d'invite KG_graph améliore considérablement les performances, portant la précision à 71,3 % – 81,0 %. Cette amélioration est attribuée à la récupération spécifique à l'instance plutôt qu'à la simple présence de listes de motifs globales (KG_flat a performé de manière similaire aux bases sans KG).
• Échelle du modèle et biais : Contrairement aux attentes, le plus petit modèle (Gemma 3 12B) a atteint la précision la plus élevée (81,0 %) sous KG_graph, surpassant les modèles 27B et 70B. Les modèles plus grands ont montré un biais en faveur de la sur-prédiction des emprunts allemands (DE_LOAN) et ont eu du mal à identifier les mots natifs lorsque les preuves du graphe étaient incomplètes, suggérant des priors internes plus forts pour les langues donneuses qui entrent en conflit avec les preuves contextuelles.
• Biais des donneurs : Les modèles ont montré un biais systématique vers les origines allemandes, classant à tort les emprunts français comme allemands à un taux 4,6 fois plus élevé que l'inverse. Ils ont également fréquemment prédit EN_LOAN pour des tokens natifs dans des invites zero-shot, un biais supprimé par l'invite KG_graph.
• Détection de la néologie : Contrairement à la classification des emprunts, la tâche de détection de la néologie n'a pas bénéficié de l'invite KG_graph ; en fait, les performances se sont dégradées. L'invite few-shot est restée la stratégie la plus efficace pour cette tâche. Les auteurs attribuent cela au fait que le LKG encode des informations sur l'origine structurelle (donneur, morphologie) plutôt que des signaux diachroniques (récence, première attestation) nécessaires pour définir la « néologie ».
• Binaire vs Multi-classe : Distinguer les mots natifs de n'importe quel emprunt était plus facile (85,5 % de précision pour le 12B) que de distinguer la langue donneuse spécifique, indiquant que la difficulté principale réside dans la séparation des emprunts français et allemands dans une zone de contact dense.

Signification et affirmations
L'article affirme que pour les langues de contact à ressources limitées, l'invitation consciente du lexique est essentielle pour des jugements d'emprunt robustes. L'étude démontre qu'un contexte linguistique structuré peut partiellement compenser des données de pré-entraînement clairsemées, permettant même aux modèles plus petits de surpasser les plus grands lorsqu'ils sont fournis avec des preuves spécifiques à l'instance. Cependant, les auteurs notent modestement que si le contexte structurel aide à identifier d'où vient un mot, il ne résout pas les questions diachroniques concernant quand un mot est entré dans la langue, limitant son utilité pour la détection de la néologie sans signaux temporels explicites.

Ce travail contribue à l'Action COST ENEOLI en traitant l'emprunt comme une forme d'innovation lexicale et en fournissant un cadre pour évaluer comment les LLM multilingues analysent de telles formes. Les auteurs soulignent que ces ressources sont des outils descriptifs pour étudier les phénomènes de contact et tester rigoureusement les modèles, et non des normes prescriptives pour un usage « correct » de la langue. Les limites incluent la dépendance à une seule source de nouvelles (sous-représentant les registres informels) et l'utilisation de pipelines d'annotation automatique. Un travail futur est proposé pour étendre le benchmark à d'autres genres et intégrer des signaux diachroniques explicites.