Do LLMs Know What Luxembourgish Borrows? Probing Lexical Neology in Low-Resource Multilingual Models

Sintesi Tecnica: Gli LLM Sanno Cosa Presta il Lussemburghese? Sonda la Neologia Lessicale nei Modelli Multilingue a Risorse Limitate

Enunciato del Problema
I Modelli Linguistici di Grande Dimensione (LLM) sono sempre più impiegati per l'assistenza alla scrittura in lingue di contatto a risorse limitate come il lussemburghese. Tuttavia, rimane incerto se questi modelli rispettino le norme della comunità riguardo al prestito lessicale e alla neologia (la creazione di nuove parole). Il lussemburghese esiste in una zona di contatto densa con il tedesco, il francese e l'inglese, dove la crescita lessicale moderna si basa pesantemente su prestiti adattati morfologicamente e ortograficamente piuttosto che su coniazioni endogene. Gli attuali LLM, addestrati su corpora multilingue massicci, potrebbero non riuscire a distinguere tra prestiti integrati legittimi, code-switching e vocabolario nativo, trattando potenzialmente le forme adattate come errori o normalizzandole nuovamente verso le lingue donatrici. Questo studio indaga se gli LLM multilingue pronti all'uso possano correttamente identificare le parole native lussemburghesi rispetto ai prestiti dal francese, dal tedesco o dall'inglese, e se possano rilevare l'innovazione lessicale.

Metodologia
Gli autori introducono LexNeo-Bench, un benchmark a livello di token derivato da LuxBorrow, un corpus su larga scala di notizie lussemburghesi redatte professionalmente (RTL, 1999–2025). Il benchmark è composto da 3.050 istanze in cui i token target sono etichettati come NATIVE (Nativo), FR_LOAN (Francese), DE_LOAN (Tedesco) o EN_LOAN (Inglese). Si noti che EN_LOAN è utilizzato come distrattore diagnostico nei prompt ma è escluso dal set di valutazione a causa della bassa frequenza.

Lo studio valuta tre LLM multilingue istruiti (Gemma 3 12B, Gemma 3 27B e Llama 3.3 70B) in una configurazione congelata, solo prompt, attraverso 34 configurazioni. La valutazione si concentra su due compiti:

1. Classificazione del Prestito: Un compito di classificazione a quattro vie (NATIVE, FR_LOAN, DE_LOAN, EN_LOAN).
2. Rilevamento della Neologia: Un compito binario che determina se un token rappresenta un'innovazione lessicale (prestito) o un elemento nativo.

Per affrontare le limitazioni della conoscenza parametrica, gli autori costruiscono un Grafo di Conoscenza Linguistica (LKG) che integra pattern morfologici, un lessico di prestiti dal Lëtzebuerger Online Dictionnaire (LOD) e coppie di sinonimi. Confrontano diverse strategie di prompting:

• Zero-shot: Istruzioni standard senza contesto.
• Few-shot: Istruzioni con cinque esempi curati manualmente.
• KG_flat: Un elenco globale di 19 pattern morfologici produttivi aggiunti a ogni prompt.
• KG_graph: Un sottografo specifico dell'istanza recuperato dall'LKG, contenente etimologia specifica del token, metadati del donatore, analoghi e pattern contrastivi.

Contributi Chiave

1. LexNeo-Bench: Il primo benchmark a livello di token per la classificazione dei prestiti in lussemburghese, derivato da un corpus di notizie diacronico, con script pubblici per l'estrazione e la valutazione.
2. Compito Proxy di Neologia: L'introduzione di un compito binario di innovazione lessicale per sondare la consapevolezza degli LLM sulla neologia, rivelando che questo compito rimane impegnativo anche per modelli potenti.
3. Prompting Consapevole del Lessico: Dimostrazione che l'iniezione di risorse lessicali strutturate e curate dalla comunità (tramite grafi di conoscenza) migliora significativamente le prestazioni degli LLM in contesti di contatto a risorse limitate, offrendo una via concreta per integrare risorse lessicali nei flussi di lavoro degli LLM.

Risultati

• Prestazioni di Base: Senza contesto esterno, gli LLM performano solo leggermente sopra il caso (24,5% – 34,7% di accuratezza) nella classificazione dei prestiti, indicando che la conoscenza parametrica da sola è insufficiente per distinguere i prestiti adattati in lussemburghese.
• Impatto dei Grafi di Conoscenza: La strategia di prompting KG_graph migliora drasticamente le prestazioni, innalzando l'accuratezza al 71,3% – 81,0%. Questo miglioramento è attribuito al recupero specifico dell'istanza piuttosto che alla semplice presenza di elenchi globali di pattern (KG_flat ha performato in modo simile ai baseline senza KG).
• Scala del Modello e Bias: Contrariamente alle aspettative, il modello più piccolo (Gemma 3 12B) ha raggiunto la massima accuratezza (81,0%) sotto KG_graph, superando i modelli da 27B e 70B. I modelli più grandi hanno mostrato un bias verso la sovrastima dei prestiti tedeschi (DE_LOAN) e hanno faticato a identificare le parole native quando le prove del grafo erano incomplete, suggerendo prior interne più forti per le lingue donatrici che confliggono con le prove contestuali.
• Bias del Donatore: I modelli hanno mostrato un bias sistematico verso origini tedesche, classificando erroneamente i prestiti francesi come tedeschi a un tasso 4,6 volte superiore al contrario. Hanno anche previsto frequentemente EN_LOAN per token nativi in impostazioni zero-shot, un bias soppresso dal prompting KG_graph.
• Rilevamento della Neologia: A differenza della classificazione dei prestiti, il compito di rilevamento della neologia non ha beneficiato del prompting KG_graph; anzi, le prestazioni sono peggiorate. Il prompting few-shot è rimasto la strategia più efficace per questo compito. Gli autori attribuiscono ciò al fatto che l'LKG codifica informazioni sull'origine strutturale (donatore, morfologia) piuttosto che segnali diacronici (recentezza, prima attestazione) necessari per definire la "neologia".
• Binario vs Multiclasse: Distinguere le parole native da qualsiasi prestito era più facile (85,5% di accuratezza per il 12B) che distinguere la specifica lingua donatrice, indicando che la difficoltà principale risiede nel separare i prestiti francesi da quelli tedeschi in una zona di contatto densa.

Significato e Affermazioni
Il documento afferma che per le lingue di contatto a risorse limitate, il prompting consapevole del lessico è essenziale per giudizi robusti sui prestiti. Lo studio dimostra che il contesto linguistico strutturato può compensare parzialmente i dati di pre-addestramento scarsi, permettendo anche a modelli più piccoli di superare quelli più grandi quando forniti di prove specifiche dell'istanza. Tuttavia, gli autori notano modestamente che, mentre il contesto strutturale aiuta a identificare da dove proviene una parola, non risolve le questioni diacroniche riguardanti quando una parola è entrata nella lingua, limitandone l'utilità per il rilevamento della neologia senza segnali temporali espliciti.

Il lavoro contribuisce all'Azione COST ENEOLI trattando il prestito come una forma di innovazione lessicale e fornendo un quadro per valutare come gli LLM multilingue analizzano tali forme. Gli autori sottolineano che queste risorse sono strumenti descrittivi per studiare i fenomeni di contatto e sottoporre i modelli a stress test, non standard prescrittivi per un uso "corretto" della lingua. Le limitazioni includono la dipendenza da una singola fonte di notizie (sottorappresentando registri informali) e l'uso di pipeline di annotazione automatica. Si propone un lavoro futuro per estendere il benchmark ad altri generi e integrare segnali diacronici espliciti.