Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages

Questo studio dimostra che i modelli linguistici preaddestrati, inclusi i grandi modelli linguistici, falliscono nel distinguere i prestiti linguistici dal vocabolario nativo in dieci lingue, rivelando un pregiudizio verso i prestiti che ha implicazioni critiche per gli strumenti NLP dedicati alle lingue minoritarie.

L'essenziale

🕵️‍♂️ I Detective delle Parole: I Robot Capiscono davvero l'Origine delle Parole?

Immagina che le lingue siano come delle grandi città viventi. Nel tempo, queste città si scambiano merci, idee e... parole. Quando una parola arriva da un'altra città (un'altra lingua) e si stabilisce qui, diventando parte della vita quotidiana, la chiamiamo prestito linguistico (o loanword).

Pensa alla parola italiana "computer". È inglese, vero? Eppure la usiamo ogni giorno come se fosse nostra. O pensa a "pizza", che è italiana ma usata in tutto il mondo. Gli esseri umani, specialmente quelli che parlano più lingue, hanno un "fiuto" naturale: sanno distinguere se una parola è nata qui o se è arrivata da fuori, anche se ora sembra di casa.

Ma cosa succede se chiediamo a un intelligenza artificiale (un modello linguistico come quelli che usi per scrivere email o fare ricerche) di fare lo stesso detective?

🤖 L'Esperimento: "Sei un Detective?"

Gli autori di questo studio (due ricercatori dell'Università di Zurigo) hanno messo alla prova diversi "cervelli digitali" (tra cui modelli molto famosi come Gemini, GPT e Llama) con un compito molto specifico: trovare le parole prese in prestito in 10 lingue diverse, dal cinese all'islandese, passando per il curdo del nord.

Hanno usato un trucco interessante: hanno dato alle macchine due tipi di istruzioni:

1. Semplici: "Trova le parole prese in prestito."
2. Dettagliate: "Ricorda che un prestito è una parola che è entrata nella storia della lingua e ora è usata da tutti, anche da chi parla solo quella lingua."

📉 Il Risultato: I Robot sono "Ciechi" alle Origini

Ecco la sorpresa: i robot sono andati molto male.

Anche quando gli si spiegava benissimo la regola, i modelli faticavano terribilmente a distinguere una parola nativa da una presa in prestito.

• L'analogia: È come se chiedessi a un robot di guardare una foto di una famiglia e dirmi chi è il nonno biologico e chi è il cugino adottato. Il robot guarda i vestiti (l'aspetto della parola) e dice: "Oh, questo sembra straniero!", anche se in realtà è nato lì. Oppure dice: "Questo è locale!", anche se è arrivato ieri.

I risultati sono stati deludenti: i modelli hanno ottenuto punteggi bassi, spesso sotto il 50% di correttezza. Significa che, in molti casi, indovinavano a caso.

🔍 Perché sbagliano? I Tre "Trabocchetti"

Lo studio ha scoperto perché questi detective digitali falliscono. Ecco i tre ostacoli principali, spiegati con metafore:

1. Il Confuso "Code-Switching" (Il cambio di lingua improvviso)

   • La situazione: Immagina una persona che parla in italiano ma, per un attimo, usa una parola inglese perché le viene in mente, tipo: "Ho fatto un meeting stamattina".
   • L'errore: L'IA spesso pensa che quella parola sia un prestito integrato (come "computer"), mentre in realtà è solo un cambio di lingua momentaneo (come se qualcuno avesse urlato una parola in un'altra lingua durante una festa). L'IA non capisce l'intenzione della persona, vede solo la parola e la etichetta male.

2. I Nomi Propri e le Cose Speciali

   • La situazione: Parole come "NASA", "PISA" o nomi di città.
   • L'errore: L'IA pensa: "Questa parola sembra straniera, quindi è un prestito!". Ma in realtà sono nomi propri o acronimi. L'IA confonde un "nome di un posto" con una "parola presa in prestito". È come se pensasse che "Roma" sia una parola presa in prestito dall'italiano perché suona diversa da "città".

3. Le Parole Scientifiche (I "Falsi Amici" della Storia)

   • La situazione: Parole come "nitrati" o "filosofia". Sono nate dal greco o dal latino, ma in italiano le usiamo da secoli come parole nostre.
   • L'errore: L'IA guarda la storia antica e dice: "Ah, questa viene dal greco! È un prestito!". Ma per un parlante italiano moderno, quella parola è nativa. L'IA è troppo fissata con l'etimologia (la storia della parola) e non capisce che oggi quella parola è "di casa".

🛠️ Possiamo "Addestrare" i Robot?

Gli autori hanno provato a "insegnare" meglio ai robot, mostrandogli esempi specifici (una tecnica chiamata fine-tuning).

• Risultato: È come dare a un detective una mappa aggiornata. Le prestazioni sono migliorate moltissimo (fino all'85% di correttezza in alcune lingue), specialmente per lingue come l'italiano o il francese.
• Il problema: Anche con la mappa, i robot fanno ancora errori sistematici. Non hanno davvero "capito" la cultura o l'uso sociale della lingua; hanno solo imparato a riconoscere dei pattern visivi.

💡 Perché è importante?

Questa ricerca è cruciale per le lingue minoritarie.
Immagina una piccola comunità linguistica sotto pressione da una lingua dominante (come l'inglese). Se vogliamo creare strumenti digitali (traduttori, correttori, assistenti vocali) per proteggere quella lingua, dobbiamo sapere quali parole sono "nostre" e quali sono "importate".
Se i nostri strumenti digitali non riescono a fare questa distinzione, rischiano di:

• Sostituire parole native con prestiti, accelerando la perdita della lingua originale.
• Non capire la vera identità culturale di una comunità.

🎯 Conclusione

In sintesi, questo studio ci dice che l'Intelligenza Artificiale attuale è "cieca" alle sfumature culturali delle parole. Può leggere e scrivere, ma non ha ancora il "senso comune" linguistico per capire se una parola è un ospite di lusso o un membro della famiglia.

Per ora, quando si tratta di proteggere e preservare le lingue, l'occhio umano e la conoscenza del contesto restano insostituibili. I robot sono ottimi assistenti, ma non sono ancora i guardiani perfetti della nostra eredità linguistica.

Sommario tecnico

1. Il Problema

Il prestito lessicale (loanwords) è un fenomeno linguistico fondamentale in cui parole vengono adottate da una lingua all'altra. Sebbene lo studio dei prestiti sia consolidato in linguistica storica e sociolinguistica, la loro identificazione automatica rimane una sfida aperta nel campo dell'Elaborazione del Linguaggio Naturale (NLP).
Il problema centrale affrontato dal paper è la capacità dei moderni Modelli Linguistici (LLM) e dei modelli encoder pre-addestrati di distinguere tra parole native e prestiti lessicali. Le ricerche precedenti hanno dimostrato che i sistemi NLP mostrano un bias sistematico a favore dei prestiti rispetto alle equivalenti native (es. preferendo "franchise" a "franquia" in portoghese). Tuttavia, non era chiaro se questi modelli possedessero la capacità cognitiva di identificare attivamente un prestito quando esplicitamente richiesti, specialmente in contesti multilingue e con lingue a risorse limitate.

2. Metodologia

Gli autori hanno valutato le capacità di identificazione dei prestiti utilizzando il dataset ConLoan, un dataset contrastivo multilingue che include coppie di prestiti e alternative native in 10 lingue tipologicamente diverse (Cinese, Francese, Tedesco, Greco, Islandese, Italiano, Curdo Settentrionale, Portoghese, Russo, Spagnolo).

L'approccio sperimentale si è diviso in due direzioni principali:

A. Valutazione dei Large Language Models (LLM)

Sono stati testati tre modelli: Gemini-2.5-Flash-Lite, GPT-4.1 e Meta-Llama-3-8B-Instruct.

• Setting: Zero-shot e Few-shot (con due esempi in lingua).
• Prompting: Sono stati utilizzati tre livelli di definizione del compito per testare la conoscenza interna del modello:
  1. Minimale: Istruzione base senza definizione.
  2. Etimologico: Definizione basata sull'ingresso storico nel lessico (Haspelmath & Tadmor, 2009).
  3. Basato sull'uso: Definizione che distingue i prestiti dal code-switching, focalizzandosi sull'uso convenzionale da parte di monolingui.
• Output: I modelli dovevano restituire liste di stringhe (spazi di prestiti) in formato Python.

B. Valutazione di Encoder Multilingue

Sono stati testati quattro encoder pre-addestrati: mBERT, XLM-RoBERTa (base e large), e ELECTRA-base multilingue.

• Zero-shot: I modelli sono stati usati come estrattori di feature congelati, applicando regole deterministiche per mappare gli stati nascosti ai tag BIO (Begin, Inside, Outside).
• Fine-tuning: I modelli sono stati addestrati specificamente sul task di classificazione dei token (80% training, 20% test) con un head di classificazione.

Metriche di Valutazione

L'accuratezza è stata misurata tramite Precision, Recall e F1-score a livello di span dell'entità (usando la libreria seqeval). Per gli LLM sono state applicate due modalità di valutazione:

• Strict: Confronto esatto degli span.
• Relaxed: Decomposizione degli span multi-parola in token costituenti per gestire la variabilità di segmentazione degli LLM.

3. Risultati Chiave

Performance degli LLM (Zero-shot / Few-shot)

• Scarsa capacità generale: Gli LLM hanno mostrato prestazioni complessivamente basse, con un F1 medio inferiore a 0.50 (il migliore, Gemini, ha raggiunto 0.466).
• Impatto dei Prompt: L'aggiunta di definizioni etimologiche o basate sull'uso non ha migliorato significativamente i risultati; in alcuni casi (es. Prompt 3), le prestazioni sono peggiorate.
• Impatto del Few-shot: L'inserimento di esempi ha avuto effetti misti. In alcuni casi ha migliorato la recall, ma per Llama ha causato un crollo delle prestazioni (F1 vicino a zero) a causa di un collasso nel formato di output (generazione di testo libero invece di liste strutturate).
• Differenze linguistiche: Le lingue con confini di prestito più chiari (Cinese, Francese, Italiano) hanno ottenuto risultati migliori, mentre lingue con forte morfologia flessiva o integrazione dei prestiti (Tedesco, Islandese, Portoghese) hanno mostrato le prestazioni peggiori.

Performance degli Encoder (Fine-tuning)

• Vantaggio del Fine-tuning: C'è stato un miglioramento drastico passando dallo zero-shot al fine-tuning. Mentre i modelli congelati hanno ottenuto F1 medi inferiori a 0.02, i modelli fine-tuned hanno raggiunto punteggi tra 0.648 e 0.851.
• Modello Migliore: XLM-RoBERTa-Large ha ottenuto le prestazioni migliori in assoluto (F1 = 0.8513).
• Lingue: Le lingue romanze (Francese, Italiano, Spagnolo, Portoghese) hanno raggiunto punteggi F1 superiori a 0.90 con il fine-tuning, mentre lingue come il Cinese e l'Islandese hanno mostrato un miglioramento significativo partendo da quasi zero.

4. Analisi degli Errori

L'analisi qualitativa ha rivelato tre categorie principali di errori sistematici:

1. Confusione tra Code-Switching e Prestiti: I modelli faticano a distinguere un prestito integrato (usato da monolingui) da un codice-switching (uso temporaneo di una lingua straniera). Spesso etichettano parole come "really" in una frase curda come prestiti, ignorando il contesto di alternanza linguistica.
2. Entità Nominative e Nomi Propri: Nomi di paesi, organizzazioni e acronimi (es. NASA, PISA) vengono spesso erroneamente classificati come prestiti a causa della loro somiglianza ortografica con parole straniere, anche quando sono entità native o internazionalizzate.
3. Terminologia Scientifica/Tecnica: I modelli faticano con termini di origine greco-latina (es. "filosofia", "nitrati"). I modelli fine-tuned tendono a sottostimare questi prestiti (considerandoli nativi per la loro regolarità morfologica), mentre gli LLM in few-shot tendono a sovrastimarli basandosi solo sull'etimologia, ignorando l'assimilazione lessicale attuale.

5. Contributi e Significato

• Contributo Empirico: Il paper fornisce la prima valutazione sistematica della capacità di identificazione dei prestiti in 10 lingue, dimostrando che gli LLM generici sono "ciechi" ai prestiti (F1 < 0.5) e che il fine-tuning è essenziale per questo task specifico.
• Implicazioni per le Lingue Minoritarie: I risultati evidenziano che gli strumenti NLP attuali non sono pronti per supportare efficacemente la preservazione linguistica o l'educazione in comunità sotto pressione lessicale, poiché non riescono a distinguere il lessico nativo da quello prestato.
• Limiti degli Attuali Modelli: Lo studio dimostra che la semplice pre-addestramento su corpora multilingue non è sufficiente per catturare le sfumature sociolinguistiche dell'assimilazione lessicale. I modelli si basano eccessivamente su indizi ortografici ed etimologici superficiali, fallendo nel comprendere l'intento del parlante e il contesto pragmatico.

In conclusione, l'identificazione dei prestiti lessicali rimane un problema irrisolto per i modelli linguistici generici, richiedendo approcci specifici (fine-tuning) e una maggiore sensibilità al contesto sociolinguistico per essere affrontata con successo.