💬 NLP

A Typologically Grounded Evaluation Framework for Word Order and Morphology Sensitivity in Multilingual Masked LMs

Questo lavoro presenta un framework diagnostico basato sulla tipologia linguistica per valutare la sensibilità di modelli mascherati multilingue all'ordine delle parole e alla morfologia, rivelando che le perturbazioni sintattiche compromettono drasticamente le prestazioni di mBERT e XLM-R, mentre la sostituzione dei lemmi ha un impatto limitato.

Autori originali: Anna Feldman, Libby Barak, Jing Peng

Pubblicato 2026-03-03

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Anna Feldman, Libby Barak, Jing Peng

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🌍 Il Grande Esperimento: Ordine vs. Forma

Immagina di avere due chef robot molto intelligenti (chiamati mBERT e XLM-R) che hanno imparato a cucinare piatti in cinque lingue diverse: Inglese, Cinese, Tedesco, Spagnolo e Russo. Questi chef sono bravissimi a indovinare quale ingrediente manca in una ricetta se ne viene nascosto uno.

Il problema è: come fanno a indovinare?
Usano due tipi di indizi:

L'Ordine delle parole: La ricetta dice "Prima il pollo, poi il limone". Se cambi l'ordine, il piatto viene male.
La Forma delle parole (Morfologia): In alcune lingue, le parole cambiano forma per dire chi fa cosa (come in Russo o Tedesco), anche se l'ordine cambia. È come se l'ingrediente avesse un'etichetta speciale che dice "Sono il pollo, anche se sono messo alla fine".

Gli scienziati volevano sapere: i nostri chef robot si affidano più all'ordine della ricetta o alle etichette speciali delle parole?

🔨 Gli Strumenti del Test (I "Disturbi")

Per scoprirlo, gli scienziati hanno messo i robot alla prova con quattro tipi di "disastri" in cucina:

Il Caos Totale (Full Scrambling): Hanno mescolato tutte le parole della frase come se avessero buttato tutto in una lavatrice.
- Risultato: I robot sono andati in panico. Hanno sbagliato quasi tutto, ovunque. È come se avessero perso completamente la ricetta.
Il Caos Parziale (Part Scrambling): Hanno mescolato solo gli ingredienti principali (sostantivi, verbi), ma hanno lasciato fermi i "piccoli aiutanti" (articoli, preposizioni).
- Risultato: I robot hanno fatto un po' meglio, ma hanno comunque faticato molto.
Lo Scambio del Capo (Head Swap): Hanno scambiato di posto il "capo" della frase (il verbo o il soggetto) con uno dei suoi "sudditi".
- Risultato: Molto dannoso, specialmente in Inglese.
La Magia delle Etichette (+L): Hanno rimosso tutte le "decorazioni" dalle parole (flessioni, tempi verbali) lasciando solo la forma base (il lemma).
- Risultato: Interessante! In Cinese non ha fatto quasi nulla (perché le parole non cambiano forma). In Tedesco, Spagnolo e Russo ha peggiorato le cose, perché i robot si affidavano proprio a quelle decorazioni per capire il senso.

🗣️ Cosa abbiamo scoperto? (Le Sorprese)

Ecco le conclusioni principali, spiegate con metafore:

L'Ordine è il Re: I robot sono diventati "ciechi" non appena hanno perso l'ordine delle parole. Anche se una lingua (come il Russo) ha parole molto flessibili che dovrebbero aiutare a capire il senso anche se l'ordine è sbagliato, i robot non hanno usato questo vantaggio. Si sono fidati ciecamente della sequenza, proprio come un bambino che impara l'Inglese.
Il Bias Inglese: Poiché l'Inglese è una lingua che dipende molto dall'ordine (Soggetto-Verbo-Oggetto), i robot sono stati addestrati a pensare che l'ordine sia tutto. Quando hanno provato a parlare Russo o Tedesco, hanno continuato a cercare l'ordine rigido, ignorando le "etichette" morfologiche che avrebbero potuto salvarli.
Il Cinese è un caso speciale: In Cinese, le parole non cambiano forma. Quindi, togliere le "decorazioni" (l'esperimento +L) non ha cambiato nulla. I robot hanno funzionato bene perché si basavano solo sull'ordine, che in Cinese è molto rigido.
Nessuna Magia di Riparazione: Gli scienziati speravano che togliendo le decorazioni grammaticali (lemmatizzazione), i robot potessero concentrarsi meglio sull'ordine. Non è successo. Anzi, togliere le decorazioni ha spesso reso le cose peggiori, perché i robot avevano perso un indizio utile senza guadagnare nulla di nuovo.

🍽️ La Metafora Finale: Il Viaggiatore e la Mappa

Immagina che questi modelli linguistici siano viaggiatori.

In un paese dove le strade sono segnate con numeri precisi (come l'Inglese), il viaggiatore guarda solo i numeri.
In un paese dove le strade hanno segnali colorati e forme diverse (come il Russo), il viaggiatore dovrebbe guardare anche i colori.
Il problema: Il viaggiatore è così abituato a guardare i numeri che, anche quando entra nel paese dei colori, continua a cercare i numeri. Se gli togli i numeri (mescolando le parole), si perde completamente, ignorando i bellissimi segnali colorati che potrebbero aiutarlo.

💡 Conclusione Semplice

Questo studio ci dice che, anche se questi robot parlano molte lingue, pensano ancora come se parlassero solo Inglese. Sono molto bravi a seguire l'ordine delle parole, ma non sanno ancora sfruttare la ricchezza grammaticale delle altre lingue per capire il mondo quando l'ordine viene rotto.

È un promemoria importante: per rendere l'Intelligenza Artificiale davvero universale e giusta, dobbiamo insegnarle a non dipendere solo dall'ordine delle parole, ma a capire anche la "forma" e la struttura profonda di ogni lingua.

1. Il Problema

I modelli linguistici multilingue basati su transformer (come mBERT e XLM-R) mostrano prestazioni elevate, ma rimane incerto quali segnali linguistici guidino realmente le loro previsioni. Le lingue differiscono notevolmente nel modo in cui codificano le relazioni grammaticali:

Le lingue a ordine fisso (es. Inglese, Cinese) dipendono dalla sequenza rigida delle parole.
Le lingue ricche di morfologia o a ordine libero (es. Russo, Tedesco, Spagnolo) utilizzano i casi e le inflessioni per permettere maggiore flessibilità nell'ordine delle parole.

Esiste il rischio che i modelli multilingue siano eccessivamente dipendenti dall'ordine lineare delle parole (un pregiudizio "centrato sull'inglese"), rendendoli fragili quando l'ordine viene disturbato, specialmente in lingue dove la morfologia dovrebbe essere il segnale dominante. L'obiettivo è diagnosticare se questi modelli sfruttano effettivamente la morfologia per compensare la perdita di ordine o se rimangono vincolati alla sequenza superficiale.

2. Metodologia

Gli autori propongono un framework di valutazione diagnostica basato su Universal Dependencies (UD) per testare la sensibilità dei modelli a perturbazioni controllate durante l'inferenza (senza riaddestramento).

Modelli e Lingue:

Modelli: mBERT e XLM-RoBERTa (XLM-R).
Lingue: Inglese (EN), Cinese (ZH), Tedesco (DE), Spagnolo (ES), Russo (RU) e Turco (TR, riportato in appendice).
Dataset: Treebank UD bilanciati per ciascuna lingua.

Perturbazioni Applicate:

Scrambling dell'ordine delle parole:
- Full: Permutazione casuale di tutti i token (tranne la punteggiatura).
- Part: Permutazione solo delle parole di contenuto (sostantivi, verbi, ecc.), mantenendo fisse le parole funzionali.
- Head: Scambio della posizione superficiale tra un "capo" (head) UD e uno dei suoi dipendenti, mantenendo gli altri token fissi. Questo testa la robustezza rispetto alla struttura dipendente.
Sostituzione di Lemma (+L):
- Sostituzione di ogni token nel contesto e dell'etichetta target con il suo lemma (forma base). Questo rimuove le informazioni morfologiche superficiali (casi, tempi, accordi) per vedere se il modello può ancora ricostruire il lemma target basandosi solo sulla struttura o se la normalizzazione aiuta.

Protocollo di Valutazione:

Masking: Una singola parola di contenuto viene mascherata prima di qualsiasi perturbazione.
Metriche: Accuratezza di ricostruzione esatta a livello di parola (Top-1) e Top-5. Vengono calcolate anche le sensitività ( $S$ ) per misurare il calo relativo rispetto alla baseline e le interazioni ( $I$ ) per determinare se gli effetti delle perturbazioni sono additivi o sovrapposti.

3. Contributi Chiave

Framework Tipologicamente Fondato: Un protocollo di stress test che confronta sistematicamente lingue con diversa ricchezza morfologica e flessibilità sintattica.
Diagnostica di Sostituzione del Lemma (+L): Introduzione di una perturbazione che normalizza l'intero contesto e il target al lemma, agendo come un test "strippante" per le inflessioni.
Perturbazioni Strutturate: Oltre allo scrambling totale, l'uso di perturbazioni basate sulle dipendenze (Head) e parziali (Part) per isolare specifici segnali sintattici.
Risorse Open Source: Rilascio di script di perturbazione, subset di valutazione bilanciati e dati grezzi per garantire la riproducibilità.

4. Risultati Principali

Dominanza dell'Ordine delle Parole: Lo scrambling completo (Full) fa crollare l'accuratezza quasi a zero in tutte le lingue e per entrambi i modelli. Questo indica che, nonostante la ricchezza morfologica di lingue come il Russo o il Tedesco, i modelli sono fortemente dipendenti dall'ordine lineare.
Impatto delle Perturbazioni Parziali: Anche lo scrambling parziale (Part) e lo scambio di testa-dipendente (Head) causano cali significativi, sebbene minori rispetto al Full. L'inglese è particolarmente colpito dallo scambio di testa (Head), coerentemente con la sua struttura SVO rigida.
Effetto del Lemma (+L):
- Il Cinese mostra un effetto nullo di +L (poiché le forme superficiali sono spesso identiche ai lemmi).
- Per le lingue europee (DE, ES, RU), +L riduce l'accuratezza, indicando che la morfologia superficiale è un segnale utile. Tuttavia, +L non compensa mai la perdita di ordine: quando l'ordine è disturbato (Full), la normalizzazione al lemma non ripristina le prestazioni.
Interazioni (Sovrapposizione vs. Sinergia): Le interazioni calcolate ( $I$ ) sono generalmente positive nelle lingue europee, suggerendo un effetto sub-additivo. Ciò significa che i segnali di ordine e morfologia si sovrappongono parzialmente (sono ridondanti) piuttosto che essere complementari: quando uno viene rimosso, l'altro non basta a mantenere le prestazioni.
Casi Limite (Turco): Il Turco mostra effetti di "pavimento" (accuratezza vicina a zero anche nella baseline) a causa della morfologia agglutinante che genera target troppo lunghi per il limite di ricostruzione del modello, rendendo le metriche di sensibilità instabili.

5. Significato e Conclusioni

Lo studio dimostra che i modelli MLM multilingue attuali sono ancora "macchine da lavoro posizionali". Sebbene sfruttino la morfologia quando l'ordine è preservato, non possiedono una robustezza intrinseca sufficiente per compensare la perdita dell'ordine delle parole basandosi esclusivamente sulle inflessioni.

Implicazioni: Esiste un pregiudizio verso le lingue a ordine fisso nei modelli multilingue. La capacità di generalizzazione tipologica è limitata.
Direzioni Future: Per migliorare la robustezza, si suggerisce di esplorare obiettivi di addestramento che riducano la dipendenza dall'ordine assoluto (es. obiettivi di "de-scrambling") o di sviluppare testate di predizione consapevoli della morfologia che esplicitino la struttura inflessionale invece di affidarsi a sottoparole (subword) come proxy.

In sintesi, la ricerca evidenzia che la comprensione sintattica profonda e tipologicamente neutra non è ancora stata pienamente raggiunta dai modelli transformer multilingue, che rimangono vulnerabili alla distruzione dell'ordine lineare delle parole.