💬 NLP

Multilinguality of Large Language Models From a Structural Perspective

Questo articolo investiga la multilinguisticità dei grandi modelli linguistici attraverso l'analisi strutturale delle rappresentazioni, rivelando che le lingue a basse risorse sono strutturalmente più distinte dall'inglese rispetto alle lingue ad alta e media risorsa e che il post-training specifico per la lingua modifica queste strutture mantenendo al contempo le relazioni interlinguistiche.

Autori originali: Haruki Sakajo, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

Pubblicato 2026-06-02

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Haruki Sakajo, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un Modello di Linguaggio di Grandi Dimensioni (LLM) come una massiccia biblioteca a più piani, dove ogni libro rappresenta una lingua diversa. Per molto tempo, i ricercatori hanno cercato di capire come questa biblioteca organizzi i suoi libri. La maggior parte degli studi precedenti ha esaminato la biblioteca guardando le singole parole (o "token") sugli scaffali, chiedendosi: "Quanto è simile la parola 'gatto' in inglese alla parola 'gatto' in giapponese?"

Questo articolo, tuttavia, adotta un approccio diverso. Invece di guardare le singole parole, gli autori guardano l'intera struttura della biblioteca stessa. Si chiedono: "Come è organizzato l'intero edificio? La sezione inglese e la sezione giapponese sembrano appartenere allo stesso stile architettonico, o sono costruite su progetti completamente diversi?"

Ecco una scomposizione delle loro scoperte utilizzando analogie semplici:

1. Il problema del guardare solo le parole

Pensa a un tokenizer (lo strumento che scompone il testo in parole) come a un paio di forbici. In inglese, le forbici tagliano il testo in pezzi piccoli e ordinati. In altre lingue, le forbici potrebbero tagliare il testo in pezzi enormi o in frammenti minuscoli. Poiché le "parti" hanno dimensioni diverse, confrontarle parola per parola è come cercare di confrontare un mucchio di mattoncini Lego con un mucchio di sabbia. Potresti vedere che sono entrambi "roba", ma perderesti di vista il modo in cui sono costruiti.

2. Il nuovo strumento: "Raggi X Strutturale"

Gli autori hanno usato uno strumento chiamato STRUCTLENS. Immagina che questo sia una macchina a raggi X che non guarda solo i mattoni, ma scansiona l'intero scheletro della biblioteca. Costruisce un "albero genealogico" per ogni lingua, mostrando come le diverse parti di una frase si collegano tra loro mentre il modello le elabora.

Hanno misurato la distanza tra questi alberi genealogici. Se l'albero dell'inglese sembra molto simile a quello del tedesco, la distanza è piccola. Se l'albero dell'inglese non somiglia affatto a quello di una lingua a basse risorse (come il Jinghpaw), la distanza è enorme.

3. Scoperte Chiave

Il divario tra lingue "Ricche" e "Povere"
Lo studio ha trovato una netta divisione nel modo in cui la biblioteca è organizzata:

Lingue ad alte e medie risorse (I quartieri "Ricchi"): Lingue come il tedesco, il giapponese, il cinese e l'indonesiano sono come quartieri ben collegati. Anche se sono diverse, la struttura interna della biblioteca le tratta in modo molto simile. Condividono un progetto architettonico simile.
Lingue a basse risorse (I "Villaggi Remoti"): Lingue con meno dati disponibili (come l'aranese, il guarani e il jinghpaw) sono strutturalmente molto diverse dall'inglese. Sono come villaggi remoti con uno stile di costruzione completamente diverso. Anche se il modello può "leggerle", il modo interno in cui le elabora è fondamentalmente distinto da come elabora l'inglese.

La trappola della "Similarità del Coseno"
Gli autori hanno scoperto che una misura comune usata dagli scienziati (chiamata "Similarità del Coseno") è come guardare il colore medio di un dipinto.

Se mescoli vernice rossa e blu, la media potrebbe sembrare viola.
Se mescoli rosso e blu in un rapporto diverso, la media potrebbe essere anch'essa viola.
La Trappola: La visione "media" del modello dell'inglese e del giapponese potrebbe sembrare molto simile (alta similarità del coseno), facendo sembrare che il modello li comprenda ugualmente bene.
La Realtà: La "Distanza Strutturale" (i raggi X) rivela che il pattern della vernice è totalmente diverso. Il modello sta organizzando le parole giapponesi in un modello interno completamente diverso rispetto alle parole inglesi, anche se la "media" appare la stessa.

L'effetto dell' "Addestramento Specializzato" (Post-Training)
I ricercatori hanno anche osservato cosa succede quando si prende un modello generale e lo si sottopone a un addestramento supplementare specifico per una lingua (come il giapponese).

L'Analogia: Immagina un appaltatore generale che costruisce case per tutti. Se lo assumi per costruire un tipo specifico di casa giapponese, diventerà bravissimo nei dettagli di quella casa (il tetto, le porte scorrevoli).
La Scoperta: Il modello migliora nel giapponese, e la struttura interna della sezione giapponese diventa più raffinata e unica. Tuttavia, la distanza tra la sezione giapponese e quella inglese rimane esattamente la stessa. Il modello non ha cambiato il modo in cui la lingua giapponese si relaziona all'inglese; ha solo perfezionato la sezione giapponese stessa.

Riassunto

In breve, questo articolo sostiene che per capire davvero come l'IA gestisce le diverse lingue, non possiamo limitarci a contare le parole o a guardare le similarità medie. Dobbiamo guardare lo scheletro strutturale di come l'IA pensa.

Hanno scoperto che:

Le lingue familiari (molti dati) condividono un' "architettura" interna simile.
Le lingue non familiari (pochi dati) hanno un'architettura interna totalmente diversa, anche se il modello è tecnicamente in grado di leggerle.
L'addestramento specializzato migliora la struttura interna di una lingua specifica, ma non cambia necessariamente il modo in cui quella lingua si relaziona alle altre nella mente del modello.

Questo aiuta a capire che, sebbene i modelli di IA stiano diventando multilingue, essi trattano le lingue "ricche" e quelle "povere" in modi fondamentalmente diversi all'interno dei loro "cervelli".

Riepilogo Tecnico: Multilinguismo dei Grandi Modelli Linguistici da una Prospettiva Strutturale

Definizione del Problema

Sebbene i Grandi Modelli Linguistici (LLM) abbiano dimostrato capacità multilingue attraverso il pre-addestramento su corpora multilingue e un continuo post-addestramento, le analisi esistenti di questo multilinguismo sono prevalentemente limitate al livello del token (o subword). Il lavoro precedente ha utilizzato strumenti come il Logit Lens per interpretare gli stati latenti come simboli o ha analizzato la geometria delle rappresentazioni dei token. Tuttavia, questo approccio centrato sul token non riesce a catturare le proprietà strutturali intrinseche del linguaggio, come le diverse caratteristiche morfosintattiche. Inoltre, poiché i tokenizer variano significativamente tra le lingue, la granularità semantica delle unità minime elaborate dagli LLM è incoerente, limitando la capacità dell'analisi a livello di token di comprendere olisticamente come gli LLM rappresentano ed elaborano più lingue.

Metodologia

Per affrontare queste limitazioni, questo studio propone una prospettiva strutturale sulle rappresentazioni multilingue, andando oltre l'analisi del livello del token per esaminare l'organizzazione di intere sequenze di input.

1. Analisi Strutturale tramite STRUCTLENS
Gli autori utilizzano STRUCTLENS (Sakajo et al., 2026), un metodo che deriva strutture ad albero dalle distanze L2 a coppia tra le rappresentazioni dei token all'interno degli stream residui dei modelli Transformer.

Costruzione dell'Albero Coprente (Spanning Tree): Per ogni strato $\ell$ e per ogni lingua, il metodo costruisce un albero coprente massimo basato sulla similarità inter-token. La matrice di adiacenza $A$ è definita dall'inverso della distanza L2 tra gli stati latenti $h^{(\ell)}_i$ e $h^{(\ell)}_j$ .
Misurazione della Distanza Strutturale: Per confrontare le strutture interne di diverse lingue, lo studio calcola la Tree Edit Distance (TED) tra gli alberi coprenti di due lingue. Questa distanza è normalizzata per la lunghezza maggiore dell'input per garantire un confronto equo tra lingue con diverse lunghezze di sequenza di token. Il costo di ridenominazione (relabeling) è impostato a zero per concentrarsi strettamente sulle differenze strutturali piuttosto che su discrepanze lessicali.

2. Configurazione Sperimentale

Modelli: Lo studio valuta sia modelli pre-addestrati multilingue (Gemma3 4B PT, Qwen3 8B Base) sia un modello monolingue centrato sull'inglese (Olmo3 7B Base). Include anche modelli post-addestrati specifici per la lingua (Qwen3 Swallow 8B CPT per il giapponese) per analizzare gli effetti del pre-addestramento continuo.
Lingue: È selezionato un set diversificato di lingue, incluse lingue ad alta/media risorsa (inglese, tedesco, giapponese, cinese, indonesiano) e a bassa risorsa (aranese, guarani, jinghpaw).
Dataset: Vengono utilizzate coppie di frasi tradotte parallele da FLORES+ e dati corrispondenti in jinghpaw.
Metriche Comparative: Per contestualizzare i risultati strutturali, lo studio misura anche metriche non strutturali: Perplessità, prestazioni di Traduzione Automatica (BLEU, chrF, TER), Similarità del Coseno delle medie delle rappresentazioni e distanza L2.

Contributi Chiave e Risultati

1. La Distanza Strutturale Rivela il Raggruppamento Basato sulle Risorse
Lo studio rileva che la distanza strutturale (TED) distingue le lingue in base alla disponibilità di risorse in modi in cui la similarità del coseno non lo fa.

Modelli Multilingue: Nei modelli multilingue (Gemma3, Qwen3), le lingue ad alta e media risorsa formano un cluster con strutture interne relativamente uniformi e una bassa distanza strutturale dall'inglese. Al contrario, le lingue a bassa risorsa mostrano distanze strutturali significativamente più elevate rispetto all'inglese.
Modelli Monolingue: Il modello monolingue Olmo3 7B Base mostra una separazione distinta tra l'inglese e tutte le altre lingue, con alte distanze strutturali in tutto il campo, riflettendo il suo addestramento centrato sull'inglese.
Contrasto con la Similarità del Coseno: Mentre la similarità del coseno tra l'inglese e le altre lingue rimane alta e uniforme attraverso gli strati nei modelli multilingue (suggerendo centroidi semantici astratti allineati), la distanza strutturale rivela significative differenze relazionali interne. Ciò indica che, sebbene il "centro" dello spazio di rappresentazione possa essere allineato, la topologia interna delle relazioni tra i token differisce in base alla familiarità con la lingua.

2. Impatto del Post-Addestramento Specifico per la Lingua
Lo studio investiga come il post-addestramento specifico per la lingua (pre-addestramento continuo sui dati della lingua target) alteri le strutture del modello.

Differenziazione della Lingua Target: Il post-addestramento sul giapponese (Qwen3 Swallow 8B CPT) altera significativamente la distanza strutturale interna del giapponese, rendendolo distinto dal suo stato pre-addestrato.
Preservazione delle Relazioni Inter-lingue: Fondamentalmente, mentre la struttura interna della lingua target cambia, la distanza strutturale tra le lingue (ad esempio, tra inglese e giapponese, o inglese e cinese) rimane ampiamente invariata. Ciò suggerisce che il post-addestramento perfeziona l'organizzazione interna specifica della lingua senza interrompere le più ampie relazioni strutturali stabilite durante il pre-addestramento.

3. Influenza delle Caratteristiche Linguistiche
Tra le lingue a bassa risorsa, la distanza strutturale correla con la similarità linguistica rispetto all'inglese. L'aranese, che è tipologicamente più vicino all'inglese, mostra una distanza strutturale inferiore rispetto al jinghpaw, che è più distante. Ciò suggerisce che la similarità linguistica facilita l'allineamento strutturale nello spazio di rappresentazione, anche per le lingue a bassa risorsa.

Significato e Rivendicazioni

Il documento sostiene che una prospettiva della struttura rappresentativa fornisce misure distinte della similarità linguistica che non sono catturate dalle convenzionali metriche a livello di token o basate sul centroide.

Visione Olistica: I risultati dimostrano che gli LLM organizzano le sequenze di input secondo schemi strutturali specifici per ogni lingua che evolvono attraverso gli strati del Transformer.
Familiarità vs. Non Familiarità: La distanza strutturale funge da metrica di "familiarità" del modello. I modelli multilingue mostrano un'alta similarità strutturale tra le lingue familiari (ad alta risorsa) ma divergono significativamente per le lingue non familiari (a bassa risorsa).
Meccanismo di Adattamento: Lo studio rivela che il post-addestramento specifico per la lingua opera modificando l'organizzazione strutturale interna della lingua target pur preservando le relazioni strutturali globali tra le lingue.

Gli autori concludono che questa prospettiva strutturale è essenziale per comprendere come gli LLM elaborino più lingue, evidenziando che i modelli distinguono tra lingue familiari e non familiari attraverso la loro organizzazione strutturale interna, e che il post-addestramento permette il miglioramento delle prestazioni in lingue specifiche senza cancellare le relazioni multilingue apprese durante il pre-addestramento.