💬 NLP

Neither Here Nor There: Cross-Lingual Representation Dynamics of Code-Mixed Text in Multilingual Encoders

Questo studio analizza le dinamiche di rappresentazione del codice misto hindi-inglese nei modelli multilingue, rivelando che l'addestramento continuo sbilancia l'allineamento linguistico e proponendo un nuovo obiettivo di post-addestramento trilingue che, ancorando le rappresentazioni del codice misto alle lingue costituenti, migliora significativamente le prestazioni nei compiti di analisi del sentiment e rilevamento dell'odio.

Autori originali: Debajyoti Mazumder, Divyansh Pathak, Prashant Kodali, Jasabanta Patro

Pubblicato 2026-03-23

📖 4 min di lettura☕ Lettura da pausa caffè

CC0 1.0

Autori originali: Debajyoti Mazumder, Divyansh Pathak, Prashant Kodali, Jasabanta Patro

Articolo originale dedicato al pubblico dominio sotto CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un traduttore istantaneo molto intelligente, capace di parlare decine di lingue. Questo traduttore (chiamato "modello multilingue") è stato addestrato su libri e testi scritti in modo "puro": solo inglese, solo hindi, solo francese, ecc.

Ora, immagina che milioni di persone su internet non parlino in modo "puro". Mescolano le lingue! Per esempio, in India, molte persone scrivono frasi che mescolano parole inglesi e hindi, usando spesso l'alfabeto latino (come se scrivessero "Batman mujhe pta hai" invece di usare i caratteri indiani). Questo si chiama codice-misto (o code-mixing).

Il problema è: il nostro traduttore istantaneo, che è stato addestrato su lingue "pure", fatica a capire queste frasi mescolate. Non sa bene dove collocarle nella sua "mappa mentale" delle lingue.

Ecco cosa hanno scoperto e fatto gli autori di questo studio, spiegato in modo semplice:

1. Il Problema: La "Zona Grigia"

Immagina che la mente del traduttore sia una grande stanza con due angoli ben definiti:

Un angolo per l'Inglese.
Un angolo per l'Hindi (scritto con i suoi caratteri originali).

Quando il traduttore vede una frase solo in inglese, va nell'angolo inglese. Quando vede una frase solo in hindi, va nell'angolo hindi.
Ma quando vede una frase mescolata (es. "Batman mujhe pta hai"), finisce in una zona grigia, incerta, in mezzo alla stanza, senza agganciarsi bene a nessuno dei due angoli. È come se il traduttore dicesse: "Non sono sicuro se questa frase appartenga all'inglese o all'hindi, quindi la metto qui nel mezzo, un po' confuso".

2. L'Esperimento: Cosa succede se addestriamo il traduttore?

Gli autori hanno preso il traduttore e gli hanno fatto leggere migliaia di frasi mescolate per un po' di tempo (un processo chiamato "adattamento").

Risultato: Il traduttore ha iniziato a capire meglio le frasi mescolate, ma c'è stato un prezzo da pagare!
Il compromesso: Per imparare a stare bene nella "zona mescolata", il traduttore ha iniziato a dimenticare un po' la connessione tra l'angolo inglese e quello hindi puro. È come se, per imparare a ballare il tango (la lingua mista), avesse dimenticato come ballare bene il valzer (inglese) e la samba (hindi) separatamente.

3. La Scoperta Segreta: Chi comanda davvero?

Analizzando come il traduttore "pensa" (usando una sorta di radiografia della sua mente), hanno scoperto due cose interessanti:

L'Inglese è il "Capo": Quando il traduttore legge una frase mista, tende a guardarla principalmente attraverso gli occhi dell'inglese. L'inglese è la base su cui si appoggia tutto.
L'Hindi è il "Salvavita": Anche se l'inglese guida, la parte in hindi (scritta con i caratteri originali, non romanizzati) fornisce segnali extra che aiutano a ridurre la confusione. È come se l'inglese fosse la bussola, ma l'hindi fosse la mappa dettagliata che ti dice esattamente dove sei.

4. La Soluzione: Il "Ponte Trilingue"

Per risolvere il problema, gli autori hanno inventato un nuovo metodo di addestramento. Invece di far scegliere al traduttore se stare nell'angolo inglese o in quello hindi, hanno costruito un ponte solido che collega contemporaneamente:

L'angolo Inglese.
L'angolo Hindi.
La zona Mescolata.

Hanno detto al traduttore: "Non devi scegliere! Devi sapere che queste tre cose sono strettamente collegate. Se vedi una frase mista, devi sapere che è vicina sia all'inglese che all'hindi, allo stesso tempo."

5. Il Risultato Finale

Grazie a questo nuovo "ponte":

Il traduttore è diventato molto più bravo a capire le frasi mescolate.
Non ha più dimenticato come collegare l'inglese all'hindi puro.
È diventato più affidabile in compiti pratici, come capire se un tweet è positivo o negativo, o se contiene insulti (hate speech), anche quando le parole sono mescolate.

In sintesi:
Prima, il traduttore vedeva le frasi mescolate come un "punto perso" in mezzo alla stanza. Ora, grazie a questo studio, ha imparato a vedere le frasi mescolate come un ponte naturale che collega due mondi, rendendo la comunicazione tra lingue diverse molto più fluida e precisa. È come se avessimo insegnato al traduttore che la realtà non è fatta di scatole separate, ma di un unico spazio dove le lingue si mescolano e si aiutano a vicenda.

1. Il Problema

I modelli linguistici multilingue basati su encoder (come mBERT e XLM-R) sono ampiamente utilizzati per l'analisi di testi "code-mixed" (mescolati), ovvero frasi che combinano parole di due o più lingue (es. Hinglish: Hindi + Inglese). Tuttavia, esiste una scarsa comprensione di come questi modelli rappresentino internamente gli input code-mixed e se tali rappresentazioni siano significativamente collegate alle lingue costituenti.
La ricerca si concentra su due domande fondamentali:

Come si allineano le rappresentazioni del testo code-mixed rispetto alle loro controparti monolingue (Hindi e Inglese) nello spazio latente?
L'adattamento continuo (continued pre-training) su dati code-mixed migliora la comprensione del codice misto a scapito dell'allineamento tra le lingue monolingue originali?

2. Metodologia

Costruzione del Corpus Trilingue

Gli autori hanno creato un corpus unificato trilingue composto da 21.139 triple di frasi parallele:

EN: Inglese monolingue.
HI: Hindi in script Devanagari.
CM: Hindi-English code-mixed (scritto in script Romanizzato, noto come Hinglish).
I dati sono stati aggregati da risorse esistenti (CM-En Parallel, PHINC, LinCE) e le traduzioni mancanti sono state generate e verificate utilizzando API di traduzione e modelli specializzati (IndicTrans2).

Modelli Analizzati

Lo studio valuta diverse famiglie di encoder multilingue:

Base: mBERT e XLM-R (pre-addestrati su corpus monolingue).
Adattati: Varianti "Hing" (es. Hing-mBERT, Hing-RoBERTa) che hanno subito un ulteriore pre-addestramento su corpora code-mixed.
Proposti: Varianti sottoposte a una nuova fase di allineamento post-training trilingue.

Strumenti di Analisi e Metriche

Per indagare la dinamica delle rappresentazioni, sono stati utilizzati:

CKA (Centered Kernel Alignment): Per misurare la similarità tra spazi di rappresentazione a livello di strato (layer-wise).
Recupero di Frasi Parallele: Valutazione della capacità del modello di recuperare la traduzione corretta (EN↔HI, EN↔CM, HI↔CM) tramite similarità a punto prodotto.
Saliency a livello di Token: Analisi dell'importanza relativa dei token Inglese vs Hindi nell'input code-mixed.
Analisi dell'Entropia: Misura della riduzione dell'incertezza nelle rappresentazioni CM quando condizionate su EN, HI o entrambi.
Nuova Metrica (CLAS): Cross-Lingual Alignment Score, definita come la media dell'accuratezza bidirezionale meno il bias direzionale e la deviazione standard tra le coppie di lingue, per misurare un allineamento equilibrato.

Proposta: Fase di Allineamento Post-Training Trilingue

Gli autori introducono un nuovo obiettivo di ottimizzazione ( $L_{align}$ ) da aggiungere all'obiettivo di pre-training originale (MLM/NSP). Questo obiettivo minimizza la distanza coseno tra le rappresentazioni [CLS] di triple parallele (EN, HI, CM), incoraggiando le tre lingue a occupare regioni vicine nello spazio degli embedding.

3. Risultati Chiave

Dinamiche di Allineamento nei Modelli Base

Allineamento Debole del CM: Nei modelli standard, le rappresentazioni del testo code-mixed (CM) sono debolmente ancorate sia all'Inglese che all'Hindi. Si osserva una gerarchia di allineamento: EN ↔ HI > EN ↔ CM > HI ↔ CM. Il CM risiede in uno spazio periferico.
Trade-off nell'Adattamento: L'adattamento continuo su dati code-mixed migliora drasticamente l'allineamento EN ↔ CM, ma degrada significativamente l'allineamento EN ↔ HI (che nei modelli base era forte). Questo indica un compromesso: specializzarsi sul codice misto rompe l'equilibrio tra le lingue monolingue.

Analisi Interpretativa

Dominanza Semantica Inglese: Le rappresentazioni del testo code-mixed sono spiegate principalmente dallo spazio semantico Inglese. I modelli trattano il CM attraverso una lente "Inglese-dominante".
Ruolo Complementare dell'Hindi: Sebbene l'Inglese sia dominante, la presenza di Hindi in script Devanagari fornisce segnali complementari che riducono l'incertezza rappresentazionale. L'Hindi nativo agisce come un "ancoraggio" più forte rispetto alla versione romanizzata.
Geometria dello Spazio: Nei modelli adattati, le rappresentazioni EN e CM collassano in una regione condivisa, mentre l'Hindi rimane distante. Un allineamento efficace emerge quando il CM funge da ponte tra EN e HI.

Efficacia della Proposta di Allineamento Trilingue

L'introduzione della fase di allineamento post-training ha portato a:

Miglioramento del CLAS: Un aumento significativo del punteggio di allineamento bilanciato, specialmente per mBERT (da 14.20 a 50.97) e XLM-R.
Recupero dell'Allineamento EN-HI: La metodologia proposta mitiga il degrado dell'allineamento EN-HI causato dall'adattamento code-mixed, ripristinando un equilibrio tra le tre lingue.
Prestazioni Downstream: I modelli allineati mostrano migliori prestazioni e coerenza cross-linguale in compiti di classificazione su testo code-mixed, come Analisi del Sentimento e Rilevamento dell'Hate Speech.

4. Contributi Principali

Corpus Trilingue Unificato: Creazione di un dataset parallelo EN-HI-CM per l'analisi sistematica dell'allineamento cross-linguale.
Analisi Meccanicistica: Dimostrazione empirica che i modelli multilingue standard trattano il testo code-mixed come entità periferiche e che l'adattamento su CM crea un trade-off negativo con l'allineamento monolingue.
Metodo di Allineamento: Proposta di una strategia di post-training semplice ed efficace che allinea simultaneamente EN, HI e CM, migliorando la consistenza cross-linguale senza sacrificare le prestazioni monolingue.
Metrica CLAS: Introduzione di una nuova metrica per quantificare l'equilibrio e la simmetria nell'allineamento cross-linguale.

5. Significato e Implicazioni

Questo lavoro è significativo perché sfida l'assunzione comune che l'adattamento su dati code-mixed porti automaticamente a una migliore comprensione multilingue. Dimostra invece che, senza un'esplicita supervisione trilingue, i modelli tendono a "dimenticare" le relazioni tra le lingue costituenti a favore di una rappresentazione ibrida sbilanciata.
La proposta di un obiettivo di allineamento trilingue offre una soluzione pratica per costruire modelli più robusti per le società multilingue, dove il codice misto è la norma. I risultati suggeriscono che per comprendere appieno il testo code-mixed, è necessario ancorarlo esplicitamente alle sue radici linguistiche (le lingue costituenti) piuttosto che trattarlo come una categoria separata. Questo approccio migliora non solo la ricerca teorica sulla rappresentazione linguistica, ma anche le applicazioni pratiche come il rilevamento di hate speech e l'analisi dei sentimenti in contesti reali.