Is Cross-Lingual Transfer in Bilingual Models Human-Like? A Study with Overlapping Word Forms in Dutch and English

1. Problema e Obiettivo di Ricerca

Il lavoro indaga se i modelli linguistici (LM) bilingui, specificamente i Transformer causali addestrati su olandese e inglese, replicano i pattern di attivazione cross-linguistica osservati nei parlanti bilingui umani durante la lettura.

Il fenomeno centrale è l'elaborazione di parole con forme superficiali sovrapposte tra due lingue:

• Cognati (Friends): Parole con forma e significato simili o identici (es. winter in olandese e inglese). Negli umani, questi causano un effetto di facilitazione (lettura più veloce).
• Falsi Amici (False Friends/Interlingual Homographs): Parole con la stessa forma superficiale ma significati diversi (es. brand in olandese significa "fuoco", mentre in inglese è un verbo o un sostantivo diverso). Negli umani, questi spesso causano interferenza (lettura più lenta) o nessun effetto, a seconda del contesto.

La domanda di ricerca è: i modelli bilingui mostrano facilitazione per i cognati e interferenza (o assenza di facilitazione) per i falsi amici, oppure il loro comportamento è guidato da fattori diversi (come la semplice frequenza)?

2. Metodologia

2.1. Manipolazione del Vocabolario (Condizioni Sperimentali)

Gli autori hanno addestrato quattro modelli Transformer (configurazione GPT-2-small) su un corpus misto olandese/inglese (75% olandese, 25% inglese, simulando un bilingue tardivo con L1 olandese). La variabile indipendente principale è la condivisione degli embedding per le parole con forma sovrapposta. Sono state definite quattro condizioni (illustrate nella Figura 1 del paper):

1. Full Overlap (A): Tutte le forme superficiali identiche (cognati e falsi amici) condividono un singolo embedding language-unspecific.
2. Friends Overlap (B): Solo i cognati e le parole prese in prestito (loan words) condividono un embedding unico. I falsi amici hanno embedding specifici per lingua.
3. False Friends Overlap (C): Solo i falsi amici condividono un embedding unico. I cognati hanno embedding specifici per lingua.
4. Minimal Overlap (D): Le lingue sono quasi completamente separate; solo punteggiatura ed entità nominate sono condivise.

2.2. Dati e Stimoli

• Training: Corpus diversificato (Wikipedia, sottotitoli, web crawl) con circa 400 milioni di token.
• Valutazione: Gli autori hanno utilizzato stimoli da studi psicolinguistici esistenti (Bultena et al., 2014; Huisman, 2025) contenenti frasi con cognati, falsi amici e parole di controllo.
• Metriche:
  • Surprisal (Sorpresa): Misura computazionale dello sforzo di elaborazione (basso surprisal = facile elaborazione).
  • Similarità degli Embedding: Analisi della similarità coseno tra le rappresentazioni contestuali e lessicali delle parole nelle due lingue.

3. Risultati Chiave

3.1. Separazione delle Lingue e Effetti Cross-Linguistici

• I modelli tendono a mantenere le due lingue separate nello spazio degli embedding, a meno che non siano esplicitamente vincolati da un embedding condiviso.
• Quando le forme sono condivise (condizioni A, B, C), si osservano effetti cross-linguistici. Tuttavia, questi effetti sono facilitazione (riduzione del surprisal) sia per i cognati che per i falsi amici rispetto ai controlli.
• Risultato Critico: La facilitazione per i falsi amici si verifica quando questi condividono l'embedding (Condizioni A e C), il che non corrisponde al comportamento umano (dove ci si aspetta interferenza o nessun effetto).

3.2. Il Ruolo della Frequenza

L'analisi di regressione ha rivelato che la facilitazione osservata è guidata principalmente dalla frequenza cumulativa (ipotesi della frequenza cumulativa), non dalla coerenza mappatura forma-significato.

• Quando un embedding è condiviso, riceve segnali di addestramento da entrambe le lingue, aumentando la sua frequenza effettiva.
• Questo aumento di frequenza riduce il surprisal indipendentemente dal fatto che la parola sia un cognato o un falso amico.
• Nella condizione Friends Overlap (B), il modello riproduce il pattern umano: facilitazione per i cognati (perché condividono l'embedding e la frequenza) ma nessuna facilitazione per i falsi amici (perché hanno embedding separati e non beneficiano della frequenza cumulativa).

3.3. Confronto con i Dati Umani

• Condizione Uguale all'Umano: Solo la condizione Friends Overlap riproduce qualitativamente i dati umani (facilitazione per i cognati, assenza di facilitazione per i falsi amici).
• Condizioni Non Umane: Le condizioni con condivisione totale o condivisione solo dei falsi amici falliscono nel modellare l'interferenza umana, mostrando invece facilitazione per tutti i tipi di sovrapposizione.

4. Contributi Principali

1. Dimostrazione della Dipendenza dalla Codifica: L'allineamento dei modelli bilingui con l'elaborazione umana non è intrinseco all'architettura Transformer, ma dipende criticamente da come il vocabolario e le sovrapposizioni lessicali sono codificati (embedding condivisi vs. separati).
2. Distinzione tra Frequenza e Semantica: Lo studio dimostra che nei LM, la "facilitazione cross-linguistica" è spesso un artefatto della frequenza condivisa piuttosto che una vera competizione o cooperazione semantica. I modelli non "capiscono" la divergenza di significato dei falsi amici se questi condividono l'embedding; vedono solo una parola più frequente.
3. Validazione di Condizione Specifica: Identifica che la condizione "Friends Overlap" è l'unica configurazione di vocabolario che permette a un LM di comportarsi in modo simile a un bilingue umano su questi stimoli specifici.

5. Significato e Implicazioni

• Adeguatezza Esplicativa Limitata: Sebbene i LM possano riprodurre alcuni pattern di attivazione cross-linguistica, la loro adeguatezza come modelli cognitivi della lettura bilingue è limitata. Il meccanismo umano (che separa i falsi amici basandosi su mappature forma-significato divergenti) non emerge spontaneamente nei LM standard; richiede una manipolazione esplicita del vocabolario che i modelli non apprendono da soli dai dati grezzi.
• Critica alle Assunzioni Standard: Molti studi precedenti assumono una sovrapposizione completa del vocabolario (Full Overlap). Questo paper suggerisce che tale approccio potrebbe distorcere le conclusioni sull'apprendimento della seconda lingua (L2) e sull'attivazione cross-linguistica, favorendo artificialmente la facilitazione anche per parole che dovrebbero causare interferenza.
• Prospettive Future: Per migliorare la validità cognitiva dei modelli, è necessario esplorare meccanismi che permettano ai modelli di apprendere autonomamente la distinzione semantica tra falsi amici, forse attraverso l'uso di contesti più vincolanti o architetture che modellino meglio la competizione semantica (simile al modello BIA+).

In sintesi, il paper conclude che i modelli linguistici bilingui catturano alcuni effetti di attivazione cross-linguistica, ma il loro allineamento con il processing umano è fragile e dipende fortemente da come l'overlap lessicale è forzato a livello di embedding, suggerendo che la semplice condivisione di token non è sufficiente per modellare la complessità della mente bilingue.