COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling

1. Il Problema: Disparità Linguistiche e Interferenza Negativa

I Large Language Models (LLM) mostrano spesso prestazioni diseguali tra le diverse lingue, con un sovraccarico verso l'inglese e un degrado delle prestazioni nelle lingue a risorse limitate (LRL).

• Interferenza Negativa: Il fine-tuning multilingue "naive" (utilizzando tutti i dati disponibili senza selezione) tende a peggiorare le prestazioni sulla lingua target a causa dell'interferenza negativa tra le rappresentazioni linguistiche.
• Disallineamento Distributivo: Il problema fondamentale non è solo la scarsità di dati, ma il disallineamento distributivo. I dati di addestramento multilingue spesso non riflettono i pattern di utilizzo reale ("live usage") della lingua target a causa di bias di campionamento, variazioni tematiche o contributi linguistici sbilanciati.
• Limiti degli Approcci Esistenti:
  • Il fine-tuning monolingue evita l'interferenza ma perde i benefici del trasferimento cross-linguale e richiede modelli separati per ogni lingua (alto costo di memoria).
  • Le strategie basate sulla similarità linguistica (es. scegliere lingue geneticamente vicine) non sono sufficienti perché non tengono conto delle lacune semantiche specifiche nel dominio di utilizzo.

2. Metodologia: COMPASS

COMPASS è un framework data-centric che adatta i modelli pre-addestrati a lingue target specifiche utilizzando Parameter-Efficient Fine-Tuning (PEFT) e una strategia di campionamento adattivo basata sulla semantica.

A. Fase di Adattamento Iniziale (Initial Adaptation)

Il cuore di COMPASS è una strategia di campionamento che identifica e colma le lacune semantiche tra i dati di addestramento e la distribuzione di utilizzo prevista.

1. Embedding e Clustering: Tutti i dati (lingua target $D_t$, pool ausiliario multilingue $D_{aux}$, e un set di proxy per l'utilizzo reale $E_t$) vengono codificati in uno spazio vettoriale semantico utilizzando un modello di embedding multilingue (es. Jina-Embeddings-v3). I dati vengono poi raggruppati in cluster semantici (es. tramite HDBScan).
2. Rilevamento del Disallineamento: Per ogni cluster $C_k$, si calcola il rapporto di disallineamento $\rho_k$ tra la densità dei dati di valutazione ($E_t$) e quella dei dati di addestramento ($D_t$).
   • Se $\rho_k > 1$, il cluster è sottorappresentato nell'addestramento rispetto all'uso reale.
3. Campionamento Adattivo:
   • Pesi a livello di Cluster: Si assegnano pesi maggiori ai cluster sottorappresentati ($\rho_k > 1$) per selezionare più dati ausiliari da quelle aree semantiche.
   • Pesi a livello di Istanza: All'interno di ogni cluster, si bilancia la selezione tra esempi "prototipici" (vicini al centro del cluster, facili da apprendere) e esempi "di confine" (più ambigui). Inizialmente si privilegiano i prototipi per stabilizzare l'apprendimento; man mano che il disallineamento si riduce, si includono più esempi di confine per migliorare la robustezza.
   • Diversità: Si applicano penalità per evitare la ridondanza, selezionando solo esempi che superano una soglia di similarità all'interno del cluster.
4. Addestramento: Si addestra un adattatore leggero (DoRA - Weight-Decomposed Low-Rank Adaptation) specifico per la lingua target utilizzando i dati originali della lingua target più il sottoinsieme selezionato di dati ausiliari.

B. Fase di Adattamento Continuo (COMPASS-ECDA)

Per gestire lo spostamento della distribuzione dei dati nel tempo (es. nuovi gergalismi, cambiamenti nelle preferenze degli utenti), COMPASS include un meccanismo di apprendimento continuo chiamato ECDA (Elastic Consolidation and Distributional Anchoring).

• Trigger di Spostamento: Si monitora la divergenza Jensen-Shannon tra la distribuzione dei cluster del modello attuale e quella dei nuovi dati in arrivo. Se la divergenza supera una soglia, si attiva l'aggiornamento.
• Aggiornamento Ibrido: Per evitare l'oblio catastrofico (catastrophic forgetting), l'aggiornamento combina:
  1. Task Loss: Adattamento ai nuovi dati selezionati tramite COMPASS.
  2. Replay di Ancore Distributive: Utilizzo di un buffer di memoria contenente esempi prototipici ("ancore") dai cluster stabili precedenti per preservare le conoscenze passate.
  3. EWC (Elastic Weight Consolidation): Penalizzazione dei cambiamenti nei parametri critici per i task precedenti.

3. Contributi Chiave

1. Strategia di Campionamento Consapevole della Distribuzione: Un metodo innovativo che utilizza il clustering semantico e il confronto delle distribuzioni per selezionare dati cross-linguali, superando le strategie basate solo sulla similarità linguistica.
2. Efficienza e Scalabilità: L'uso di adattatori PEFT (DoRA) su un unico modello base condiviso permette di supportare molte lingue senza il costo di memorizzare modelli completi separati.
3. Validazione Empirica Estesa: Sperimentazioni su tre architetture diverse (Phi-4-Mini, Llama-3.1-8B, Qwen2.5-7B) e su benchmark multilingue complessi (Global-MMLU, MMLU-ProX, OneRuler).
4. Framework di Apprendimento Continuo: Estensione del metodo per adattarsi dinamicamente ai cambiamenti della distribuzione dei dati nel mondo reale, mantenendo le prestazioni nel tempo.

4. Risultati Sperimentali

• Prestazioni Superiori: COMPASS supera costantemente i baseline, inclusi il fine-tuning monolingue, il fine-tuning su tutti i dati multilingue (che spesso degrada le prestazioni), e metodi guidati dalla similarità linguistica (LangRank, LangSim).
  • Su Global-MMLU, COMPASS ha mostrato miglioramenti significativi su tutte le lingue e modelli testati, con guadagni particolarmente elevati per le lingue a risorse limitate.
  • Su MMLU-ProX, ha mantenuto la sua efficacia nonostante la maggiore difficoltà del benchmark.
• Ottimizzazione del Budget: È stato dimostrato che un budget di dati ausiliari moderato (circa l'80% della dimensione dei dati target) è spesso ottimale. Aggiungere troppi dati ausiliari (es. >200%) può portare a un calo delle prestazioni a causa del rumore sintattico o semantico.
• Trasferimento a Lungo Contesto: Sebbene addestrato su dati a breve contesto (Aya), COMPASS ha migliorato le prestazioni su task a lungo contesto (OneRuler, fino a 128K token) per le lingue a risorse limitate, suggerendo che un migliore allineamento semantico cross-linguale permette al modello di sfruttare meglio i meccanismi architetturali esistenti.
• Apprendimento Continuo: In scenari di distribuzione shift, COMPASS-ECDA ha raggiunto prestazioni Pareto-ottimali, bilanciando efficacemente l'apprendimento di nuovi domini e la conservazione delle conoscenze precedenti, superando metodi come EWC puro o rehearsal casuale.

5. Significato e Impatto

Il lavoro di COMPASS rappresenta un passo avanti fondamentale verso un'IA multilingue più equa ed efficiente.

• Risoluzione del "Curse of Multilinguality": Dimostra che è possibile ottenere trasferimenti positivi cross-linguali senza interferenza negativa, selezionando strategicamente i dati in base alle lacune semantiche piuttosto che alla semplice quantità o similarità linguistica.
• Sostenibilità: Offre una soluzione sostenibile per il mantenimento dei modelli in produzione, riducendo la necessità di riaddestramenti massicci e costosi.
• Implicazioni Etiche: Migliorare le prestazioni delle LRL riduce il divario digitale e le ingiustizie sistemiche nell'IA. Tuttavia, il paper riconosce anche i rischi, come la potenziale amplificazione di bias presenti nei dati di addestramento o negli encoder di embedding, e la necessità di una curatela dei dati collaborativa per le lingue a risorse limitate.

In sintesi, COMPASS sposta il paradigma dall'adattamento reattivo basato su gradienti o euristiche statiche a un approccio proattivo e guidato dai dati, che allinea strategicamente la distribuzione di addestramento con l'uso reale, garantendo modelli multilingue più robusti, precisi e adattabili.