Layer-wise Swapping for Generalizable Multilingual Safety

1. Il Problema

Nonostante i rapidi progressi dei Modelli Linguistici su Grande Scala (LLM), esiste una significativa disparità nella sicurezza (safety alignment) tra le lingue ad alta risorsa (principalmente l'inglese) e quelle a bassa risorsa.

• Squilibrio dei Dati: I dataset di sicurezza esistenti sono quasi esclusivamente incentrati sull'inglese. Di conseguenza, i modelli esperti per lingue a bassa risorsa, sebbene addestrati su dataset di istruzioni specifici, tendono a mostrare tassi di generazione dannosa (unsafety) molto più elevati rispetto alle loro controparti inglesi.
• Limiti delle Metodologie Attuali: I metodi di adattamento multilingue spesso causano "dimenticanza catastrofica" (catastrophic forgetting), portando il modello a perdere le conoscenze di sicurezza acquisite durante il pre-training. Inoltre, le tecniche di trasferimento cross-linguale esistenti si concentrano principalmente sulle prestazioni del compito generale, trascurando la dimensione della sicurezza.
• Sfida: È difficile mantenere sia la comprensione linguistica generale sia la sicurezza nelle lingue a bassa risorsa senza un costoso ri-addestramento (fine-tuning).

2. Metodologia

Gli autori propongono un metodo training-free (senza addestramento aggiuntivo) chiamato Layer-wise Swapping sicuro (Safety-aware layer swapping). L'approccio si basa sulla composizione di "vettori di compito" (task vectors) e sul trasferimento selettivo di moduli.

Concetti Chiave:

• Vettori di Compito: Il metodo definisce i vettori di compito come la differenza tra i parametri di un modello fine-tuned (es. esperto di sicurezza o esperto linguistico) e il modello base pre-addestrato: $\tau = \theta_{ft} - \theta_{base}$.
• Scambio a Livello di Strato (Layer-wise): Invece di sostituire manualmente strati interi (come nelle approcci precedenti), il metodo combina i vettori di compito a livello di strato.
• Scambio a Livello di Modulo (Module-wise): Estendendo il concetto, il metodo scompone ogni strato Transformer nei suoi sottocomponenti: Self-Attention e MLP (Feed-Forward).

Strategia di Selezione Automatica:

Il cuore dell'algoritmo è una strategia adattiva che decide per ogni modulo (attenzione o MLP in ogni strato) se attingere all'esperto di sicurezza, all'esperto linguistico o fondere i due:

1. Calcolo dell'Importanza: Si calcola il rapporto di cambiamento relativo dei parametri rispetto al modello base per entrambi gli esperti ($n_{safe}$ e $n_{multi}$).
2. Normalizzazione: Questi valori vengono normalizzati per ottenere punteggi di importanza ($p_{safe}$ e $p_{multi}$).
3. Decisione: Si calcola la differenza $d_{l,m} = p_{safe} - p_{multi}$.
   • Se $|d_{l,m}| > \tau$ (soglia): Il modulo viene selezionato direttamente dall'esperto con la specializzazione dominante (sicurezza o lingua).
   • Se $|d_{l,m}| \le \tau$: I moduli vengono fusi (blended) con un peso di interpolazione $\alpha$ (es. $\theta_{hybrid} = \alpha \theta_{safe} + (1-\alpha) \theta_{multi}$).

Questo approccio permette di propagare le rappresentazioni legate alla sicurezza senza sacrificare le capacità di ragionamento e comprensione generale, sfruttando la linearità locale dei componenti del Transformer.

3. Contributi Chiave

1. Formulazione Sistematica: Presentano una formulazione matematica dello scambio di strati come composizione di vettori di compito multilingue e di sicurezza.
2. Estensione Granulare: Passano dallo scambio di interi strati a uno scambio dinamico a livello di modulo (Attention e MLP), introducendo un'interpretazione basata sui vettori di compito che quantifica la specializzazione di ciascun componente.
3. Strategia Training-Free: Dimostrano che è possibile migliorare la generalizzazione della sicurezza nelle lingue a bassa risorsa tramite una strategia di fusione che non richiede ulteriore addestramento, preservando al contempo le prestazioni generali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro lingue a bassa risorsa (Coreano, Bengalese, Swahili, Telugu) utilizzando come base i modelli LLaMA 3.1 8B e Qwen3 8B.

• Valutazione della Sicurezza (MultiJail):
  • Il metodo proposto riduce drasticamente il tasso di risposte dannose (unsafety ratio) nelle lingue a bassa risorsa, superando i modelli esperti linguistici puri e i metodi di fusione tradizionali (Task Arithmetic, TIES, DARE).
  • Rispetto allo scambio di strati statico (baselines precedenti), lo scambio layer-wise e module-wise proposto ha mostrato prestazioni superiori nel 70% e 65% dei casi valutati rispettivamente.
• Valutazione della Comprensione Linguistica Generale (MMMLU, BELEBELE, MGSM):
  • Il metodo mantiene prestazioni competitive sui benchmark generali, spesso superando i modelli esperti linguistici puri in compiti di ragionamento (es. MGSM).
  • Lo scambio module-wise ha dimostrato una maggiore robustezza cross-linguale rispetto allo scambio layer-wise, riducendo la varianza delle prestazioni tra le diverse lingue.
• Analisi delle Specializzazioni:
  • L'analisi dei vettori di aggiornamento ha rivelato che l'allineamento alla sicurezza tende a emergere negli strati intermedi, mentre l'adattamento linguistico è più forte negli strati inferiori e superiori. Lo scambio a livello di modulo permette di catturare queste differenze funzionali in modo più preciso.

5. Significato e Impatto

Questo lavoro è significativo perché affronta una delle maggiori sfide etiche e pratiche nell'IA generativa: la disuguaglianza nella sicurezza tra le lingue.

• Efficienza: Offre una soluzione economica e scalabile per rendere sicuri i modelli in lingue a bassa risorsa senza la necessità di costosi dataset di sicurezza multilingue o ri-addestramenti massicci.
• Generalizzabilità: Dimostra che le conoscenze di sicurezza apprese in inglese possono essere trasferite efficacemente ad altre lingue attraverso la manipolazione strutturale dei parametri, preservando le capacità cognitive del modello.
• Futuro: Apre la strada a strategie di fusione di modelli più sofisticate che considerano la specializzazione funzionale dei singoli componenti (Attention vs MLP) piuttosto che trattare il modello come un blocco monolitico.

In sintesi, il paper propone un metodo elegante e privo di addestramento per colmare il divario di sicurezza nei modelli LLM multilingue, garantendo che i benefici dell'IA sicura siano accessibili globalmente, non solo in inglese.