Sintesi Tecnica: Allineamento del Rifiuto Multilingue per Large Language Models più Sicuri

Definizione del Problema

Con l'impiego globale dei Large Language Models (LLM), garantire la sicurezza e l'allineamento in più lingue è diventata una sfida critica. La ricerca attuale sull'allineamento è fortemente sbilanciata verso l'inglese, creando un significativo disallineamento in cui i modelli si comportano in modo sicuro in inglese ma falliscono nel farlo in altre lingue. Questa inconsistenza porta a comportamenti di sicurezza imprevedibili, rischiando di minare la fiducia degli utenti ed esacerbare i danni specifici per regione. Inoltre, i dataset esistenti sulla sicurezza multilingue sono scarsi, in particolare quelli progettati specificamente per l'addestramento dei comportamenti di rifiuto (l'atto di declinare richieste dannose) attraverso diverse lingue europee. Vi è una mancanza di valutazione sistematica per determinare se l'allineamento in una singola lingua si trasferisca trasversalmente tra le lingue, come viene preservata la coerenza linguistica durante l'addestramento multilingue e quali siano i compromessi tra sicurezza e capacità di conoscenza generale.

Metodologia

Gli autori affrontano queste lacune attraverso un'indagine sistematica utilizzando la Direct Preference Optimization (DPO), un metodo di allineamento semplificato che ottimizza i modelli su coppie di preferenza ("scelta" vs. "rifiutata") senza richiedere un modello di ricompensa separato.

Costruzione del Dataset: RefusEU

Il contributo principale è RefusEU, un nuovo dataset di allineamento del rifiuto che copre 12 lingue europee: inglese, tedesco, italiano, francese, spagnolo, portoghese, polacco, ceco, slovacco, sloveno, lituano e lettone.

• Generazione: I prompt avversari sono stati generati sulla base di 14 categorie di crimine (dalla tassonomia Llama-Guard) e 10 stili di attacco. La generazione iniziale è stata eseguita in polacco e tradotta nelle lingue target utilizzando l'API di DeepL.
• Filtraggio: I prompt sono stati generati utilizzando Mistral-Small-24B e Llama-3.1-70B. I prompt non sicuri sono stati identificati tramite un consenso tra Llama-Guard-3-8B e PolyGuard-Qwen.
• Generazione delle Risposte:
  • Risposte Scelte (Sicure): Generate da Llama-3.1-70B, aumentate con istruzioni per produrre rifiuti.
  • Risposte Rifiutate (Non Sicure): Generate da una versione "ablaterata" di Llama-3.1-70B (Llama-3.1-70B-Instruct-lorablated), in cui i meccanismi di sicurezza sono stati deliberatamente rimossi per consentire la generazione di contenuti dannosi.
• Controllo Qualità: Il dataset è stato sottoposto ad un audit manuale di 1.200 campioni in tutte le lingue, verificando che le risposte "scelte" fossero rifiuti validi e le risposte "rifiutate" fossero realmente non sicure. Il dataset finale contiene oltre 4.000 coppie prompt-risposta per lingua.

Configurazione Sperimentale

Gli autori hanno condotto esperimenti di addestramento controllati partendo da versioni ablaterate di Llama-3.1-8B e Llama-3.1-70B per garantire un baseline chiaro di comportamento non sicuro. Hanno valutato quattro scenari di addestramento:

1. Bilanciato (Balanced): Tutte le 12 lingue con rappresentazione paritaria dei campioni.
2. Solo Alta Risorsa (High-Res Only): Solo lingue ad alta risorsa (inglese, tedesco, italiano, francese, spagnolo, portoghese).
3. Solo Inglese (English Only): Addestramento esclusivamente sui dati in inglese.
4. Senza Inglese (No English): Addestramento su tutte le lingue eccetto l'inglese.

Inoltre, sono stati condotti 11 separati cicli di addestramento per singola lingua per il modello 8B.

Metriche di Valutazione

• Sicurezza: Misurata tramite l'Attack Success Rate (ASR) sul set di test RefusEU (1.400 campioni per lingua), nonché la cross-validazione su RTP-LX e PolygloToxicityPrompts. Un ASR più basso indica una migliore sicurezza.
• Coerenza Linguistica: La proporzione di output del modello generati nella stessa lingua del prompt di input.
• Capacità Generali: Valutate utilizzando il benchmark Global MMLU (che copre 9 delle 12 lingue, più cinese e coreano) e valutazioni di fluidità/correttezza tramite un framework LLM-as-a-Judge.

Risultati Chiave

1. Trasferimento dell'Allineamento Cross-Linguale (RQ1)

• L'allineamento solo in inglese è insufficiente: L'addestramento esclusivamente sui dati inglesi non ha garantito la sicurezza cross-linguale, anche per identiche categorie di danno. Sebbene abbia migliorato la sicurezza in inglese, le prestazioni in altre lingue sono rimaste subottimali rispetto all'addestramento multilingue.
• L'addestramento multilingue è superiore: La configurazione del dataset Bilanciato ha prodotto i punteggi ASR più bassi in entrambi i modelli Llama-8B e Llama-70B.
• Dipendenza dalle risorse: L'addestramento sulle lingue ad alta risorsa ha generalmente migliorato la sicurezza in generale, ma l'addestramento sulle lingue a bassa risorsa (es. lettone, lituano) ha spesso portato a punteggi ASR più elevati quando valutato su altre lingue.
• Similitudine Linguistica: Il trasferimento della sicurezza è stato più efficace tra lingue linguisticamente correlate (es. polacco–ceco, portoghese–spagnolo).

2. Coerenza Linguistica (RQ2)

• La scala del Modello conta: Llama-70B ha mantenuto una coerenza linguistica vicina al 100% in tutte le configurazioni di addestramento. Al contrario, Llama-8B ha mostrato cali significativi nella coerenza, specialmente sotto l'addestramento "Solo Inglese" (cali di quasi il 40% per lingue come il tedesco e il ceco).
• Impatto dell'Addestramento: Imporre esplicitamente la coerenza linguistica può ridurre la sicurezza nei modelli più piccoli (Llama-8B), mentre i modelli più grandi (Llama-70B) preservano sia la sicurezza che la coerenza con scambi minimi.

3. Capacità Generali (RQ3)

• Degradazione Minima delle Prestazioni: L'allineamento multilingue ha prodotto cali di prestazioni trascurabili sul benchmark Global MMLU (valori < 0,006) per entrambe le dimensioni dei modelli.
• Fluidità e Correttezza: Per Llama-8B, l'addestramento ha portato a cali maggiori di fluidità e correttezza per le lingue a bassa risorsa rispetto a quelle ad alta risenza. Per Llama-70B, la maggior parte delle configurazioni ha migliorato la fluidità, sebbene la correttezza sia leggermente diminuita, in particolare per le lingue a bassa risorsa.
• Pipeline di Traduzione: Per i modelli più piccoli (8B) e le lingue a bassa risorsa, l'uso di una pipeline di traduzione (tradurre l'input in inglese, elaborarlo e tradurlo nuovamente) è risultato più efficace per mantenere fluidità e correttezza rispetto al forzare il modello a rispondere direttamente nella lingua originale.

Significato e Rivendicazioni

Il documento sostiene che l'allineamento della sicurezza non si trasferisce in modo affidabile dall'inglese alle altre lingue, rendendo necessari strategie di addestramento multilingue dedicate. L'introduzione di RefusEU fornisce il primo dataset europeo progettato specificamente per l'addestramento all'allineamento sotto forma di triple (domanda, scelta, rifiutata), adatto alla DPO.

Gli autori concludono che:

1. I modelli grandi (es. Llama-70B) possono preservare una forte capacità di sicurezza e coerenza linguistica con una perdita minima di conoscenza generale quando addestrati su dati multilingue.
2. I modelli piccoli (es. Llama-8B) faticano con le impostazioni a bassa risorsa, dove un addestramento multilingue bilanciato combinato con un'elaborazione selettiva basata sulla traduzione può essere necessario per mantenere sia la sicurezza che la qualità linguistica.
3. L'allineamento solo in inglese è una falsa sicurezza: Crea un divario di sicurezza che lascia gli utenti non anglofoni vulnerabili a output dannosi.

Il lavoro evidenzia che, sebbene la sicurezza multilingue sia sottosviluppata a causa di dataset centrati sull'inglese, un addestramento multilingue sistematico può mitigare efficacemente questi rischi senza compromettere le capacità generali del modello. Gli autori riconoscono i limiti, notando che il dataset è generato sinteticamente e copre attualmente solo 12 delle 24 lingue ufficiali dell'UE, suggerendo che il lavoro futuro dovrebbe espandere la copertura e incorporare sfumature linguistiche del mondo reale.