Riepilogo Tecnico: CROCO – Sintonizzazione Contrastiva delle Preferenze Cross-Linguistica su Generazioni Self

Enunciato del Problema

Allineare i Modelli Linguistici di Grande Dimensione (LLM) alle preferenze umane è una fase finale critica del post-training, tipicamente ottenuta tramite l'Ottimizzazione Diretta delle Preferenze (DPO). Sebbene recenti progressi abbiano dimostrato che il DPO può essere applicato a campioni auto-generati (utilizzando un modello di ricompensa per valutare le uscite del modello stesso) anziché ad annotazioni umane, questi metodi sono stati stabiliti esclusivamente in inglese.

Estendere ciò a un contesto multilingue presenta sfide significative. Il lavoro precedente sull'allineamento delle preferenze multilingue si basa su segnali basati sulla traduzione, sfrutta i divari di capacità tra l'inglese e altre lingue come ricompense implicite, o ripesa le perdite per coppie rumorose. Tuttavia, rimane una questione aperta se il meccanismo specifico della sintonizzazione contrastiva delle preferenze su generazioni self—dove le coppie di preferenze sono costruite in base ai punteggi di ricompensa relativi all'interno di una distribuzione—si trasferisca attraverso le lingue senza annotazioni di preferenze specifiche per lingua. Inoltre, non è chiaro se un modello di ricompensa (RM) addestrato esclusivamente su preferenze in inglese possa classificare efficacemente le risposte in altre lingue per guidare l'allineamento multilingue.

Metodologia: CROCO

Gli autori propongono CROCO (Cross-Lingual Contrastive Preference Tuning on Self-Generations), un framework che estende la costruzione delle preferenze "sweet spot" (Xiao et al., 2025) a più lingue.

Meccanismo Principale

1. Generazione Self: Per un dato prompt $x$ in una lingua target $\ell$, il modello policy $\pi_\theta$ genera $K$ risposte candidate ($Y_x$).
2. Valutazione della Ricompensa: Un modello di ricompensa (RM) esterno e pronto all'uso assegna un punteggio a queste risposte. Crucialmente, il RM è addestrato su preferenze in inglese ma costruito su una base multilingue (ad es. Qwen3-8B).
3. Costruzione della Coppia Contrastiva: Invece di accoppiare la risposta con il punteggio più alto con quella assolutamente più bassa, il metodo seleziona un "sweet spot" per indurre un contrasto controllato:
   • Scegliuta ($y_c$): La risposta con la ricompensa massima.
   • Rifiutata ($y_r$): La risposta il cui punteggio di ricompensa è più vicino a $\mu_x - 2\sigma_x$ (dove $\mu$ e $\sigma$ sono la media e la deviazione standard della distribuzione di ricompensa per quel prompt).
4. Addestramento: Il modello viene fine-tunato utilizzando il DPO su queste coppie costruite. Gli autori valutano due regimi:
   • Monolingue: Sintonizzazione indipendentemente sui dati per ciascuna lingua.
   • Multilingue: Sintonizzazione congiunta sull'unione dei dati attraverso tutte le lingue.

Configurazione Sperimentale

• Modelli: Sono stati testati due modelli di dimensioni diverse: EuroLLM-9B (9 miliardi di parametri) e aya-3B (3 miliardi di parametri).
• Dati: 20.000 istanze di instruction-tuning dal corpus Dolci-Instruct-SFT sono state tradotte in sei lingue europee (danese, olandese, francese, tedesco, italiano, spagnolo) utilizzando TranslateGemma-27B.
• Modello di Ricompensa: Skywork-Reward-V2-Qwen3-8B, un RM addestrato su preferenze in inglese con una base multilingue.
• Baseline: Standard Supervised Fine-Tuning (SFT) su dati tradotti, SFT solo sulle risposte con la ricompensa più alta (Max-R), e metodi esistenti di sintonizzazione delle preferenze multilingue (ICR, MAPO).

Contributi Chiave

1. Trasferimento Cross-Linguistico della Sintonizzazione Contrastiva: Il documento dimostra che la sintonizzazione contrastiva delle preferenze su generazioni self si trasferisce efficacemente attraverso le lingue. Il DPO su coppie di generazioni self supera le baseline SFT e i metodi multilingue esistenti, mentre l'SFT standard su dati tradotti causa un oblio catastrofico.
2. Eliminazione dell'Annotazione Specifica per Lingua: Lo studio mostra che la sintonizzazione delle preferenze multilingue non richiede annotazioni di preferenze specifiche per lingua. Un RM solo inglese (su una base multilingue) produce classifiche coerenti all'interno della lingua che guidano miglioramenti nella maggior parte delle lingue.
3. Robustezza attraverso Scale e Compiti: Il metodo migliora le prestazioni sia su compiti strutturati (EuroEval) che su generazione aperta (m-ArenaHard 2.1). Corrisponde o supera il modello base in 6/7 lingue per EuroLLM-9B e 4/7 per aya-3B su compiti strutturati, e vince contro il base in tutte le 11 lingue valutate sulla generazione aperta.
4. Insight dalle Ablazioni:
   • Necessità dei Dati On-Policy: I miglioramenti richiedono dati on-policy. Le risposte off-policy (generate da un modello diverso) riducono i benefici, e l'ottimizzazione delle preferenze online non riesce a migliorare rispetto alla variante offline quando si utilizza un RM esterno.
   • Lingua del Prompt: La lingua del prompt dovrebbe corrispondere alla lingua della risposta scelta per prestazioni ottimali.
   • Utilità della Traduzione: Sebbene l'SFT peggiori con dati tradotti, il segnale contrastivo nel DPO rimane informativo anche quando la traduzione aggiunge rumore, poiché si basa su divari di ricompensa relativi piuttosto che su target assoluti.

Risultati

• EuroEval (Compiti Strutturati):
  • Fallimento dell'SFT: Sia l'SFT monolingue che quello multilingue su dati tradotti hanno causato oblio catastrofico, con cali di prestazioni che vanno da 0,1 a 11,3 punti.
  • Successo del DPO: Il DPO accoppiato è stato non negativo in 12/14 configurazioni per aya-3B e ha migliorato la baseline in 10/14 configurazioni per EuroLLM-9B. Il guadagno più grande è stato +3,6 punti per EuroLLM-9B sull'italiano (monolingue).
  • Confronto: Il DPO accoppiato è stato l'unico metodo rimasto non negativo in media attraverso tutte le lingue, superando ICR e MAPO che spesso degradavano le prestazioni.
• m-ArenaHard 2.1 (Generazione Aperta):
  • Il DPO accoppiato ha ottenuto tassi di vittoria controllati per lunghezza (LC) tra il 54,5% e il 58,4% contro la base EuroLLM-9B attraverso tutte le 7 lingue.
  • Per aya-3B, i tassi di vittoria LC sono variati dal 55,5% al 66,3%, con guadagni a due cifre nella maggior parte delle lingue.
  • Il metodo ha ridotto con successo il divario di prestazioni tra i modelli base e i modelli di riferimento più grandi (Gemma3-12B e Gemma3-4B) nella maggior parte delle lingue.
• Generalizzazione: Il metodo si è generalizzato positivamente a lingue non viste (norvegese, portoghese, svedese) in EuroEval, mentre l'SFT multilingue ha degradato le prestazioni su tutti i dataset non visti.

Significato e Affermazioni

Il documento afferma che CROCO offre una direzione promettente per la sintonizzazione delle preferenze multilingue dimostrando che il divario di ricompensa relativo è un segnale robusto che si trasferisce attraverso le lingue, anche quando il modello di ricompensa è addestrato esclusivamente su preferenze in inglese.

Gli autori ipotizzano che la dipendenza dell'obiettivo DPO dall'ordinamento relativo delle risposte accoppiate (piuttosto che dalla calibrazione assoluta) gli permetta di tollerare il rumore della traduzione e la miscalibrazione cross-linguistica. Questa scoperta suggerisce che un allineamento multilingue di alta qualità può essere raggiunto senza il costo proibitivo dell'annotazione delle preferenze per lingua, a condizione che vengano utilizzate generazioni self on-policy per costruire coppie contrastive.

Il lavoro evidenzia che i dati on-policy sono un componente critico, poiché il segnale contrastivo è informativo solo quando le risposte accoppiate originano dalla distribuzione del modello policy. Inoltre, stabilisce che il DPO offline con un modello di ricompensa fisso è superiore al DPO online in questo contesto, poiché quest'ultimo crea un ciclo di feedback che amplifica i bias del modello di ricompensa piuttosto che apprendere preferenze genuine.

Infine, il documento sostiene che un singolo modello di ricompensa addestrato in inglese, quando applicato a dati multilingue auto-generati tramite la costruzione di coppie contrastive, è sufficiente a guidare miglioramenti coerenti attraverso diverse lingue e scale di modelli, evitando l'oblio catastrofico associato allo standard supervised fine-tuning.