Reinforcement Learning with Semantic Rewards Enables Low-Resource Language Expansion without Alignment Tax

Riepilogo Tecnico: Apprendimento per Rinforzo con Ricompense Semantiche per l'Espansione verso Lingue a Risorse Limitate

1. Enunciato del Problema

L'espansione dei Modelli Linguistici di Grandi Dimensioni (LLM) verso lingue a risorse limitate comporta spesso un "tasso di allineamento": i miglioramenti nella lingua target avvengono a scapito di un oblio catastrofico delle capacità generali (ad esempio, le prestazioni nelle lingue ad alta risorsa). Gli autori sostengono che questo compromesso derivi dalla rigidità del Fine-Tuning Supervisionato (SFT). L'SFT si basa sulla massimizzazione della verosimiglianza a livello di token, forzata dall'insegnante, su distribuzioni di dati ristrette e distorte. Ciò impone un'imitazione della forma superficiale, portando a aggiornamenti parametrici eccessivamente sicuri che riallocano aggressivamente la capacità rappresentativa, interferendo così con le conoscenze pre-addestrate e degradando la competenza generale.

2. Metodologia: Allineamento nello Spazio Semantico

Il documento propone un cambiamento di paradigma dal matching della distribuzione a livello di token all'allineamento nello spazio semantico, dando priorità alla preservazione del significato rispetto all'imitazione rigida della forma superficiale. Ciò viene operazionalizzato attraverso un framework di addestramento in due fasi alimentato dall'Ottimizzazione della Politica Relativa di Gruppo (GRPO).

Paradigma di Addestramento in Due Fasi:

1. SFT a Inizio a Freddo: Viene eseguita una fase leggera di fine-tuning supervisionato (5.000 istanze, 2 epoche) per avviare una competenza minima di output nella lingua target (ad esempio, corretto uso dello script e coerenza di base). Ciò garantisce che il modello possa generare output non degenerati prima dell'inizio dell'apprendimento per rinforzo.
2. Apprendimento per Rinforzo con Ricompense Semantiche: Partendo dalla politica a inizio a freddo, il modello subisce un'ottimizzazione GRPO. Invece della verosimiglianza a livello di token, il modello viene ottimizzato utilizzando ricompense semantiche a livello di embedding.
   • Obiettivo: Il modello esplora realizzazioni linguistiche diverse che mantengono l'equivalenza semantica rispetto ai testi di riferimento, piuttosto che imitare sequenze di token specifiche.
   • Stabilità: La GRPO incorpora vincoli di regione di fiducia (tramite confronti relativi all'interno di un gruppo campionato di candidati) per limitare la deriva della politica, prevenendo interferenze distruttive con le rappresentazioni pre-addestrate.

Progettazione della Ricompensa:
La funzione di ricompensa $R(y, y^*)$ combina due componenti:

• Somiglianza Semantica ($R_{sim}$): Calcolata utilizzando la similarità del coseno tra gli embedding delle frasi dell'output generato $y$ e del riferimento $y^*$, derivati da un modello di embedding bilingue (adattato da CINO/XLM-R). Viene applicata una funzione di modellazione a soglia e riscalamento per focalizzare l'apprendimento su miglioramenti significativi oltre la semplice adeguatezza minima.
• Coerenza Linguistica ($R_{lang}$): Un vincolo rigido basato su regole (utilizzando intervalli Unicode ed espressioni regolari) che penalizza output misti o fuori target, assicurando che l'ottimizzazione rimanga strettamente all'interno dello spazio della lingua target a risorse limitate.

3. Contributi Chiave

• Paradigma di Allineamento nello Spazio Semantico: Gli autori propongono di disaccoppiare la preservazione del significato dall'imitazione della forma superficiale utilizzando la GRPO con ricompense a livello di embedding.
• Mitigazione del Tasso di Allineamento: L'approccio dimostra che significativi guadagni per le lingue a risorse limitate possono essere ottenuti eliminando virtualmente il degrado delle capacità generali (tasso di allineamento) tipicamente osservato nell'SFT.
• Qualità Semantica Superiore: Il metodo produce output semanticamente superiori e preferiti dai giudici LLM rispetto alle linee di base SFT, anche quando la sovrapposizione di n-grammi (BLEU/ROUGE) è inferiore.
• Rappresentazioni Trasferibili: Il documento convalida che l'RL semantico produce rappresentazioni più robuste e trasferibili, come dimostrato da una generalizzazione few-shot più forte verso compiti downstream rispetto ai metodi supervisionati.

4. Risultati Sperimentali

L'approccio è stato valutato su Traduzione Automatica (MT) Tibetano-Cinese e Generazione di Titoli (HG) in Tibetano.

• Prestazioni del Compito vs. Tasso di Allineamento:
  • Traduzione Automatica: Sebbene l'SFT forte abbia ottenuto punteggi BLEU basati sul riferimento più elevati (0,6006 contro 0,4519 per l'RL), ha subito un significativo tasso di allineamento, facendo crollare i punteggi CMRC (comprensione della lettura cinese) di circa 5,15 punti. Al contrario, il metodo RL ha preservato le capacità generali (i punteggi CMRC sono migliorati o rimasti stabili) ottenendo al contempo un'alta similarità semantica.
  • Generazione di Titoli: L'RL ha ottenuto una conservazione delle capacità generali paragonabile all'SFT, ma è stato preferito dai giudici LLM nel 51,2% dei confronti a coppie contro il 35,1% per l'SFT, nonostante avesse punteggi ROUGE-L inferiori.
• Trasferimento Few-Shot: In un test di trasferimento da MT a HG (utilizzando solo 1.000 campioni HG), il modello inizializzato con RL ha ottenuto una similarità semantica più alta (0,5690 contro 0,5456) rispetto al modello inizializzato con SFT, indicando che l'RL apprende caratteristiche più generalizzabili e radicate semanticamente piuttosto che pattern superficiali specifici del compito.
• Ablazione della Ricompensa: Gli esperimenti hanno confermato che combinare la similarità degli embedding con la coerenza linguistica è fondamentale. L'aggiunta di ricompense basate su BLEU ha indebolito le prestazioni, reintroducendo la rigidità del matching a livello di token.

5. Significato e Affermazioni

Il documento afferma che l'Apprendimento per Rinforzo con Ricompense Semantiche fornisce un percorso più sicuro e affidabile per un'espansione inclusiva verso lingue a risorse limitate. Spostando l'obiettivo di allineamento dal matching della distribuzione all'allineamento centrato sul significato, il metodo permette ai modelli di acquisire nuove capacità linguistiche senza l'interferenza distruttiva tipica della massimizzazione della verosimiglianza non vincolata.

Gli autori concludono che questo paradigma offre una soluzione scalabile per estendere gli LLM a lingue scarsamente supportate in condizioni di scarsità di dati, risolvendo efficacemente la tensione tra adattamento al compito e preservazione della competenza generale. Lo studio suggerisce che le metriche basate sul riferimento spesso non riescono a catturare la vera qualità semantica in contesti a risorse limitate e che l'allineamento nello spazio semantico cattura meglio le preferenze umane e la trasferibilità.