Rewrite to Translate, Translate to Reward: Reinforcement Learning for Source Rewriting in Machine Translation

Riepilogo Tecnico: RLSR (Reinforcement Learning for Source Rewriting)

Definizione del Problema
La riscrittura della sorgente (o pre-editing) mira a migliorare la qualità della Traduzione Automatica (MT) modificando il testo sorgente prima che entri nel modello di MT. Sebbene i Large Language Models (LLM) possano eseguire questo compito tramite il prompting, gli approcci attuali soffrono di due critiche limitazioni:

1. Dipendenza da Euristiche: Il design dei prompt è altamente empirico e inconsistente; una strategia efficace per un modello di MT spesso fallisce o degrada le prestazioni per un altro.
2. Intensità di Risorse: Ottenere risultati costanti richiede un tuning manuale dei prompt per ogni singolo modello, il che è dispendioso in termini di tempo e risorse.
   I metodi esistenti che utilizzano l'inferenza iterativa o i cicli di feedback sono computazionalmente costosi. Gli autori si chiedono se sia possibile scoprire un metodo di riscrittura universale che operi in modo coerente attraverso diversi modelli di MT senza il tuning manuale dei prompt.

Metodologia: Framework RLSR
Gli autori propongono RLSR (Reinforcement Learning for Source Rewriting), un framework che tratta la riscrittura della sorgente come un problema di apprendimento per rinforzo (reinforcement learning) in cui la ricompensa è il miglioramento diretto della qualità della traduzione a valle.

• Definizione della Ricompensa: La ricompensa $R$ è definita come la differenza nei punteggi delle metriche di valutazione automatica tra la traduzione della sorgente riscritta ($\tilde{s}$) e la sorgente originale ($s$):
  $$R(s, \tilde{s}, r) = Q(s, M(\tilde{s}), r) - Q(s, M(s), r)$$
  dove $M$ è il modello di MT a valle fisso, $r$ è la traduzione di riferimento e $Q$ è una metrica automatica (specificamente xCOMET-XL negli esperimenti).
• Obiettivo di Ottimizzazione: Poiché il modello di MT e la metrica non sono differenziabili, il classico Supervised Fine-Tuning (SFT) non può ottimizzare direttamente questo obiettivo. Invece, RLSR impiega un algoritmo di RL on-policy, DAPO (Decoupled Clip and Dynamic Sampling Policy Optimization).
• Regolarizzazione KL: Per prevenire il "reward hacking" (ad esempio, la generazione di testi privi di senso che sfruttano le vulnerabilità delle metriche), la ricompensa totale include una penalità di divergenza di Kullback-Leibler (KL) rispetto a una politica di riferimento ($R_{ref}$), tipicamente un LLM capace di seguire istruzioni con un prompt standard:
  $$R_{total} = R(s, \tilde{s}, r) - \beta \log \frac{R_\theta(\tilde{s}|s)}{R_{ref}(\tilde{s}|s)}$$
• Processo di Training: Il modello di riscrittura campiona una riscrittura $\tilde{s}$, il modello di MT traduce sia $s$ che $\tilde{s}$, la metrica $Q$ valuta entrambi, e la ricompensa risultante aggiorna la politica di riscrittura.

Contributi Chiave

1. Ottimizzazione Senza Prompt: RLSR elimina la necessità di tuning manuale dei prompt ottimizzando direttamente il modello di riscrittura verso l'obiettivo di traduzione a valle.
2. Efficienza: A differenza dei metodi di feedback iterativo, RLSR richiede un unico passaggio forward del modello di riscrittura e del modello di MT per ogni step di training, rendendolo computazionalmente efficiente durante l'inferenza.
3. Superiorità rispetto a SFT: Il paper dimostra che l'SFT, quando applicato alla riscrittura della sorgente, porta spesso alla "degenerazione" in cui il modello si limita a copiare il testo sorgente (per minimizzare la perdita sui token che non cambiano) invece di imparare a effettuare modifiche significative. L'RL forza il modello a esplorare strategie diverse per massimizzare la ricompensa.
4. Generalizzazione: I modelli addestrati tramite RLSR per un modello di MT specifico generalizzano bene ad altri modelli di MT non visti, suggerendo che le strategie apprese siano robuste e non overfitting sulle idiosincrasie di un singolo modello.

Risultati Sperimentali
Gli autori hanno valutato RLSR sul WMT2025 General MT Shared Task (16 coppie di lingue) su sei diversi modelli di MT a valle (con parametri che vanno da 4B a 31B, inclusi varianti di Gemma e Qwen).

• Performance vs Baseline:
  • I modelli da 4B addestrati con RLSR hanno superato significativamente la baseline di "nessuna riscrittura" e le esistenti baseline basate su prompt della stessa scala (4B) (Simplification, Paraphrase, Easy Translate) in tutte le metriche (xCOMET, MetricX, GEMBA).
  • I modelli RLSR da 4B hanno ottenuto performance competitive con le baseline basate su prompt che utilizzano un enorme LLM da 235B, dimostrando un'alta efficienza di parametri.
• Robustezza: Mentre i metodi basati su prompt mostravano un'alta varianza (ad esempio, "Paraphrase" spesso degradava le prestazioni), RLSR ha fornito miglioramenti costanti in tutti i modelli di MT testati senza alcuna regolazione del prompt.
• Mitigazione del Bias delle Metriche: Sebbene addestrato con xCOMET, i modelli hanno migliorato anche su GEMBA (una metrica basata su prompt e senza riferimento), indicando che i guadagni non erano un semplice overfitting sulla metrica di training.
• Analisi Qualitativa: Gli studi di caso hanno rivelato che RLSR impara a effettuare modifiche localizzate e che preservano la lunghezza, mirando a ostacoli specifici della traduzione (disfluenze, ambiguità), mentre i metodi basati su prompt spesso riscrivono l'intero testo in modo indiscriminato o allucinano contenuti.

Significato e Rivendicazioni
Il paper sostiene che RLSR fornisca un approccio snello e automatizzato alla riscrittura della sorgente che si adatta perfettamente a diversi modelli di MT. Passando dal prompt engineering euristico all'ottimizzazione diretta della ricompensa, il metodo migliora significativamente la qualità della traduzione senza l'overhead computazionale dell'inferenza iterativa o il lavoro manuale del tuning dei prompt. Gli autori lo posizionano come un paradigma più efficace rispetto all'SFT per i compiti di riscrittura, poiché l'RL evita con successo la degenerazione da "copia" comune negli approcci supervisionati.

Limitazioni Riconosciute

• Costo di Training: L'addestramento di RLSR è più costoso rispetto all'SFT perché richiede l'esecuzione ripetuta del modello di MT a valle e della metrica di valutazione per calcolare le ricompense.
• Dipendenza dalle Metriche: L'approccio assume che la metrica automatica (xCOMET) rifletta fedelmente la qualità della traduzione. Sebbene i risultati di GEMBA mitigino le preoccupazioni sul bias della metrica, gli autori notano che la valutazione umana sarebbe definitiva, ma non è stata condotta per motivi di costo.
• Ambito: Gli esperimenti sono stati limitati a sei modelli di MT e 16 coppie di lingue; una validazione più ampia è suggerita per lavori futuri.