Rewrite to Translate, Translate to Reward: Reinforcement Learning for Source Rewriting in Machine Translation

Technische Samenvatting: RLSR (Reinforcement Learning voor Source Rewriting)

Probleemstelling
Source rewriting (of pre-editing) heeft als doel de kwaliteit van Machinevertaling (MT) te verbeteren door de brontekst aan te passen voordat deze de MT-modellen ingaat. Hoewel Large Language Models (LLM's) deze taak kunnen uitvoeren via prompting, lijden huidige benaderingen onder twee kritieke beperkingen:

1. Heuristische Afhankelijkheid: Promptontwerp is sterk empirisch en inconsistent; een strategie die effectief is voor het ene MT-model, werkt vaak niet of verslechtert de prestaties voor een ander model.
2. Resource-intensiteit: Het bereiken van consistente resultaten vereist handmatige, per model specifieke prompt-tuning, wat tijdrovend en arbeidsintensief is.
   Bestaande methoden die gebruikmaken van iteratieve inferentie of feedbackloops zijn computationeel duur. De auteurs vragen zich af of er een universele rewriting-methode kan worden ontdekt die consistent presteert over diverse MT-modellen heen zonder handmatige prompt-tuning.

Methodologie: RLSR-framework
De auteurs stellen RLSR (Reinforcement Learning for Source Rewriting) voor, een framework dat source rewriting behandelt als een reinforcement learning-probleem waarbij de beloning de directe verbetering in de downstream vertaalingskwaliteit is.

• Definitie van Beloning: De beloning $R$ wordt gedefinieerd als het verschil in automatische evaluatiemetriek-scores tussen de vertaling van de herschreven bron ($\tilde{s}$) en de originele bron ($s$):
  $$R(s, \tilde{s}, r) = Q(s, M(\tilde{s}), r) - Q(s, M(s), r)$$
  waarbij $M$ het vaste downstream MT-model is, $r$ de referentietranslatie, en $Q$ een automatische metriek (specifiek xCOMET-XL in de experimenten).
• Optimalisatie-doelstelling: Omdat het MT-model en de metriek niet-differentieerbaar zijn, kan standaard Supervised Fine-Tuning (SFT) dit doel niet direct optimaliseren. In plaats daarvan gebruikt RLSR een on-policy RL-algoritme, DAPO (Decoupled Clip and Dynamic Sampling Policy Optimization).
• KL-Regularisatie: Om "reward hacking" te voorkomen (bijv. het genereren van onzinnige tekst die de kwetsbaarheden van de metriek uitbuit), bevat de totale beloning een Kullback-Leibler divergentie-straf tegen een referentiebeleid ($R_{ref}$), doorgaans een instructie-volgend LLM met een standaard prompt:
  $$R_{total} = R(s, \tilde{s}, r) - \beta \log \frac{R_\theta(\tilde{s}|s)}{R_{ref}(\tilde{s}|s)}$$
• Trainingsproces: Het rewriting-model samplet een herschrijving $\tilde{s}$, het MT-model vertaalt zowel $s$ als $\tilde{s}$, de metriek $Q$ evalueert deze, en de resulterende beloning werkt het rewriting-beleid bij.

Belangrijkste Bijdragen

1. Prompt-vrije Optimalisatie: RLSR elimineert de noodzaak voor handmatige prompt-tuning door het rewriting-model direct te optimaliseren richting het downstream vertalingsdoel.
2. Efficiëntie: In tegenstelling tot iteratieve feedbackmethoden vereist RLSR slechts één forward pass van het rewriting-model en het MT-model per trainingsstap, wat het computationeel efficiënt maakt tijdens de inferentie.
3. Superieur aan SFT: Het paper demonstreert dat SFT, wanneer toegepast op source rewriting, vaak leidt tot "degeneratie" waarbij het model simpelweg de brontekst kopieert (om de loss op ongewijzigde tokens te minimaliseren) in plaats van te leren betekenisvolle aanpassingen te maken. RL dwingt het model om diverse strategieën te verkennen om de beloning te maximaliseren.
4. Generalisatie: Modellen getraind via RLSR voor een specifiek MT-model generaliseren goed naar andere, ongeziene MT-modellen, wat suggereert dat de geleerde strategieën robuust zijn en niet overfit zijn op de idiosyncrasieën van een enkel model.

Experimentele Resultaten
De auteurs evalueerden RLSR op de WMT2025 General MT Shared Task (16 taalparen) over zes verschillende downstream MT-modellen (variërend van 4B tot 31B parameters, inclusief Gemma en Qwen varianten).

• Prestaties vs. Baselines:
  • RLSR-getrainde 4B modellen presteerden significant beter dan de "geen-rewriting" baseline en bestaande baselines van dezelfde schaal (4B) gebaseerd op prompts (Simplification, Paraphrase, Easy Translate) over alle metrieken (xCOMET, MetricX, GEMBA).
  • De 4B RLSR-modellen behaalden prestaties die competitief zijn met prompt-gebaseerde baselines die een massief 235B LLM gebruiken, wat een hoge parameter-efficiëntie aantoont.
• Robuustheid: Terwijl prompt-gebaseerde methoden een hoge variantie vertoonden (bijv. "Paraphrase" verslechterde vaak de prestaties), zorgde RLSR voor consistente verbeteringen over alle geteste MT-modellen zonder enige prompt-aanpassing.
• Mitigatie van Metriek-bias: Hoewel getraind met xCOMET, verbeterden de modellen ook op GEMBA (een prompt-gebaseerde, referentievrije metriek), wat aangeeft dat de winst niet louter voortkwam uit overfitting op de trainingsmetriek.
• Kwalitatieve Analyse: Casestudy's toonden aan dat RLSR leert om gelokaliseerde, lengte-behoudende aanpassingen te maken die gericht zijn op specifieke vertalingsobstakels (disfluencies, ambiguïteiten), terwijl prompt-gebaseerde methoden vaak de gehele tekst ongeremd herschrijven of inhoud hallucineren.

Betekenis en Claims
Het paper claimt dat RLSR een gestroomlijnde, geautomatiseerde aanpak biedt voor source rewriting die naadloos aanpasbaar is aan diverse MT-modellen. Door de verschuiving van heuristische prompt engineering naar directe beloningsoptimalisatie, verbetert de methode de vertalingskwaliteit aanzienlijk zonder de computationele overhead van iteratieve inferentie of de handmatige arbeid van prompt-tuning. De auteurs positioneren dit als een effectiever paradigma dan SFT voor rewriting-taken, aangezien RL succesvol de "kopieer"-degeneratie vermijdt die gebruikelijk is bij supervised benaderingen.

Erkende Beperkingen

• Trainingskosten: RLSR-training is duurder dan SFT omdat het herhaaldelijk draaien van het downstream MT-model en de evaluatiemetriek vereist om beloningen te berekenen.
• Afhankelijkheid van Metriek: De aanpak gaat ervan uit dat de automatische metriek (xCOMET) de vertalingskwaliteit getrouw reflecteert. Hoewel GEMBA-resultaten zorgen over metriek-bias verzachten, merken de auteurs op dat menselijke evaluatie definitief zou zijn, maar dat dit vanwege kosten niet is uitgevoerd.
• Omvang: Experimenten waren beperkt tot zes MT-modellen en 16 taalparen; bredere validatie wordt gesuggereerd voor toekomstig werk.