Rewrite to Translate, Translate to Reward: Reinforcement Learning for Source Rewriting in Machine Translation

Resumo Técnico: RLSR (Aprendizado por Reforço para Reescrita de Fonte)

Definição do Problema
A reescrita de fonte (ou pré-edição) visa melhorar a qualidade da Tradução Automática (MT) modificando o texto de origem antes que ele entre no modelo de MT. Embora os Grandes Modelos de Linguagem (LLMs) possam realizar essa tarefa via prompting, as abordagens atuais sofrem de duas limitações críticas:

1. Dependência de Heurísticas: O design de prompts é altamente empírico e inconsistente; uma estratégia eficaz para um modelo de MT muitas vezes falha ou degrada o desempenho para outro.
2. Intensidade de Recursos: Alcançar resultados consistentes exige o ajuste manual de prompts para cada modelo, o que é demorado e consome muitos recursos.
   Métodos existentes que utilizam inferência iterativa ou loops de feedback são computacionalmente caros. Os autores questionam se um método de reescrita universal pode ser descoberto para performar consistentemente em diversos modelos de MT sem o ajuste manual de prompts.

Metodologia: Estrutura RLSR
Os autores propõem o RLSR (Reinforcement Learning for Source Rewriting), uma estrutura que trata a reescrita de fonte como um problema de aprendizado por reforço, onde a recompensa é a melhoria direta na qualidade da tradução subsequente.

• Definição de Recompensa: A recompensa $R$ é definida como a diferença nos escores das métricas de avaliação automática entre a tradução da fonte reescrita ($\tilde{s}$) e a fonte original ($s$):
  $$R(s, \tilde{s}, r) = Q(s, M(\tilde{s}), r) - Q(s, M(s), r)$$
  onde $M$ é o modelo de MT subsequente fixo, $r$ é a tradução de referência, e $Q$ é uma métrica automática (especificamente xCOMET-XL nos experimentos).
• Objetivo de Otimização: Como o modelo de MT e a métrica não são diferenciáveis, o Ajuste Fino Supervisionado (SFT) padrão não pode otimizar diretamente este objetivo. Em vez disso, o RLSR emprega um algoritmo de RL on-policy, o DAPO (Decoupled Clip and Dynamic Sampling Policy Optimization).
• Regularização KL: Para evitar o "reward hacking" (ex: gerar texto sem sentido que explora vulnerabilidades da métrica), a recompensa total inclui uma penalidade de divergência de Kullback-Leibler (KL) contra uma política de referência ($R_{ref}$), tipicamente um LLM de seguimento de instrução com um prompt padrão:
  $$R_{total} = R(s, \tilde{s}, r) - \beta \log \frac{R_\theta(\tilde{s}|s)}{R_{ref}(\tilde{s}|s)}$$
• Processo de Treinamento: O modelo de reescrita amostra uma reescrita $\tilde{s}$, o modelo de MT traduz tanto $s$ quanto $\tilde{s}$, a métrica $Q$ avalia ambos, e a recompensa resultante atualiza a política de reescrita.

Principais Contribuições

1. Otimização Livre de Prompts: O RLSR elimina a necessidade de ajuste manual de prompts ao otimizar diretamente o modelo de reescrita em direção ao objetivo de tradução subsequente.
2. Eficiência: Ao contrário dos métodos de feedback iterativo, o RLSR requer apenas uma passagem direta (forward pass) do modelo de reescrita e do modelo de MT por etapa de treinamento, tornando-o computacionalmente eficiente no tempo de inferência.
3. Superioridade sobre o SFT: O artigo demonstra que o SFT, quando aplicado à reescrita de fonte, frequentemente leva à "degeneração", onde o modelo simplesmente copia o texto de origem (para minimizar a perda nos tokens que não mudam) em vez de aprender a fazer edições significativas. O RL força o modelo a explorar diversas estratégias para maximizar a recompensa.
4. Generalização: Modelos treinados via RLSR para um modelo de MT específico generalizam bem para outros modelos de MT não vistos, sugerindo que as estratégias aprendidas são robustas e não sobreajustadas às idiossincrasias de um único modelo.

Resultos Experimentais
Os autores avaliaram o RLSR na tarefa compartilhada WMT2025 General MT (16 pares de idiomas) através de seis modelos de MT subsequentes distintos (variando de 4B a 31B de parâmetros, incluindo variantes de Gemma e Qwen).

• Desempenho vs. Baselines:
  • Modelos de 4B treinados via RLSR superaram significativamente a baseline de "sem reescrita" e as baselines existentes de mesma escala (4B) baseadas em prompt (Simplificação, Paráfrase, Easy Translate) em todas as métricas (xCOMET, MetricX, GEMBA).
  • Os modelos RLSR de 4B alcançaram desempenho competitivo com baselines baseadas em prompt utilizando um LLM massivo de 235B, demonstrando alta eficiência de parâmetros.
• Robustez: Enquanto os métodos baseados em prompt mostraram alta variância (ex: "Paráfrase" frequentemente degradava o desempenho), o RLSR proporcionou melhorias consistentes em todos os modelos de MT testados sem qualquer ajuste de prompt.
• Mitigação de Viés de Métrica: Embora treinado usando xCOMET, os modelos também melhoraram no GEMBA (uma métrica baseada em prompt e livre de referência), indicando que os ganhos não foram meramente um sobreajuste à métrica de treinamento.
• Análise Qualitativa: Estudos de caso revelaram que o RLSR aprende a fazer edições localizadas e preservadoras de comprimento, visando obstáculos específicos de tradução (disfluências, ambiguidades), enquanto os métodos baseados em prompt frequentemente reescrevem todo o texto indiscriminadamente ou alucinam conteúdo.

Significância e Alegações
O artigo afirma que o RLSR fornece uma abordagem simplificada e automatizada para a reescrita de fonte que se adapta perfeitamente a diversos modelos de MT. Ao mudar do engenharia de prompt heurística para a otimização direta de recompensa, o método melhora significativamente a qualidade da tradução sem o overhead computacional da inferência iterativa ou o trabalho manual de ajuste de prompts. Os autores posicionam isso como um paradigma mais eficaz do que o SFT para tarefas de reescrita, já que o RL evita com sucesso a degeneração de "cópia" comum em abordagens supervisionadas.

Limitações Reconhecidas

• Custo de Treinamento: O treinamento do RLSR é mais caro que o SFT porque requer a execução repetida do modelo de MT subsequente e da métrica de avaliação para calcular as recompensas.
• Dependência de Métrica: A abordagem assume que a métrica automática (xCOMET) reflete fielmente a qualidade da tradução. Embora os resultados do GEMBA mitiguem preocupações de viés de métrica, os autores observam que a avaliação humana seria definitiva, mas não foi realizada devido ao custo.
• Escopo: Os experimentos foram limitados a seis modelos de MT e 16 pares de idiomas; uma validação mais ampla é sugerida para trabalhos futuros.