Rewrite to Translate, Translate to Reward: Reinforcement Learning for Source Rewriting in Machine Translation

기술 요약: RLSR (Reinforcement Learning for Source Rewriting)

문제 정의
소스 재작성(또는 사전 편집)은 기계 번역(MT) 모델에 입력되기 전 소스 텍스트를 수정하여 번역 품질을 개선하는 것을 목표로 합니다. 대규모 언어 모델(LLM)은 프롬프팅을 통해 이 작업을 수행할 수 있지만, 현재의 방식들은 두 가지 결정적인 한계점을 가집니다:

1. 휴리스틱 의존성: 프롬프트 설계는 매우 경험적이며 일관성이 없습니다. 하나의 MT 모델에 효과적인 전략이 다른 모델에서는 성능을 저하시키거나 실패할 수 있습니다.
2. 자원 집약성: 일관된 결과를 얻으려면 모델별로 수동 프롬프트 튜닝이 필요하며, 이는 시간과 자원이 많이 소요됩니다.
   반복적인 추론이나 피드백 루프를 사용하는 기존 방법들은 계산 비용이 많이 듭니다. 저자들은 수동 프롬프트 튜닝 없이도 다양한 MT 모델에서 일관되게 작동하는 보편적인 재작성 방법을 발견할 수 있는지 질문을 던집니다.

방법론: RLSR 프레워크
저자들은 소스 재작성을 보상이 다운스트림 번역 품질의 직접적인 향상으로 이어지는 강화 학습 문제로 취급하는 RLSR (Reinforcement Learning for Source Rewriting) 프레임워크를 제안합니다.

• 보상 정의: 보상 $R$은 재작성된 소스($\tilde{s}$)의 번역과 원본 소스($s$)의 번환 사이의 자동 평가 지표 점수 차이로 정의됩니다:
  $$R(s, \tilde{s}, r) = Q(s, M(\tilde{s}), r) - Q(s, M(s), r)$$
  여기서 $M$은 고정된 다운스트림 MT 모델이고, $r$은 참조 번역이며, $Q$는 자동 지표(실험에서는 xCOMET-XL 사용)입니다.
• 최적화 목표: MT 모델과 지표는 미분 불가능하므로, 표준 지도 미세 조정(SFT)으로는 이 목표를 직접 최적화할 수 없습니다. 대신 RLSR은 온-폴리시(on-policy) RL 알고리즘인 DAPO(Decoupled Clip and Dynamic Sampling Policy Optimization)를 채택합니다.
• KL 정규화: "보상 해킹"(예: 지표의 취약점을 악용하는 무의미한 텍스트 생성)을 방지하기 위해, 전체 보상에는 표준 프롬프트가 적용된 지시 이행 LLM인 참조 정책($R_{ref}$)에 대한 쿨백-라이블러(Kullback-Leibler) 발산 페널티가 포함됩니다:
  $$R_{total} = R(s, \tilde{s}, r) - \beta \log \frac{R_\theta(\tilde{s}|s)}{R_{ref}(\tilde{s}|s)}$$
• 학습 과정: 재작성 모델이 재작성본 $\tilde{s}$를 샘플링하면, MT 모델이 $s$와 $\tilde{s}$를 모두 번역하고, 지표 $Q$가 이를 평가하며, 결과로 나온 보상이 재작성 정책을 업데이트합니다.

주요 기여

1. 프롬프트가 필요 없는 최적화: RLSR은 재작성 모델을 다운스트림 번역 목표에 직접 최적화함으로써 수동 프롬프트 튜닝의 필요성을 제거합니다.
2. 효율성: 반복적인 피드백 방식과 달리, RLSR은 훈련 단계당 재작성 모델과 MT 모델의 단일 순방향 패스(forward pass)만을 요구하므로 추론 시 계산 효율성이 높습니다.
3. SFT 대비 우월성: 논문은 소스 재작성에 SFT를 적용할 경우, 모델이 의미 있는 편집을 배우기보다 (변하지 않는 토큰에 대한 손실을 최소로 줄이기 위해) 단순히 소스를 복사하는 "퇴보(degeneration)" 현상이 발생함을 보여줍니다. RL은 모델이 보상을 극대화하기 위해 다양한 전략을 탐색하도록 강제합니다.
4. 일반화: 특정 MT 모델을 위해 RLSR로 훈련된 모델은 학습되지 않은 다른 MT 모델에 대해서도 잘 일반화되며, 이는 학습된 전략이 단일 모델의 특이점에 과적합된 것이 아니라 견고함을 시사합니다.

실험 결과
저자들은 WMT2025 General MT Shared Task(16개 언어 쌍)에서 6개의 서로 다른 다운스트림 MT 모델(Gemma 및 Qwen 변형을 포함하여 4B에서 31B 파라미터 범위)을 대상으로 RLSR을 평가했습니다.

• 베이스라인 대비 성능:
  • RL-훈련된 4B 모델은 모든 지표(xCOMET, MetricX, GEMBA)에서 "재작성 없음" 베이스라인과 기존의 동일 규모(4B) 프롬프트 기반 베이스라인(Simplification, Paraphrase, Easy Translate)을 크게 상회했습니다.
  • 4B RLSR 모델은 거대한 235B LLM을 사용한 프롬프트 기반 베이스라인과 경쟁할 만한 성능을 달着했으며, 이는 높은 파라미터 효율성을 입증합니다.
• 강건성: 프롬프트 기반 방법은 변동성이 컸던 반면(예: "Paraphrase"는 종종 성능을 저하시킴), RLSR은 프롬프트 조정 없이도 테스트된 모든 MT 모델에서 일관된 개선을 제공했습니다.
• 지표 편향 완화: xCOMET을 사용하여 훈련되었음에도 불구하고, 모델은 GEMBA(프롬프트 기반 참조 없는 지표)에서도 성능이 향상되었습니다. 이는 얻어진 이득이 단순히 훈련 지표에 과적합된 것이 아님을 나타냅니다.
• 정성적 분석: 사례 연구를 통해 RLSR이 전체 텍스트를 무차별적으로 재작성하거나 내용을 환각(hallucination)하는 프롬프트 기반 방법과 달리, 특정 번역 장애물(불연속성, 모호성)을 겨냥하여 국소적이고 길이를 보존하는 편집을 수행함을 밝혔습니다.

의의 및 주장
이 논문은 RLSR이 다양한 MT 모델에 원활하게 적응하는 간소화되고 자동화된 소스 재작성 접근법을 제공한다고 주장합니다. 휴리스틱한 프롬프트 엔지니어링에서 직접적인 보상 최적화로 전환함으로써, RLSR은 반복적인 추론의 계산 오버헤드나 프롬프트 튜닝의 수동 작업 없이도 번역 품질을 크게 향상시킵니다. 저자들은 이 방법이 SFT보다 재작성 작업에 더 효과적인 패러다임이라고 위치시키며, RL이 감독 학습 방식에서 흔히 발생하는 "복사" 퇴보 현상을 성공적으로 피한다는 점을 강조합니다.

인정된 한계점

• 훈련 비용: RLSR 훈련은 보상 계산을 위해 다운스트림 MT 모델과 평가 지표를 반복적으로 실행해야 하므로 SFT보다 비용이 많이 듭니다.
• 지표 의존성: 이 접근 방식은 자동 지표(xCOMET)가 번역 품질을 충실히 반영한다고 가정합니다. GEMBA 결과가 지표 편향 문제를 완화해주기는 하지만, 저자들은 인간 평가가 결정적일 것이나 비용 문제로 실시하지 못했음을 언급했습니다.
• 범위: 실험은 6개의 MT 모델과 16개의 언어 쌍으로 제한되었습니다. 향-후 연구를 위한 더 넓은 검증이 제안되었습니다.