기술 요약: 저자원 대상 언어 생성을 위한 소스 기반 의미 강화 학습

1. 문제 제기

대형 언어 모델 (LLM) 은 언어 간에 상당한 성능 격차를 보입니다. 고자원 언어는 풍부한 사전 학습 및 지시 데이터를 혜택을 받는 반면, 저자원 언어는 불안정한 생성, 환각 현상, 그리고 약한 사실 기반성으로 고통받습니다. LLM 을 새로운 언어로 확장하기 위한 표준 접근법들—예를 들어, 지속적인 사전 학습 followed by 지도 미세 조정 (SFT)—은 대상 언어 텍스트나 작업별 감독에 크게 의존하는데, 이는 진정한 저자원 언어의 경우 종종 이용 불가능합니다.

교차 언어 생성에서 병목 현상은 고품질 병렬 데이터의 부족으로 인해 더욱 악화됩니다. 고자원 소스 언어 단일 언어 데이터 (예: 중국어 또는 영어 뉴스) 는 풍부하지만, 표준 SFT 는 모든 학습 인스턴스에 대상 언어 참조가 필요하기 때문에 이를 직접 활용할 수 없습니다. 핵심 연구 질문은 다음과 같습니다: 충분한 소스 언어 단일 언어 데이터를 훈련 중 대상 언어 참조 없이도 저자원 대상 언어 생성을 위한 유용한 감독 신호로 변환할 수 있는가?

2. 방법론: SG-SRL 프레임워크

저자들은 소스 언어 단일 언어 데이터를 교차 언어 의미 정렬에 활용하기 위해 설계된 "훈련 - 강화 - 복구" 프레임워크인 **소스 기반 의미 강화 학습 (SG-SRL)**을 제안합니다.

2.1 데이터 소스

이 프레임워크는 두 가지 구별된 데이터 소스를 활용합니다:

• $D_{para}$: 대상 형태 초기화 및 복구를 위해 사용되는 소스 - 대상 쌍으로 구성된 작은 병렬 말뭉치.
• $D_{src}$: 대상 언어 참조가 전혀 없는 의미 중간 훈련에 사용되는 대규모 소스 언어 단일 언어 말뭉치.

2.2 3 단계 절차

1. 대상 형태 초기화: 기본 모델을 소규모 병렬 말뭉치 ($D_{para}$) 에서 몇 에포크 동안 미세 조정합니다. 이는 기본적인 대상 언어 유창성, 작업 형식, 스타일을 갖춘 "콜드 스타트" 생성기를 확립하지만, 의미 범위는 제한적입니다.
2. 소스 기반 의미 RL: 초기화된 모델을 대규모 소스 언어 말뭉치 ($D_{src}$) 에서 강화 학습 (RL) 을 거칩니다.
   • 보상 메커니즘: 다국어 리랭커를 사용하여 교차 언어 의미 보상을 구성합니다. 소스 입력을 쿼리로, 생성된 대상 언어 출력을 후보로 간주합니다. 리랭커는 두 가지 간의 의미적 관련성을 점수화합니다.
   • 보상 해킹 및 안전 장치: 이 관련성 보상을 직접 최적화하면 "장황함 기반 보상 해킹"이 발생하여, 모델이 개념 범위를 극대화하기 위해 과도하게 긴 출력을 생성함으로써 유창성과 형식을 저하시킵니다. 이를 완화하기 위해 저자들은 세 가지 안전 장치를 사용합니다:
     • 언어 게이트: 출력이 주로 대상 언어로 이루어지도록 보장하는 하드 필터.
     • 길이 패널티: 출력이 배치 중앙 길이의 2.5 배를 초과할 때 활성화되는 배치 상대적 패널티.
     • 반복 패널티: 반복된 4-그램에 대한 패널티.
   • 최적화: 정책은 GRPO(그룹 상대 정책 최적화) 를 사용하여 업데이트되며, RL 단계를 최종 최적화가 아닌 "의미 중간 훈련"으로 간주합니다.
3. 대상 형태 복구: 강력한 의미 기반성을 갖지만 표면 형태가 저하된 중간 RL 체크포인트를 다시 소규모 병렬 말뭉치 ($D_{para}$) 에서 미세 조정합니다. 이 단계는 RL 동안 획득한 의미적 이득을 유지하면서 유창성, 간결성, 작업 형식을 복원합니다.

2.3 보상 구체화

• LLM 기반 리랭커: 주요 실험 (중국어 - 태국어) 에서 생성형 예/아니오 판정기 (리랭커) 가 관련성 쿼리에 대한 긍정 답변 확률에 기반한 스칼라 보상을 제공합니다.
• 인코더 기반 임베딩: 강력한 리랭커를 사용할 수 없는 티베트어 실험에서, 티베트어 - 중국어 쌍으로 훈련된 인코더 기반 임베딩 스코어러가 보상으로 유사도 점수를 제공합니다.

3. 주요 기여

• 프레임워크 제안: SG-SRL 은 소스 언어 단일 언어 데이터를 참조 없는 의미 감독으로 변환하여 저자원 환경에서 RL 을 가능하게 하는 새로운 프레임워크로 소개됩니다.
• 의미 - 형태 트레이드오프 식별: 저자들은 관련성 지향 보상의 직접 최적화가 장황함 기반 보상 해킹을 유발한다는 점을 식별했습니다. 그들은 중간 RL 체크포인트가 유창성과 길이 제어 측면에서 열악하지만, 유용한 교차 언어 의미 정렬을 성공적으로 학습한다는 것을 보여주어 "복구" 단계의 정당성을 입증합니다.
• 실증적 검증:
  • 중국어 - 태국어: SmolLM3-3B 를 사용하여 SG-SRL 은 의미 적절성과 사실적 충실도 측면에서 콜드 스타트 SFT 를 크게 능가했습니다.
  • 일반화: 학습된 의미 정렬은 훈련에 사용된 특정 제목 생성 형식뿐만 아니라 장문 번역 작업으로도 전이되었습니다.
  • 저자원 적응: 강력한 리랭커가 부재한 티베트어 환경에서, 프레임워크는 인코더 기반 임베딩 보상을 사용하여 성공적으로 적응함으로써 현실적인 저자원 시나리오에 대한 적용 가능성을 입증했습니다.

4. 실험 결과

• 주요 작업 (중국어 - 태국어 제목 생성):
  • 5k 개발 세트에서 SG-SRL 은 금 표준 참조 및 콜드 스타트 SFT 베이스라인 대비 995 개 예시에서 1 위, 2,602 개 예시에서 2 위를 기록했습니다.
  • 쌍별 비교에서 SG-SRL 은 콜드 스타트 SFT 에 대해 **72.3%**의 경우에서 승리했습니다.
  • 개선은 표면적 중첩보다는 의미 차원 (적절성, 사실적 충실도) 에서 가장 두드러졌습니다.
• 의미 vs. 형태 분석:
  • 중간 RL 체크포인트 (GATE+BATCHLEN) 는 가장 높은 의미 정렬 점수 (개체, 사건, 사실) 를 달성했지만, 금 표준 참조의 평균 길이 162.1 자에 비해 평균 531.7 자의 출력을 생성했습니다.
  • 안전 장치 제거 (GATE-ONLY) 는 심각한 장황함 (866.6 자) 을 초래했습니다.
  • 공격적인 길이 제어 (REFLEN) 는 길이를 줄였지만 의미 점수를 크게 저하시켜 트레이드오프를 확인시켰습니다.
• 전이 학습: SG-SRL 은 베이스라인 대비 더 높은 개체/사건 정렬 및 사실 일관성을 유지하며 장문 중국어 - 태국어 번역에서 우수한 성능을 보였습니다.
• 티베트어 일반화: 임베딩 기반 보상을 사용하여 SG-SRL 은 의미 앵커가 소스 (중국어) 이든 대상 (티베트어) 텍스트이든 상관없이 동등한 BLEU 점수를 달성하여, 강력한 리랭커가 부재할 때 프레임워크의 유연성을 입증했습니다.

5. 중요성 및 주장

이 논문은 SG-SRL 이 고자원 소스 앵커를 사용하여 약한 대상 언어를 정렬하기 위한 견고한 파이프라인을 확립한다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

1. 의미 및 형태 학습의 분리: 소스 기반 의미 학습을 대상 형태 정규화와 분리함으로써, 프레임워크는 관련성 최적화에 내재된 장황함 기반 보상 해킹을 효과적으로 중화시킵니다.
2. 참조 없는 RL: 고자원 단일 언어 데이터가 병렬 데이터 없이도 RL 단계에 대한 확장 가능한 감독 신호로 작용할 수 있음을 입증합니다.
3. 실용적 적용 가능성: 이 프레임워크는 강력한 다국어 리랭커가 존재하지 않는 시나리오에 적응 가능하며, 보상 신호를 위한 실용적인 대체제로 인코더 기반 임베딩 모델을 활용합니다.

저자들은 이 접근법이 더 공평한 다국어 모델 확장의 길을 연다고 결론지으며, 다만 현재 프레임워크가 일부 형태의 교차 언어 관련성 스코어러 (리랭커 또는 도메인별 임베딩 모델) 의 가용성에 의존하고 있으며, 이는 가장 자원이 제한된 언어들에게 여전히 제약 사항임을 인정합니다.