💬 NLP

Reinforcement Learning with Semantic Rewards Enables Low-Resource Language Expansion without Alignment Tax

본 논문은 저자원 언어로 대규모 언어 모델을 확장하기 위해 의미적 보상을 활용한 그룹 상대적 정책 최적화 (GRPO) 기반 강화 학습 접근법을 제안하며, 이는 지도 미세 조정으로 인해 일반적으로 발생하는 정렬 세제와 파국적 망각을 효과적으로 완화하면서도 일반 능력을 유지하고 의미적 품질을 향상시킵니다.

원저자: Zeli Su, Ziyin Zhang, Zhou Liu, Xuexian Song, Zhankai Xu, Longfei Zheng, Xiaolu Zhang, Rong Fu, Guixian Xu, Wentao Zhang

게시일 2026-05-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zeli Su, Ziyin Zhang, Zhou Liu, Xuexian Song, Zhankai Xu, Longfei Zheng, Xiaolu Zhang, Rong Fu, Guixian Xu, Wentao Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 문서는 간단한 언어와 창의적인 비유를 사용하여 해당 논문을 설명합니다.

큰 문제: "정렬 세금 (Alignment Tax)"

상상해 보세요. 영어, 스페인어, 프랑스어로 놀라운 요리를 할 수 있는 천재적인 세계 여행 요리사 (대형 언어 모델) 가 있습니다. 하지만 그 요리사는 티베트어로 요리를 해본 적이 없습니다.

티베트어를 가르치기 위한 기존 방법 (지도 미세 조정 또는 SFT) 은 요리사를 부엌에 세워 한 권의 레시피 책을 단어 그대로 따라 쓰게 하는 것과 같습니다. 요리사는 모든 재료의 정확한 철자와 각 단계의 정밀한 순서를 외웁니다.

문제점: 티베트어 레시피 책은 작고 요리사가 완벽하게 복사하는 데 너무 집중하기 때문에, 유명한 프랑스 요리법을 잊기 시작합니다. 이것이 논문에서 말하는 **"정렬 세금 (Alignment Tax)"**입니다. 새로운 기술 (티베트어) 을 얻는 대신, 훈련이 너무 경직되었기 때문에 기존 기술 (영어/프랑스어) 을 잃게 됩니다.

새로운 해결책: "의미 공간 (Semantic Space)" 정렬

저자들은 요리사를 가르치는 다른 방법을 제안합니다. 페이지의 정확한 단어를 복사하도록 강요하는 대신, 요리사가 요리의 의미를 이해하도록 가르치는 것입니다.

그들은 **의미 보상을 통한 강화 학습 (Reinforcement Learning with Semantic Rewards)**이라는 새로운 방법을 사용합니다. 작동 방식은 다음과 같습니다:

목표: 목표는 레시피 책을 단어 그대로 맞추는 것이 아닙니다. 목표는 재료가 다르게 나열되거나 단계가 독특한 방식으로 설명되더라도 원래 요리와 맛이 같은 요리를 만드는 것입니다.
심사위원 (보상): 모든 글자를 확인하는 엄격한 교사 대신, 요리사는 스마트한 음식 평론가 (임베딩 모델) 로부터 "맛 테스트"를 받습니다. 평론가는 요리사가 다른 단어로 설명했더라도 "이 요리는 원래 레시피의 본질을 포착했다"고 말합니다.
안전망: 요리사가 실수로 프랑스어로 요리를 하거나 언어를 섞지 않도록 하기 위한 간단한 규칙이 있습니다. "반드시 티베트어 문자로 레시피를 작성해야 한다"는 것입니다.

어떻게 수행되었는지 (2 단계 계획)

연구자들은 새로운 방법으로 바로 뛰어들지 않고 2 단계 과정을 사용했습니다.

1 단계: 워밍업 (콜드 스타트): 먼저, 그들은 요리사에게 구식 단어 대 단어 훈련을 아주 조금만 시켰습니다. 이는 요리사가 티베트어 펜을 들고 기본 문장을 쓰는 법을 배우게 한 것뿐입니다. 완벽해지는 것이 아니라 길을 잃지 않도록 시작하게 하는 것이었습니다.
2 단계: 맛 테스트 (강화 학습): 요리사가 글을 쓸 수 있게 되면, 그들은 새로운 방법으로 전환했습니다. 요리사는 레시피를 쓰는 다양한 방법을 시도했습니다. 매번 스마트한 평론가에 따라 의미가 맞을 때 보상을 받았습니다. 의미가 틀리거나 언어를 섞으면 보상을 받지 못했습니다.

결과는 무엇이었나? (결과)

연구자들은 티베트어와 중국어 간의 번역과 티베트어 뉴스 헤드라인 작성에 이 방법을 테스트했습니다.

기존 방법 (SFT): 요리사는 티베트어 레시피의 정확한 단어를 복사하는 데 매우 능숙해졌습니다. 그러나 많은 프랑스 요리 기술을 잊어버렸습니다 (세금이 높았습니다).
새로운 방법 (의미 기반 RL):
- 더 나은 기억: 요리사는 프랑스 요리 기술을 거의 완벽하게 유지했습니다. 기존 능력을 잊지 않았습니다.
- 더 나은 의미: 새로운 요리사의 티베트어 레시피가 참조 책과 단어 그대로 일치하지는 않았더라도 (낮은 "n-gram 중첩"), 스마트한 음식 평론가 (LLM 심사위원) 는 새로운 요리사의 요리를 선호했습니다. 진정한 맛과 의미를 더 잘 포착했기 때문입니다.
- 더 유연함: 새로운 요리사는 딱딱한 한 가지 방식이 아니라 동일한 아이디어를 다양한 방식으로 표현하는 법을 배웠습니다.

핵심 교훈

이 논문은 AI 에게 희귀 언어를 가르칠 때 사전 암기를 강요해서는 안 된다고 주장합니다. 대신 의미를 이해하도록 보상해야 합니다.

특정 글자와 단어의 세계인 "토큰 수준 (token-level)"이 아닌 아이디어와 의미의 세계인 "의미 공간 (semantic space)"에 초점을 맞춤으로써, AI 가 이미 알고 있는 모든 것을 잊지 않고 새로운 언어를 가르칠 수 있습니다. 마치 누군가에게 새로운 언어를 가르칠 때 사전을 외우게 하는 대신 이야기를 하게 함으로써 모든 언어에서 훌륭한 이야기꾼으로 남도록 하는 것과 같습니다.

기술 요약: 저자원 언어 확장을 위한 의미 기반 보상을 활용한 강화 학습

1. 문제 제기

대규모 언어 모델 (LLM) 을 저자원 언어로 확장할 때 종종 "정렬 비용 (alignment tax)"이 발생합니다. 즉, 목표 언어에서의 개선은 일반 능력 (예: 고자원 언어에서의 성능) 의 치명적 망각을 대가로 치르게 됩니다. 저자들은 이러한 상충 관계가 **지도 미세 조정 (Supervised Fine-Tuning, SFT)**의 경직성에서 비롯된다고 주장합니다. SFT 는 편향된 좁은 데이터 분포에 대한 교사에 의한 강제 (teacher-forced) 토큰 단위 최대 가능도 추정에 의존합니다. 이는 표면 형태 모방을 강제하여, 표현 용량을 공격적으로 재배분하는 과도하게 자신감 있는 파라미터 업데이트를 초래하며, 이로 인해 사전 학습된 지식과 간섭하여 일반 능력을 저하시킵니다.

2. 방법론: 의미 공간 정렬

본 논문은 토큰 단위 분포 매칭에서 **의미 공간 정렬 (semantic-space alignment)**로의 패러다임 전환을 제안하며, 경직된 표면 형태 모방보다 의미 보존을 우선시합니다. 이는 **그룹 상대 정책 최적화 (Group Relative Policy Optimization, GRPO)**를 기반으로 하는 2 단계 훈련 프레임워크를 통해 실현됩니다.

2 단계 훈련 패러다임:

콜드스타트 SFT: 목표 언어에서 최소한의 출력 능력을 부트스트랩하기 위해 경량 지도 미세 조정 단계 (5,000 개 인스턴스, 2 에포크) 를 수행합니다 (예: 올바른 스크립트 사용 및 기본 일관성). 이는 강화 학습 시작 전 모델이 비퇴화 (non-degenerate) 출력을 생성할 수 있도록 보장합니다.
의미 기반 보상을 활용한 강화 학습: 콜드스타트 정책에서 시작하여 모델은 GRPO 최적화를 거칩니다. 토큰 단위 가능도 대신 모델은 임베딩 수준의 의미 보상을 사용하여 최적화됩니다.
- 목표: 모델은 특정 토큰 시퀀스를 모방하는 대신 참조 텍스트와 의미적 동등성을 유지하는 다양한 언어적 실현을 탐색합니다.
- 안정성: GRPO 는 샘플링된 후보 그룹 내 상대적 비교를 통해 신뢰 영역 제약 (trust-region constraints) 을 통합하여 정책의 편향을 제한하고, 사전 학습된 표현과의 파괴적 간섭을 방지합니다.

보상 설계:
보상 함수 $R(y, y^*)$ 는 두 가지 구성 요소를 결합합니다:

의미 유사도 ( $R_{sim}$ ): 생성된 출력 $y$ 와 참조 $y^*$ 의 문장 임베딩 간의 코사인 유사도를 사용하여 계산되며, 이는 양국어 임베딩 모델 (CINO/XLM-R 에서 적응됨) 에서 파생됩니다. 최소 적합성을 넘어선 의미 있는 개선에 학습을 집중시키기 위해 임계값 및 재조정 (rescale) 형성 함수가 적용됩니다.
언어 일관성 ( $R_{lang}$ ): 유니코드 범위와 정규식을 사용하는 규칙 기반의 하드 제약으로, 혼합 언어 또는 목표가 아닌 출력을 패널티 처리하여 최적화가 엄격하게 목표 저자원 언어 공간 내에서 유지되도록 보장합니다.

3. 주요 기여

의미 공간 정렬 패러다임: 저자들은 임베딩 수준 보상을 활용한 GRPO 를 통해 의미 보존과 표면 형태 모방을 분리하는 패러다임을 제안합니다.
정렬 비용 완화: 이 접근법은 SFT 에서 일반적으로 관찰되는 일반 능력 저하 (정렬 비용) 를 실질적으로 제거하면서도 상당한 저자원 언어 개선을 달성할 수 있음을 입증합니다.
우수한 의미 품질: 이 방법은 BLEU/ROUGE 와 같은 n-gram 중첩도가 낮더라도 LLM 심사관에 의해 SFT 기준 모델보다 의미적으로 우수하고 선호되는 출력을 생성합니다.
전환 가능한 표현: 논문은 의미 기반 RL 이 지도 학습 방법보다 하위 작업으로의 강력한 퓨샷 (few-shot) 일반화를 입증함으로써 더 견고하고 전환 가능한 표현을 산출함을 검증합니다.

4. 실험 결과

이 접근법은 티베트어 - 중국어 기계 번역 (MT) 및 **티베트어 헤드라인 생성 (HG)**에서 평가되었습니다.

작업 성능 대 정렬 비용:
- 기계 번역: 강력한 SFT 는 참조 기반 BLEU 점수 (RL 의 0.4519 대비 0.6006) 에서 더 높은 성과를 보였으나, CMRC(중국어 독해) 점수가 약 5.15 점 하락하는 등 상당한 정렬 비용을 겪었습니다. 반면, RL 방법은 높은 의미 유사도를 달성하면서도 일반 능력을 보존했습니다 (CMRC 점수가 개선되거나 안정적으로 유지됨).
- 헤드라인 생성: RL 은 SFT 와 비교해 동등한 일반 능력 보존을 달성했으나, ROUGE-L 점수가 낮음에도 불구하고 쌍별 비교에서 SFT 의 35.1% 에 비해 **51.2%**의 비율로 LLM 심사관에게 선호되었습니다.
퓨샷 전환: MT 에서 HG 로의 전환 테스트 (1,000 개의 HG 샘플만 사용) 에서 RL 초기화 모델은 SFT 초기화 모델보다 더 높은 의미 유사도 (0.5690 대 0.5456) 를 달성하여, RL 이 작업별 표면 패턴이 아닌 일반화 가능하고 의미에 기반한 특징을 학습함을 시사했습니다.
보상 제거 실험: 실험은 임베딩 유사도와 언어 일관성을 결합하는 것이 중요함을 확인했습니다. BLEU 기반 보상을 추가하면 토큰 단위 매칭의 경직성이 재도입되어 성능이 약화되었습니다.

5. 중요성 및 주장

본 논문은 의미 기반 보상을 활용한 강화 학습이 포용적인 저자원 언어 확장을 위한 더 안전하고 신뢰할 수 있는 경로를 제공한다고 주장합니다. 분포 매칭에서 의미 중심 정렬로 정렬 목표를 전환함으로써, 이 방법은 제약 없는 가능도 최대화의 전형적인 파괴적 간섭 없이 모델이 새로운 언어 능력을 습득할 수 있게 합니다.

저자들은 이 패러다임이 데이터 부족 상황에서 약하게 지원되는 언어로 LLM 을 확장하기 위한 확장 가능한 솔루션을 제공하며, 작업 적응과 일반 능력 보존 간의 긴장 관계를 효과적으로 해결한다고 결론지었습니다. 본 연구는 저자원 환경에서 참조 기반 지표가 진정한 의미 품질을 포착하지 못하는 경우가 많으며, 의미 공간 정렬이 인간의 선호도와 전환성을 더 잘 포착함을 시사합니다.