🤖 machine learning

Reformulate LLM Reinforcement Learning for Efficient Training under Black-box Discrepancy

이 논문은 LLM 강화 학습에서의 훈련-추론 불일치 문제를 동적 라그랑주 완화 메커니즘을 갖춘 불일치 제약 마르코프 결정 과정(DCMDP)으로 정식화함으로써 이를 해결하며, 이는 허용 오차 범위 내에서의 자유로운 탐색을 허용하는 동시에 과도한 편차를 교정함으로써 보상 극대화와 불일치 제어 사이의 균형을 적응적으로 조절하여 훈련을 안정화하고 성능을 향상시킨다.

원저자: Jiashun Liu, Runze Liu, Xu Wan, Jing Liang, Hongyao Tang, Ling Pan

게시일 2026-06-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiashun Liu, Runze Liu, Xu Wan, Jing Liang, Hongyao Tang, Ling Pan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 한 명의 천재적인 학생(AI)에게 복잡한 수학 문제를 푸는 법을 가르치고 있다고 상상해 보세요. 당신에게는 이 훈련을 위한 두 가지 서로 다른 방이 있습니다.

훈련실 (The Training Room): 이곳은 최고의 장비를 갖춘 하이테크 정밀 실험실입니다. 여기서 학생은 완벽하고 고정밀인 도구들을 사용하여 학습합니다.
시험실 (The Exam Room): 이곳은 학생이 실제로 시험을 치를 좁고 저예산인 교실입니다. 이곳의 도구들은 더 저렴하고 정밀도가 약간 떨어집니다.

문제: 기계 속의 "유령" (The "Ghost" in the Machine)
과거에 연구자들은 이상한 결함을 발견했습니다. 학생은 화려한 훈련실에서 열심히 공부했지만, 시험실에 들어서면 갑자기 모든 것을 잊어버리거나 어처구니없는 실수를 하기 시작했습니다. 이는 훈련실에서 학생의 뇌를 구동하는 "엔진"이 시험실과 약간 달랐기 때문에 발생했습니다. 학생의 "지식"(모델 가중치)은 동일하더라도, 정보를 처리하는 방식이 아주 미세하게 변하면서 전체적인 성능 붕괴를 초래한 것입니다.

이를 해결하기 위해 훈련실을 시험실과 똑같이 만드는 것(화려한 도구를 저렴한 도구로 강제로 낮추는 것)을 시도해 보았지만, 결과는 좋지 않았습니다. 이 방식은 학습 과정을 불안정하게 만들고 폭발적인 오류를 일으키기 쉬웠습니다.

해결책: "안전 구역" 코치 (A "Safety Zone" Coach)
이 논문의 저자들은 학생을 가르치는 새로운 방법을 고안해 냈습니다. 그들은 학생이 성공하기 위해 두 방이 반드시 완벽하게 동일할 필요는 없다는 사실을 깨달았습니다. 사실, 너무 일찍 두 환경을 동일하게 강요하는 것은 학생이 새롭고 창의적인 해결책을 배우는 것을 방해합니다.

그들은 DCMDP(Discrepancy-Constrained Markov Decision Process)라는 개념을 도입했습니다. 이 개념이 어떻게 작동하는지 간단한 비유를 통해 설명하겠습니다.

1. "허용 범위" (The "Tolerance Zone" - 안전 버퍼)

학생이 줄타기를 하고 있다고 상상해 보세요.

기존 방식: 코치는 학생이 단 1밀리미터만 흔들려도 "멈춰!"라고 소리쳤습니다. 이 때문에 학생은 너무 겁을 먹어 움직이지 못했고, 결국 균형을 잡거나 빠르게 걷는 법을 배우지 못했습니다.
새로운 방식 (DCMDP): 코치는 줄 주변에 넓고 투명한 "안전 구역"을 그립니다. 학생이 이 구역 안에 머물러 있는 한, 코치는 "좋아! 계속 탐색해 봐! 왼쪽이나 오른쪽으로 조금씩 흔들려도 괜찮아"라고 말합니다. 이를 통해 학생은 자유롭게 수학 실력을 키우고 발전할 수 있습니다.

2. "마법의 페널티" (The "Magic Penalty" - 교정)

하지만 만약 학생이 이 "안전 구역" 밖으로 너무 멀리 벗어나면(즉, 훈련실에서의 행동이 시험실에서의 행동과 너무 달라지면), 코치는 부드럽지만 단호하게 학생을 다시 끌어당깁니다.

논문에서는 이 "흔들림"을 측정하는 가장 좋은 방법이 학생이 내뱉는 모든 단어(토큰)의 확률 차이를 살펴보는 것이라는 점을 발견했습니다.
만약 학생이 훈련실에서는 매우 높게 나타나지만 시험실에서는 매우 희박한 확률을 가진 단어를 말한다면, 그것은 "적신호"가 됩니다.

3. 스마트 코치 (The Smart Coach - 라그랑주 승수)

이 논문은 자동으로 조절되는 힘의 세기를 결정하는 "스마트 코치"(라그랑주 승수라는 수학적 도구)를 도입합니다.

학생이 심하게 흔들리면, 코치는 더 강하게 잡아당깁니다.
학생이 주로 구역 안에 잘 머물러 있다면, 코치는 긴장을 풀고 학생이 수학 문제를 푸는 데 집중할 수 있게 해줍니다.
이는 학생이 똑똑하면서도 동시에 신뢰할 수 있는 능력을 갖추도록 보장합니다.

결과: "이질적"인 슈퍼파워 (The "Heterogeneous" Superpower)

이 논문의 가장 흥-미로운 부분은 이것이 **이질적 훈련(Heterogeneous Training)**을 가능하게 한다는 점입니다.

당신은 최고의 학습 속도와 품질을 얻기 위해 고성능 실험실(비싸고 정밀한 컴퓨터 사용)에서 학생을 훈련시킬 수 있습니다.
하지만, 학생이 실제 세상(저사양 컴퓨터)에서 어떻게 행동할지 끊임없이 확인함으로써, 저예산 시험실(자원이 제한된 컴퓨터 사용)에 대비하도록 가르칠 수 있습니다.

요약하자면:
훈련 환경과 테스트 환경을 동일하게 만드는 대신(이는 어렵고 비용이 많이 듭니다), 이 방법은 AI가 **자기 인식(Self-aware)**을 할 수 있도록 가르칩니다. 이는 AI가 실제 환경에서 어떻게 행동할지와 너무 멀리 벗어나지 않는 한, 자유롭게 탐색하고 배울 수 있게 해줍니다. 만약 너무 멀리 벗어나기 시작하면, 스마트하고 자동화된 교정이 다시 궤도로 돌려놓습니다.

논문은 이 방법을 대규모 AI 모델(Qwen-8B 및 Qwen-30B 등)이 수학 문제를 푸는 데 테스트했습니다. 연구 결과, 이 방법은 AI가 "붕괴"하는 것을 방지했을 뿐만 아니라, 훈련 설정이 배포 설정보다 훨씬 강력한 상황에서도 실제로 성능을 더 향상시킨다는 것을 밝혀냈습니다.

기술 요약: 블랙박스 불일치(Black-box Discrepancy) 하에서의 효율적 학습을 위한 LLM 강화 학습 재정립

1. 문제 정의

강화 학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위한 핵심적인 사후 학습(post-training) 패러다임이 되었습니다. 그러나 RL 사후 학습은 종종 예측 불가능한 하위 최적 성능(sub-optimal performance)이나 완전한 학습 붕괴(training collapse)를 겪곤 합니다. 최근의 연구들은 이러한 실패의 원인을 만연한 학습-추론 불일치(train-inference discrepancy)(또는 미스매치)로 지목합니다.

이러한 불일치는 산업계의 요구로 인해, 동일한 모델 가중치에 대해 학습 시와 추론 시에 서로 다른 기초 엔진 및 정밀도 형식(예: 서로 다른 커널, 병렬화 전략, 또는 BF16과 FP8 같은 수치 정밀도)을 사용해야 할 때 발생합니다. 이는 학습 정책( $\pi_{Train}$ )과 추론 정책( $\pi_{Inf}$ ) 사이의 행동 확률 분포(action probability distribution)에 숨겨진 편차를 생성합니다.

기존의 완화 전략들은 다음과 같은 상당한 한계를 가집니다:

균일 정밀도 정렬(Uniform Precision Alignment): 단순히 학습 정밀도를 추론 환경에 맞춰 낮추는 것(예: FP16으로 하향)은 표현 가능한 값의 범위를 축소시키고 그래디언트 폭발(gradient explosion) 위험을 악화시킵니다.
휴리스틱 개입(Heuristic Interventions): 불일치가 높은 토큰으로부터 그래디언트를 마스킹하는 방식은 단지 노이즈가 섞인 데이터의 영향을 억제할 뿐입니다. 이는 근본 원인을 해결하지 못하며, 최종 목표인 '학습 과정의 최적화'가 아닌 '추론 배포를 위한 정책 최적화'라는 목적을 간과합니다.
인프라 정렬(Infrastructure Alignment): 저수준 연산자(operator)와 하드웨어 스택을 일치시키려는 시도는 노동 집약적이며, 수많은 예외 케이스(corner cases)로 인해 실현 불가능한 경우가 많습니다.

핵심 과제는 학습 정책이 주된 보상 극대화 목표를 희생하지 않으면서도, 추론 정책과의 불일치를 동적으로 인지하고 능동적으로 무효화할 수 있도록 하는 것입니다.

2. 방법론: 불일치 제약 MDP (DCMDP)

저자들은 표준 마르코프 결정 과정(MDP)에서 **불일치 제약 MDP(Discrepancy-Constrained MDP, DCMDP)**로의 패러다임 전환을 제안합니다. 이 프레임워크는 학습-추론 불칙치를 블랙박스 최적화 문제로 취급하여, 시스템이 이질적인 학습 및 추론 설정을 원활하게 처리할 수 있도록 합니다.

주요 구성 요소:

불일치 지표 (Discrepancy Metric):
저자들은 세 가지 토큰 수준의 불일치 신호를 경험적으로 평가했습니다: 확률 차이( $\delta_{diff}$ ), 확률 비율( $\delta_{ratio}$ ), 로그 확률 차이( $\delta_{log}$ ). 연구 결과, 절대 확률 차이( $\delta_{diff} = |p_{Train} - p_{Inf}|$ )가 가장 효과적인 페널티임을 확인했습니다. 이는 비율 기반 페널티가 저확률 토큰에 대해 지나치게 보수적일 수 있는 것과 달리, 보상 중심의 탐색을 과도하게 제한하지 않으면서도 배포 관련 드리프트(drift)를 교정하는 "가소성(plastic)" 있는 정규화를 제공합니다.
불일치 허용 영역 (The Discrepancy Tolerance Region):
중요한 경험적 발견은 불일치 허용 영역의 존재입니다. 학습 초기 단계에서 미미하고 무시할 만한 불일치까지 공격적으로 페널티를 부여하는 것은 정책 탐색을 억제하고 학습 효율을 떨어뜨립니다. 반대로, 이 영역 밖의 과도한 불일치를 줄이는 것은 최적화의 일관성을 개선합니다.
- 메커니즘: DCMDP 공식은 불일치가 사전 정의된 임계값 $c$ 를 초과할 때만 페널티를 적용합니다. 이 허용 영역 내에서 정책은 보상을 극대화하기 위해 자유롭게 탐색할 수 있습니다.
라그랑주 완화(Lagrangian Relaxation)를 통한 이중 목적 최적화:
문제는 평균 토큰 수준 불일치에 대한 제약을 조건으로 기대 보상을 최대화하는 것으로 공식화됩니다:
$\max_{\theta} J(\theta) = \mathbb{E}_{\tau \sim \pi_{\theta}} \left[ \sum r(o_t) \right]$
$\text{s.t. } \frac{1}{|\tau|} \sum |\pi_{Train}(o_t) - \pi_{Inf}(o_t)| \leq c$

이를 해결하기 위해 저자들은 라그랑주 완화를 채택하여, 학습 가능한 승수 $\lambda$ 가 불일치 페널티의 가중치를 동적으로 조절합니다:
* 불일치가 허용 경계( $>c$ )를 위반하면, $\lambda$ 가 증가하여 정책을 안전 구역으로 끌어들이기 위한 페널티를 강화합니다.
* 불일치가 경계 내에 있으면, $\lambda$ 는 0을 향해 감쇠하여 정책이 보상 극대화에 집중할 수 있도록 합니다.

최종 목적 함수(Dual-GRPO)는 이 적응형 페널티를 그룹 정규화된 어드밴티지(group-normalized advantage)에 직접 주입합니다:
$\hat{A}^{DCMDP}_{i,t} = \hat{A}_{i,t} - \lambda_k \cdot \delta_{i,t}$

3. 주요 기여

자율적 불일치 보상 (Autonomous Discrepancy Compensation): 본 논문은 견고한 블랙박스 페널티(토큰 수준 절대 확률 차이)를 통합함으로써 학습 정책이 불일치로 인한 학습 붕착 위험을 자율적으로 제거할 수 있는 능력을 갖추게 함을 입증했습니다.
DCMDP로의 패러다임 전환: 저자들은 LLM RL을 불일치 제약 MDP로 재정립했습니다. 이 접근 방식은 단순한 목적 함수의 스칼라화(scalarization)를 넘어, 과업 보상 극대화와 불일치 최소화라는 두 가지 목표 사이의 균형을 최적으로 맞춥니다.
이질적 학습 패러다임 (Heterogeneous Training Paradigm): 이 방법은 모델을 고충실도, 고자원 환경(예: BF16 정밀도)에서 최적화하면서도, 저비용, 저자원 추론 배포 환경(예: FP8)에 명시적으로 정렬할 수 있는 학습 설정을 가능하게 합니다. 이는 인프라의 이질성을 리스크가 아닌 제어 가능한 최적화 노브(knob)로 전환합니다.

4. 실험 결과

이 방법은 여섯 가지 수학적 추론 벤치마크(AIME24/25, AMC23, MATH-500, Minerva, OlympiadBench)에 대해 Qwen3-8B(dense) 및 Qwen3-30B-A3B(Mixture-of-Experts) 모델을 대상으로 평가되었습니다.

BF16 학습/추론: DC-GRPO는 두 모델 모두에 대해 모든 벤치마크에서 바닐라 GRPO 베이스라인을 일관되게 능가하였으며, 더 높은 평균 점수를 달성했습니다 (예: Qwen3-8B는 67.3에서 71.0으로 향상). 이는 불일치 제약을 강제하는 것이 오히려 주된 보상 최적화를 저해하는 것이 아니라 강화한다는 것을 확인시켜 줍니다.
이질적 학습 (BF16) + 배포 (FP8): 이 설정에서 바닐라 GRPO는 증폭된 학습-추론 간극으로 인해 심각한 성능 저하나 붕괴를 겪었습니다. 반면, DC-GRPO는 이를 성공적으로 완화하여 BF16 전용 베이스라인의 성능을 유지하거나 오히려 능가했습니다.
절제 연구 (Ablation Studies): 이 방법은 초기 라그랑주 승수( $\lambda_0$ ) 및 이중 학습률( $\eta_\lambda$ )의 변화에 대해 견고함을 입증했습니다. 허용 예산( $c$ )이 매우 중요하다는 것이 밝혀졌습니다. $c$ 를 너무 작게 설정하면 과잉 정규화가 발생하고, 너무 크게 설정하면 방법론이 바닐라 GRPO로 퇴화하게 됩니다.

5. 의의 및 주장

본 논문은 DCMDP가 기초적인 하드웨어나 소프트웨어 스택에 대한 철저하고 맞춤화된 최적화 없이도 학습-추론 불안정성을 완화할 수 있는 통합된 알고리즘 프레임워크를 제공한다고 주장합니다. 불일치를 블랙박스 피드백 신호로 취급함으로써, 이 방법은 다음을 가능하게 합니다:

안정적인 학습: RL 사후 학습에서 흔히 발생하는 급격한 붕괴를 방지합니다.
효율적인 탐색: 정책이 안전한 불일치 영역 내에서 자유롭게 탐색할 수 있도록 허용합니다.
자원 효율성: 고충실도 학습 설정을 사용하여 제약된 배포 환경을 시뮬레이션하고 적응함으로써, 보다 효율적인 실제 모델 배포를 촉진합니다.

저자들은 현재 연구 범위가 BF16 및 FP8 정밀도와 특정 모델 제품군으로 제한되어 있음을 언급하며, 향후 다른 백엔드 조합 및 모델 아키텍처로 확장하기 위한 후속 연구가 필요함을 인정했습니다.