💬 NLP

The Invisible Leash: Why RLVR May or May Not Escape Its Origin

이 논문은 검증 가능한 보상을 통한 강화 학습(RLVR)이 LLM의 정밀도를 크게 향상시키기는 하지만, 결과적으로 그 지지 집합에 제약된 최적화가 모델의 해 공간을 좁혀 기존 베이스 모델에서는 접근 가능했던 정답조차 간과하게 만듦으로써 추론의 경계를 확장하는 데는 실패한다는 점을 실증적으로 보여준다.

원저자: Fang Wu, Weihao Xuan, Ximing Lu, Mingjie Liu, Yi Dong, Zaid Harchaoui, Yejin Choi

게시일 2026-02-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Fang Wu, Weihao Xuan, Ximing Lu, Mingjie Liu, Yi Dong, Zaid Harchaoui, Yejin Choi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 요약: "보이지 않는 목줄"

매우 재능 있는 학생(기초 모델/Base Model)이 있다고 상상해 보세요. 이 학생은 도서관의 책들을 모두 읽어서 아는 것이 아주 많습니다. 수학 문제도 풀 수 있지만, 가끔 막히거나 답을 약간 지저분하게 내놓기도 합니다.

이 학생을 더 훌륭하게 만들기 위해, 여러분은 엄격한 코치(RLVR 시스템)를 투입합니다. 이 코치는 학생에게 새로운 과목을 처음부터 가르치지 않습니다. 대신, 코치는 학생이 문제를 푸는 과정을 지켜보다가, 학생이 정확한 정답을 맞힐 때마다 하이파이브(보상)를 해줍니다. 만약 틀리면, 부드럽게 "다시 해봐"라고 말합니다.

이 논문은 매우 중요한 질문을 던집니다. 이 코칭이 실제로 학생에게 새로운 사고 방식을 가르치는 것일까요, 아니면 단지 이미 알고 있던 특정 답변들을 더 자신감 있게 반복하도록 훈련시키는 것일까요?

저자들은 이를 **"보이지 않는 목줄(Invisible Leash)"**이라고 부릅니다. 연구 결과, 학생은 첫 번째 답변을 맞히는 능력은 훨씬 좋아졌지만, 실제로는 자신이 처음에 가지고 있던 제한된 아이디어의 범위 안에 묶여 있다는 것을 발견했습니다. 학생은 자신이 이미 힌트를 가지고 있지 않았던 완전히 새로운 해결책을 발견하기 위해 담장을 넘는 것이 쉽지 않습니다.

주요 연구 결과 설명

1. "지지(Support)"의 함정: 기존의 지도를 유지하기

학생의 지식을 도시의 지도라고 생각해 보세요. "기초 모델"은 목적지로 가는 여러 가지 경로(구불구불하고 외진 길 포함)를 보여주는 지도를 가지고 있습니다.

RLVR이 하는 일: 지도를 보고 이렇게 말합니다. "오, 이 경로는 완벽하게 작동하네! 이 길을 황금빛으로 포장해서 우리가 다닐 유일한 도로로 만들자."
결과: 학생은 그 포장된 도로 위에서 믿을 수 없을 정도로 빠르고 정확해집니다. 하지만, 원래 지도에 있던 다른 유효한 구불구불한 길들을 잊기 시작합니다.
논문의 발견: 거의 모든 테스트(수학, 논리, 코딩)에서, RLVR로 훈련된 모델은 기존에 알고 있던 "좋은" 답변들은 유지했지만(약 93~99%), 원래 모델이 찾아낼 수 있었던 다른 정답들에 대한 접근 권한을 잃어버렸습니다. 모델은 지도에 새로운 길을 추가한 것이 아니라, 단순히 교통량을 단일 차선으로 좁혔을 뿐입니다.

2. "정밀도 vs 다양성"의 트레이드오프

당신이 호수에서 낚시를 하고 있다고 상상해 보세요.

기초 모델은 넓은 그물을 던집니다. 큰 물고기 몇 마리를 잡기도 하지만, 작고 다양한 종류의 물고기도 함께 잡습니다. 조금 어수선할 수는 있지만, 그곳에 있는 모든 것을 찾아냅니다.
RLRL 모델은 작살을 사용합니다. 매우 정밀합니다. 물고기가 보이면 매번 정확히 맞힙니다. 하지만 목표를 맞히는 데 너무 집중한 나머지, 더 이상 그물을 넓게 펼치지 않습니다.

문제점: 만약 당신이 물고기 딱 한 마리(하나의 정답)만 필요하다면, 작살(RLVR)이 더 낫습니다. 하지만 만약 큰 양동이에 담긴 어떤 물고기라도 잡아야 한다면(여러 번 시도하여 해결책을 찾아야 한다면), 넓은 그물(기초 모델)이 훨씬 낫습니다. 왜냐하면 그물이 더 넓은 범위를 커버하기 때문입니다. 논문은 RL-VR이 첫 번째 시도를 성공시키는 데는 뛰어나지만, 여러 번 기회를 주면 원래 모델이 승리하는 경우가 많다는 것을 발견했습니다.

3. "혼란스러운 노이즈"의 착각

때때로 RLVR로 훈련된 학생은 더 깊이 생각하는 것처럼 보입니다. 더 오래 멈추거나, 더 많은 말을 하거나, 대화하는 동안 더 "불확실해" 보이기도 합니다 (이를 토큰 수준 엔트로피/Token-Level Entropy라고 합니다).

비유: 마치 채소를 아주 시끄럽고 무질서하게 다지는 요리사를 상상해 보세요. 그 모습은 마치 새로운 기술을 실험하고 있는 것처럼 보일 수 있습니다.
실제: 그럼에도 불구하고, 그 요리사는 여전히 항상 만들던 똑같은 세 가지 요리만을 만들고 있습니다. 새로운 레시피를 발명하는 것이 아니라, 단지 더 극적인 분위기를 풍기며 예전 요리를 만들고 있을 뿐입니다.
논문의 발견: 모델이 단계별로 더 "불확실하게" 보임에도 불구하고, 실제로는 훨씬 더 작은 집합의 최종 답변으로 수렴합니다. 즉, 결과물의 다양성은 오히려 줄어듭니다.

4. 언제 실제로 새로운 것을 배우는가?

논문은 RLVR 모델이 실제로 새로운 해결책을 찾아낸 몇 가지 드문 예외 상황도 발견했습니다. 이는 오직 두 가지 시나리오에서 발생했습니다:

퍼즐 조각 재조립: 학생이 이미 개별 퍼즐 조각(하위 기술)은 알고 있었지만, 그것들을 올바르게 조합하지 못했던 경우입니다. 코치는 조각들을 제대로 끼워 맞추도록 도와주었습니다.
형식 수정: 학생이 답은 알고 있었지만, 코치가 원하는 특정 형식으로 쓰는 법을 몰랐던 경우입니다. 코치는 형식을 가르쳐줌으로써, 이미 그곳에 존재하던 답을 끌어냈습니다.

이 경우, 모델은 새로운 사고의 우주를 발견한 것이 아니라, 원래 지식의 그림자 속에 숨겨져 있던 것을 다듬었을 뿐입니다.

결론: 목줄을 끊는 법

이 논문은 현재의 RLVR 방식이 창의성 엔진이 아니라 정밀 도구와 같다고 결론짓습니다. 모델이 이미 알고 있는 것을 정교하게 다듬고 완벽하게 만드는 데는 탁est하지만, 기초 모델의 초기 분포에 "목줄"이 채워져 있습니다. 기초 모델이 발견할 확률이 전혀 없었던 해결책을 쉽게 발견할 수는 없습니다.

모델의 추론 능력을 진정으로 확장하려면—즉, 한 번도 본 적 없는 것을 발견하게 하려면—우리는 새로운 요소를 추가해야 합니다: 명시적 탐색(Explicit Exploration). 우리는 단순히 이미 알고 있는 밝은 곳에 초점을 맞추는 것이 아니라, 해결 공간의 "어두운 구석"으로 의도적으로 확률 질량을 밀어 넣어야 합니다.

요약하자면: RLVR은 모델을 더 나은 '실행자'로 만들어주지만, 반드시 더 나은 '사고가'로 만들어주는 것은 아닙니다.

기술 요약: 보이지 않는 목줄? RLVR은 과연 그 기원을 탈출할 수 있는가

문제 정의

최근 대규모 언어 모델(LLM), 특히 수학 및 논리적 추론 분야의 발전은 검증 가능한 보상을 활용한 강화 학습(RLVR)에 의해 주도되어 왔습니다. RLVR은 단일 시도 정확도(pass@1) 측면에서 상당한 개선을 보여주었으나, 근본적인 논쟁은 여전히 존재합니다. 즉, RLVR이 실제로 모델의 추론 경계를 확장하여 새로운 솔루션을 발견하는 것인지, 아니면 단순히 베이스 모델이 이미 보유하고 있는 고보상 출력값을 증폭시켜 정밀도를 높이는 대신 다양성을 희생시키는 것인지에 대한 문제입니다.

현재 문헌들은 상충하는 견해를 제시합니다. 일부 연구는 RLVR이 기존 역량 내에서 보수적인 최적화를 수행한다고 제안하는 반면, 다른 연구들은 특정 도메인에서 추론을 확장한다고 주장합니다. 나아가, 표준 평가 지표인 pass@k는 새로운 추론 능력보다는 솔루션 검색 능력을 주로 포착합니다. 따라서 RL-VR이 훈련 과정 전반에 걸쳐 모델의 유효 추론 지원(effective reasoning support)을 어떻게 재형성하는지, 구체적으로 RLVR이 베이스 모델에서는 접근 불가능했던 솔루션을 발견할 수 있는지에 대한 체계적인 실증적 조사가 부족한 실정입니다.

본 논문은 저자들이 **경험적 지원(Empirical Support)**이라는 개념을 중심으로 한 프레임워크를 도입합니다. 이는 유한한 샘플링 하에서 모델이 현실적으로 발견할 수 있는 정답 솔루션의 집합으로 정의됩니다. 저자들은 베이스 모델( $q$ )과 RLVR 훈련 모델( $\pi_\theta$ )이 각각 특정 정답 완결문에 대해 비영(non-negligible) 확률 질량(임계값 $\epsilon$ 이상)을 할당하는지 여부에 따라 정답을 네 가지 영역으로 분류하여 솔루션 접근성의 역학을 공식화합니다:

지원 보존 (Support Preservation): 두 모델 모두 접근 가능한 정답 솔루션.
지원 확장 (Support Expansion): RLVR을 통해 새롭게 접근 가능해진 정답 (베이스 모델에서는 미미하나 RLVR에서는 비영인 경우).
지원 축소 (Support Shrinkage): 베이스 모델에서는 접근 가능했으나 RLVR에서 상실된 정답.
지원 외 (Out of Support): 두 모델 모두 놓친 정답.

이러한 역학을 정량화하기 위해 본 논문은 네 가지 지표를 제안합니다:

지원 유지율 (Support Retention Rate, SRR): 베이스 모델 솔루션의 보존 정도를 측정합니다.
순 발견율 (Net Discovery Rate, NDR): 새로운 진정한 발견의 비율을 측정합니다.
지원 역학 점수 (Support Dynamic Score, SDS): 유지와 발견 사이의 균형을 맞추는 조화 평균입니다.
순 지원 변화율 (Net Support Change Rate, NSCR): 솔루션 공간의 순 확산 또는 축소를 포착합니다.

본 연구는 다양한 모델 규모(1.5B ~ 32B 파라미터)와 도메인(수학, 논리 추론, 사실적 QA, 코드 생성, 시각적 추론)에 걸쳐 광범위한 실증 실험을 수행합니다. 평가 대상 모델에는 ProRL, Nemotron, Skywork, AceReason, Phi4 및 DAPO 변형 모델들이 포함됩니다. 또한 저자들은 토큰 수준 엔트로피(생성 중의 국소적 불확실성)와 정답 수준 엔트로피(최종 출력의 전역적 다양성)를 구분하여 엔트로피 역학을 분석합니다. 아울러 온-폴리시(on-policy) RL 업데이트의 한계에 관한 이론적 증명도 제공합니다.

주요 기여 및 결과

1. 제한된 확장을 동반한 지배적인 보존 현상

실증적 결과는 RLVR이 주로 **지원 제약적 최적화 메커니즘(support-constrained optimization mechanism)**으로 작용함을 나타냅니다. 테스트된 모든 모델과 도메인에서 다음과 같은 현상이 관찰되었습니다:

높은 유지율, 낮은 발견율: 지원 유지율(SRR)은 일관되게 높게(0.90–0.99) 나타나, RLVR이 베이스 모델의 접근 가능한 솔루션을 안정적으로 보존함을 보여줍니다. 그러나 순 발견율(NDR)은 매우 낮아(흔히 $\le 0.04$ ), 새로운 추론 경로를 진정으로 발견하는 경우는 드뭅니다.
순 축소: 거의 모든 사례에서 상실된 정답의 수(축소)가 새로 발견된 솔루션의 수(확장)를 초과합니다. 순 지원 변화율(NSCR)은 일관되게 음수이며, 이는 RLVR이 접근 가능한 솔루션 집합을 체계적으로 좁힌다는 것을 시사합니다.
역설적 성능: RLVR 모델은 낮은 샘플링 예산(예: pass@1)에서 베이스 모델보다 우수한 성능을 보이는 경우가 많지만, 높은 샘플링 예산(예: pass@8192)에서는 베이스 모델이 더 넓은 솔루션 커버리지를 바탕으로 우위를 점하는 경우가 빈번합니다.

2. 정밀도와 다양성의 트레이드오프

본 연구는 RLVR이 알려진 고보상 궤적에 확률 질량을 집중시킴으로써 정밀도를 높이는 대신, 전역적 솔루션의 다양성을 감소시키는 근본적인 트레이드오프를 식별했습니다.

엔트로피 역학: 일부 RLVR 모델은 토큰 수준의 엔트로피가 증가(생성 중 더 불확실해 보임)하기도 하지만, 정답 수준의 엔트로피는 일관되게 감소합니다. 이는 국소적인 무작위성에도 불구하고, 모델이 더 적은 수의 뚜렷한 최종 답변으로 수렴함을 의미합니다.
퍼플렉서티(Perplexity) 분석: RLVR 모델은 다양한 외부 추론 궤적(예: DeepSeek-R1 또는 Claude Sonnet)에 대해 더 높은 퍼플렉서티를 보이며, 이는 모델이 다양한 솔루션 스타일에 확률을 할당하는 능력이 감소했음을 확인시켜 줍니다.

3. 드문 확장의 메커니즘

확장이 발생하는 경우(예: Dice, Arc 1D, Boxnet 등의 작업), 본 논문은 두 가지 특정 메커니즘을 식별합니다:

하위 기술의 재구성 (Recomposition of Subskills): 베이스 모델이 필요한 하위 구성 요소(파편)들을 보유하고 있으나 이를 전역적으로 조립하는 데 실패한 경우입니다. RLVR은 이러한 약하게 표현된 구성 요소들을 증폭시킵ates.
프롬프트 형식 정렬 (Prompt-Format Alignment): RLVR은 응답 형식의 불일치를 교정하여, 지시 이행 실패로 인해 억제되어 있던 잠재 역량을 해제합니다.
중요한 점은, 이러한 확장이 베이스 분포에 진정으로 부재했던 솔루션을 발견하는 것이 아니라, 기존의 롱테일(long-tail) 역량을 재가중치화(reweighting)하는 것에 불과하다는 것입니다.

4. 이론적 한계

본 논문은 표준적인 온-폴리시 RLVR 업데이트가 베이스 모델의 초기 지원 범위를 넘어 정책의 지원을 확장할 수 없음을 보여주는 이론적 증명(Theorem C.1 및 Corollary C.2)을 제공합니다. 만약 베이스 모델이 특정 정답 솔루션에 0의 확률을 할당한다면, RLVR은 이를 발견할 수 없습니다. 또한, RLVR 모델의 점근적 pass@k 성능은 베이스 모델의 성능에 의해 제한됩니다.

의의 및 주장

본 논문은 현재의 RLVR 관행을 제약하는 **"보이지 않는 목줄(invisible leash)"**을 밝혀냈다고 주장합니다. 이 연구의 주요 의의는 다음과 같습니다:

RLVR의 역할 재정의: RLVR을 새로운 추론 지평을 여는 역량 확장 도구가 아니라, 알려진 고보상 모드 주변의 분포를 날카롭게 만드는 정밀도 향상 도구로 규정합니다.
현재 패러다임의 한계 지적: RLVR이 본질적으로 더 깊은 추론이나 새로운 문제 해결로 이어진다는 가설에 도전합니다. 대신, 명시적인 탐색 전략이 없다면 RLVR은 근본적으로 베이스 모델의 초기화 상태에 의해 제한된다는 점을 시사합니다.
평가의 시사점: pass@1이나 낮은 예산의 지표에만 의존하는 것은 RLVR의 능력을 과대평가할 수 있음을 경고합니다. 이러한 지표들은 RLVR이 만들어내는 집중된 분포를 선호하는 반면, 고예산 또는 다중 솔루션 시나리오에서 성능을 저해하는 다양성의 상실은 간과하기 때문입니다.
향후 방향: 저자들은 이 "보이지 않는 목줄"을 끊기 위해서는 표준적인 온-폴리시 최적화를 넘어, 미미하게 표현된 솔루션 영역에 확률 질량을 명시적으로 주입하는 하이브리드 전략이나 명시적 탐색 메커니즘과 같은 미래의 혁신이 필요하다고 결론짓습니다.

본 연구는 이러한 한계를 해결하는 것을 목표로 하기보다, 검증 가능한 보상 기반 강화 학습에서 정밀도와 다양성 사이의 내재된 트레이드오프를 이해하기 위한 엄격한 실증적 및 이론적 토대를 제공하는 데 목적이 있습니다.