🤖 machine learning

Verifier-Induced Support Reshaping in On-Policy Optimization

이 논문은 검증 가능한 보상을 사용하는 온폴리시 강화 학습(RLVR)이 즉각적인 작업 성능을 향상시킬 수 있는 반면, 정책이 출력 분포를 좁혀 미래의 목적을 위한 성공적인 궤적을 샘플링하기에 너무 희귀하게 만듦으로써 장기적인 학습 가능성과 결합된 능력을 저해하는 '검증기 유도 지원 재형성(verifier-induced support reshaping)'을 의도치 않게 유발한다는 사실을 밝히고 있다.

원저자: Shaohang Wei, Zikun Su, Feifan Song, Wen Luo, Wei Li, Guangyue Peng, Houfeng Wang

게시일 2026-08-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shaohang Wei, Zikun Su, Feifan Song, Wen Luo, Wei Li, Guangyue Peng, Houfeng Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 로봇에게 유능한 비서가 되는 법을 가르치고 있다고 상상해 보세요. 당신은 단순히 로봇이 사실을 아는 것을 넘어, 규칙을 따르고, 까다로운 수학 문제를 풀고, 코드를 작성하기를 원합니다. 이를 위해 과학자들은 '강화 학습(reinforcement learning)'이라는 방법을 사용합니다. 이는 로봇이 다양한 답을 시도하고, '검증기(verifier, 엄격한 판사)'로부터 점수를 받으며, 높은 점수를 받은 움직임을 반복하도록 배우는 게임과 같습니다. 이들의 큰 희망은 로봇에게 수학, 글쓰기, 코딩 순으로 하나씩 기술을 가르쳐서, 이전의 것을 잊거나 혼란에 빠지지 않고 계속해서 배우게 하는 것입니다. 이것이 바로 '연속 학습(continual learning)'의 꿈, 즉 단계별로 모든 분야에서 점점 더 나아지는 로봇을 만드는 것입니다. 하지만 만약 로봇에게 한 가지 일을 완벽하게 하도록 가르치는 행위 자체가, 역설적으로 다음 단계의 학습으로 가는 문을 잠가버린다면 어떻게 될까요? 만약 로봇이 지시를 따르는 데 너무 능숙해진 나머지, 단계별로 생각하는 법을 잊어버리거나 그 반대의 상황이 발생한다면 어떻게 될까요?

이 논문은 '검증기 유발 지원 재형성(verifier-induced support reshaping)'이라는 교묘한 문제를 조사합니다. 연구진은 엄격한 판사를 사용하여 AI에게 특정 작업에 대해 탁월해지도록 훈련할 때, AI가 단순히 그 작업에 더 잘하게 되는 것뿐만 아니라, 나중에 다른 작업을 배우기 훨씬 어렵게 만드는 방식으로 성격 자체를 변화시킨다는 것을 발견했습니다. 이는 마치 개에게 "앉아"라고 말할 때만 앉도록 훈련시켰더니, 결과적으로 "앉아"라는 단어만이 중요하다는 것을 가르쳐버린 것과 같습니다. 나중에 "기다려"를 가르치려 할 때, 개의 뇌가 다른 것은 무시하도록 재형성되었기 때문에 혼란을 겪을 수 있는 것과 같습니다. 논문은 이것이 단순히 로봇이 예전의 기술을 잊어버리는 문제(알려진 문제인 '파괴적 망각')가 아니라, 로봇이 정답을 만드는 방식 자체를 너무 희귀하게 만들어 학습 과정에서 더 이상 정답을 찾을 수 없게 만드는 문제임을 보여줍니다. 즉, 로봇이 여전히 수학 문제를 풀 수 있는 능력을 갖추고 있더라도, 다른 방식의 답변 스타일에 익old어졌기 때문에 더 이상 올바른 방식으로 문제를 풀려고 시도하지 않을 수 있다는 것입니다.

연구진은 두 종류의 AI 모델을 두 가지 매우 다른 작업, 즉 수학 문제 풀기와 엄격한 글쓰기 지침 준수(예: "정확히 50단어로 쓰시오" 또는 "불렛 포인트를 사용하시오")에 대해 훈련시켜 테스트했습니다. 한 그룹은 수학 천재가 되도록 훈련했고, 다른 그룹은 지침 준수의 전문가가 되도록 훈련했습니다. 그런 다음, 이들의 판사(검증기)를 서로 바꾸어 어떤 일이 일어나는지 확인했습니다.

연구진이 발견한 내용은 다음과 같습니다:

수학에서 지침 준수로의 함정
AI를 먼저 수학 천재로 훈련했을 때, 평균적으로 지침을 따르는 능력은 향상되었습니다. 하지만 이상한 일이 일 발생했습니다. AI가 매우 '양극화'된 것입니다. 지침을 완벽하게 지키거나, 아니면 완전히 틀리거나 둘 중 하나였으며, 그 중간 단계의 시도는 거의 없었습니다. 이전에는 AI가 정답에 근접한 여러 가지 방식으로 답을 시도했을 수도 있었습니다. 하지만 수학 훈련 이후, AI는 그러한 중간 경로를 시도하는 것을 멈췄습니다. 이는 만약 AI에게 여러 번의 시도(예: 32번 시도)를 요청하더라도, 지침 준수 작업에 대한 성공적인 답을 찾을 확률이 낮아졌음을 의미합니다. 수학 훈련이 AI의 초점을 너무 좁혀 놓아서, 새로운 지침 준수 기술을 배우는 데 필요한 '지원(support, 시도의 다양성)'을 탐색하는 것을 멈추게 만든 것입니다.

지침 준수에서 수학으로의 함정
그 반대의 경우도 매우 흥러웠습니다. AI를 먼저 지침 준수 전문가로 훈련시켰을 때, AI는 수학 문제를 푸는 방식 자체를 바꾸기 시작했습니다. 단계별로 과정을 보여주는 대신(예: "먼저 2와 2를 더하면..."), AI는 곧바로 정답으로 건너뛰기 시작했습니다("답은 4입니다"). 연구진은 이를 '의도적 추론 개시(Deliberate Reasoning Initiation, DRI)'에서 '직접 답변 개시(Direct Answer Initiation, DAI)'로의 변화라고 부릅니다.
이 변화는 중대한 문제였습니다. AI가 단계를 건너뛰기 시작하면서, 설령 AI가 여전히 수학을 알고 있더라도 정답을 찾는 것이 훨씬 어려워졌습니다. 실제로 AI가 직접 답변을 하는 빈도가 높아질수록, 여러 번의 시도를 통해 정답을 찾을 수 있는 성공률은 낮아졌습니다. 즉, 정답을 찾기 위한 '지원(support)'이 줄어든 것입니다.

'첫 토큰'의 비밀
연구진은 왜 이런 일이 발생하는지 파악하기 위해 더 깊이 조사했습니다. 그들은 이 변화가 AI가 문장 뒷부분에서 수학을 잊어버리는 것에 관한 것이 아님을 발견했습니다. 변화는 AI가 치는 '첫 번째 단어'에서 일어났습니다!
알고 보니, 수학을 위한 '판사(검증기)'는 AI가 "알겠습니다"나 "단계별로 살펴보면" 같은 말로 시작하도록 유도하는 반면, 지침을 위한 판사는 "답변:"이나 "여기"와 같은 말로 시작하도록 유도한다는 것입니다. 일단 AI가 "답변:"으로 시작하는 법을 배우면, 추론 단계를 건너뛰는 경로에 갇히게 됩니다. 연구진은 지침 준수 훈련을 받은 AI에게 강제로 '수학적' 단어로 시작하게 함으로써 이를 증명했습니다. 이렇게 했을 때, AI의 수학 솔루션 발견 능력이 마법처럼 향상되었습니다. 이는 AI가 수학적 두뇌를 잃어버린 것이 아니라, 단지 잘못된 '오프닝 무브(opening move, 첫 수)' 습관에 갇혔음을 시사합니다.

우리는 해결할 수 있을까?
연구팀은 이 문제를 해결하기 위해 노력했습니다. AI가 항상 올로 된 단어로 시작하도록 사전 훈련(a "DRI prior")을 시도했지만, 이는 문제를 늦출 뿐이었습니다. 결국 AI는 여전히 직접 답변 스타일로 전환되었습니다. 또한, 학생 AI가 교사 AI를 모방하는 '온-폴리시 증류(on-policy distillation)' 기법도 시도했습니다. 하지만 이는 교사를 매우 신중하게 선택했을 때만 효과가 있었습니다. 만약 교사가 이미 '나쁜 습관'을 배웠다면, 학생도 그것을 그대로 복제했습니다.

결론
이 논문은 단순히 AI를 한 가지 작업에 더 뛰어나게 만드는 것이, 그 AI가 다음 작업을 배울 준비가 되었음을 보장하지 않는다고 결론짓습니다. 사실, 한 분야에서의 발전은 역설적으로 다음 분야를 위한 '탐색 공간(search space)'을 너무 작게 만들어, AI가 정답을 찾을 수 없게 만들 수 있습니다. 수학 실력이나 지침 준수 능력이 향상된다고 해서, 그것이 반드시 정답이면서 동시에 규칙도 잘 따르는 답변으로 이어지는 것은 아닙니다. 이는 AI 개발자들에게 주는 경고입니다. 모델이 오늘 테스트에서 높은 점수를 받았다고 해서, 그것이 미래의 학습을 위한 문을 잠가버리지 않았다는 뜻은 아닙니다. AI의 유연성을 유지하려면, 현재 높은 점수를 받는 것뿐만 아니라 다양한 '오프닝 무브'를 계속 사용할 수 있도록 만들어야 합니다.

기술 요약: 온-폴리시 최적화에서의 검증기 유도 지원 재형성 (Verifier-Induced Support Reshaping)

1. 문제 정의

본 논문은 **검증 가능한 보상을 사용하는 연속적 온-폴리시 강화학습(RLVR)**의 결정적인 한계를 다룹니다. 기존 문헌은 주로 새로운 목적에 적응한 후 모델이 이전 태스크의 성능을 유지하는지(파괴적 망각)에 초점을 맞추는 반면, 본 연구는 미래 지향적인 문제인 **검증기 유도 지원 재형성(Verifier-Induced Support Reshaping)**을 식별합니다.

핵심 문제는 특정 검증기(예: 수학적 정확성)를 위해 정책을 최적화하는 것이 정책의 샘플링 분포를 변경하여, 미래의 목적(예: 지시 이행)을 위한 성공적인 궤적들이 고정된 롤아웃 예산 내에서 샘플링되기에는 너무 희귀해질 수 있다는 점입니다. 근본적인 능력은 "망각"되지 않았더라도, 정책이 후속 단계에서 긍-적 보상 신호를 제공할 만큼 충분히 빈번하게 필요한 "성공적" 행동을 생성하지 못할 수 있습니다. 저자들은 **유효 보상 가능 지원(effective rewardable support)**을 지정된 예산 하에서 충분히 샘렴링될 만큼 높은 확률로 남아 있는 성공적인 궤적들의 집합으로 정의합니다.

2. 방법론

본 연구는 두 가지 모델 제품군(Qwen3-8B-Base 및 Qwen2.5-Math-7B)과 두 가지 구별된 포스트 트레이닝 목적을 사용하여 통제된 양방향 실험 설계를 채택했습니다:

수학적 추론 (Math-RLVR): 최종 정답의 정확성을 확인하는 검증기를 사용하여 MATH 데이터셋으로 학습.
제약 조건이 있는 지시 이행 (IF-RLVR): 명시적 제약 조건(형식, 길이, 내용)을 확인하는 검증기를 사용하여 IFTrain/IFBench로 학습.

실험 설계

양방향 학습: 저자들은 한 브랜치로 Math-RLVR을 학습시키고 그것이 IF 지원에 미치는 영향을 측정하며, 그 반대의 경우도 수행합니다.
순차적 학습: Math $\to$ IF 및 IF $\to$ Math의 작업 순서를 테스트하여 첫 번째 단계가 두 번째 단계를 어떻게 제약하는지 관찰합니다.
평가 지표:
- Pass@1 (mean@k): 평균 성공률.
- Best@k: $k$ 개의 샘플 내에 성공적인 궤적이 존재하는지 여부 (탐색 가능성 측정).
- 프롬프트 버킷 분석: $k=32$ 롤아웃을 기준으로 프롬프트를 "모두 오답(all-wrong)", "혼합(mixed)", "모두 정답(all-correct)"으로 분류.
- 결합 벤치마크: 단일 응답이 정확성과 제약 조건을 모두 만족하는지 테스트하기 위해 MathIF 및 ReasonIF 사용.

메커니즘 분석

토큰 수준 분포: 정책 변화가 발생하는 위치를 찾기 위해 젠슨-샤논(JS) 발산을 분석합니다.
인과적 개입: 디코딩 중 특정 응답 시작(예: "Answer" vs "Alright")을 강제하여 초기 토큰 선택이 다운스트림 탐색 가능성에 인과적으로 영향을 미치는지 테스트합니다.
완화 전략: 참조 정책 제약(KL 발산), 라우팅 사전 확률(특정 시작 유형에 대한 SFT), **온-폴리시 증류(OPD)**를 테스트합니다.

3. 주요 결과

3.1 비대칭적 지원 재형성

Math-RLVR $\to$ IF: Math-RLVR은 평균 지시 이행 성공률(pass@1)을 높이지만, best@32를 크게 감소시킵니다. 프롬프트들이 "혼합"(일부 성공, 일부 실패) 상태에서 "모두 정답" 또는 "모두 오답"으로 이동합니다. 이러한 양극화는 샘플링을 통해 성공을 회복할 수 있는 프롬프트의 수를 줄여, 결과적으로 미래 IF 학습을 위한 유효 지원을 축소시킵니다.
IF-RLVR $\to$ Math: IF-RLVR은 수학적 탐색 가능성(best@k)을 감소시킵니다 ( $k=4$ 에서 $k=32$ 까지 테스트된 모든 예산에서 감소). 결정적으로, 이는 응답 스타일을 신중한 추론 시작(Deliberate Reasoning Initiation, DRI)(단계별 방식)에서 직접 답변 시작(Direct Answer Initiation, DAI)(직설적 방식)로 변화시킵니다. 이 변화는 수학적 탐색 가능성의 상실과 강력하게 상관관계가 있습니다.

3.2 순차적 학습의 결과

IF 우선 학습: IF를 먼저 학습하면 후속 Math-RLVR에 "혼합" 프롬프트가 거의 남지 않게 됩니다 (오직 "모두 오답" 또는 "모두 정답"만 존재). 혼합 프롬프트가 없으면 그룹 상대적 업데이트(group-relative updates)에 보상 변동성이 부족해져, 모델이 DRI 기반의 추론 전략을 회복하는 것을 방해합니다.
Math 우선 학습: Math를 먼저 학습하면 IF-RLVR이 IF 점수를 개선할 수 있게 하지만, 이는 이전에 얻은 수학 성능의 급격한 하락을 대가로 합니다. 참조 정책 제약(KL)은 수학 성능을 유지할 수는 있지만, 제약 없는 베이스라인의 IF 이득을 따라잡지는 못합니다.

3.3 메커니즘: 시작(Opening)의 인과적 역할

국소화: 가장 큰 분포 변화는 첫 번째 생성 토큰에서 발생합니다. 첫 번째 토ке 대비 내부 토큰의 JS 발산 비율은 $9.8\times$ 에서 $106.7\times$ 에 달합니다.
재순위화 vs 삭제: RLVR은 완전히 새로운 토큰을 도입하기보다는 기본 정책의 상위 3개에 이미 존재하는 후보들을 주로 **재순위화(rerank)**합니다. 그러나 낮은 확률의 토큰(예: "Answer")을 지배적인 위치로 격상시킬 수 있습니다.
인과성: 통제된 개입을 통해 IF-RLVR 모델에 DRI 시작(예: "Alright")을 강제하면 수학적 탐색 가능성이 회복되는 반면, DAI 시작을 강제하면 수학적 탐기 가능성이 억제됨을 확인했습니다. 이는 이는 시작 선택이 추론 경로의 탐색 가능성을 인과적으로 결정한다는 것을 입증합니다.

3.4 완화 전략의 한계

라우팅 사전 확률 (Routing Priors): DRI 편향을 가진 SFT 사전 확률은 DAI로의 변화를 지연시키지만 막지는 못합니다. 100 스텝에 도면 사전 확률과 상관없이 DAI의 지배 상태에 도달합니다.
온-폴리시 증류 (OPD): OPD의 결과는 교사(teacher)의 상태에 매우 민다합니다. 수렴된 IF 교사는 수학적 지원을 보존하지 못하며, 단일 교사 상태가 IF 전이와 수학 유지력을 동시에 최적화할 수는 없습니다.

3.5 결합된 능력

MathIF 및 ReasonIF 벤치마크에서, 한 영역에서의 점진적 이득(예: Math-RLVR이 정확성을 개선함)이 결합된 성공(정확성 + 제약 이행)으로 비례하여 이어지지 않습니다. 결합 지원( $J = C \land F$ )은 아주 약간만 증가하며, 이는 한 목적지의 끝점 개선이 결합된 학습 가능성이나 능력을 보장하지 않음을 나타냅니다.

4. 기여

지원 재형성 프레임워크: 본 논문은 연속적 RLVR을 미래 학습 가능성의 관점에서 프레임화하여, "유효 보상 가능 지원"을 정의하고 검증기가 이 지원을 재형성하여 잠재적으로 미래의 목적지에 도달할 수 없게 만들 수 있음을 입증했습니다.
시작의 인과적 역할: 교차 태스크 간의 변화를 처음 몇 개의 토큰으로 국소화하고, 응답의 시작(DRI vs DAI)과 다운스트림 탐색 가능성 사이의 인과적 연결을 확립하여, 문제가 광범위한 능력의 삭제가 아닌 경로 선택의 문제임을 시사했습니다.
보존의 한계: 표준 완화 기술(순차적 학습, KL 제약, 라우팅 사전 확률, OPD)이 지원을 부분적으로만 보존하거나 목표 태스크의 이득과 트레이드오프 관계에 있음을 실증적으로 보여주었습니다.

5. 의의 및 주장

본 논문은 끝점의 개선이 온-폴리시 최적화 하에서 미래의 학습 가능성이나 결합된 능력을 보장하지 않는다고 주장합니다. 파괴적 망각이 유지된 성능을 측정하는 것과 달리, 지원 재형성은 미래 태스크를 위한 성공적인 궤적이 여전히 발견 가능한지를 측정합니다.

저자들은 RLVR에서 검증기의 선택이 모델의 "시작 공간(initiation space)"을 근본적으로 변화시킨다고 주장합니다. 만약 검증기가 모델을 특정 시작 방식(예: 직접 답변)으로 몰아붙인다면, 이는 의도치 않게 다른 태스크(예: 단계별 추론)에 필요한 탐색 공간을 닫아버릴 수 있습니다. 결과적으로, 본 논문은 향후 온-폴리시 최적화 전략이 단순히 현재 태스크의 점수나 표준적인 망각 지표에 의존하기보다, 교차 검증 최적화 전반에 걸쳐 유효 보상 가능 지원을 명시적으로 추정하고 보존해야 한다고 제안합니다.