🤖 machine learning

Distributional Biases in Post-Training: A Markovian Analysis of Reasoning Trajectories

이 논문은 추론을 마르코프 전이(Markov transitions)로 모델링함으로써 사후 학습(post-training)에서의 탐색 역설을 해결하며, RLVR 및 ORM/PRM과 같은 표준 방식들이 모델을 고확률 경로 쪽으로 편향시키고 희귀한 추론 단계를 망각하게 한다는 것을 이론적으로 증명하는 동시에, 인스턴스 거부(instance rejection) 및 KL 정규화(KL regularization)와 같은 탐색 전략이 이러한 결정적인 궤적들을 보존하는 데 도움이 됨을 입증한다.

원저자: Dake Bu, Wei Huang, Andi Han, Atsushi Nitanda, Bo Xue, Qingfu Zhang, Hau-San Wong, Taiji Suzuki

게시일 2026-06-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dake Bu, Wei Huang, Andi Han, Atsushi Nitanda, Bo Xue, Qingfu Zhang, Hau-San Wong, Taiji Suzuki

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 요약: "똑똑하지만 고집 센" 학생

매우 똑똑한 학생(파운데이션 모델)을 상상해 보세요. 이 학생은 도서관의 모든 책을 다 읽어서 세상 모든 것에 대해 조금씩 알고 있습니다. 하지만 아주 까다롭고 복잡한 수학 문제를 주면, 가끔 막히거나 실수를 하곤 합니다.

이를 해결하기 위해 선생님들은 사후 학습(Post-Training, 예를 들어 검증 가능한 보상을 사용하는 강화 학습인 RLVR)을 사용합니다. 이는 학생에게 시험을 치르게 한 뒤, 정답을 맞히면 "잘했어! 다음에도 이렇게 해봐!"라고 말하는 것과 같습니다.

문제점: 이 논문은 이러한 "연습"이 종종 역효과를 낸다고 주장합니다. 어려운 문제를 풀기 위한 새로운 방법을 배우는 대신, 학생은 자신이 이미 알고 있는 가장 쉬운 방법들에 집착하게 됩니다. 만약 문제가 기발하고 드문 기술을 필요로 한다면, 학생은 보통 잘 통하는 단순하고 흔한 방법들을 연습하느라 너무 바쁜 나머지 그 기술을 잊어버리게 됩니다.

저자들은 이를 **"압착 효과(Squeezing Effect)"**라고 부릅니다. 마치 스펀지를 짜는 것과 같습니다. 물은 다 짜내겠지만, 스펀지의 원래 모양까지 찌그러뜨리는 것입니다. 모델은 흔한 작업에는 매우 능숙해지지만, 드물고 어려운 문제를 처리하는 능력은 상실하게 됩니다.

비유: 추론의 미로

이 현상이 왜 발생하는지 이해하기 위해, 저자들은 추론을 거대한 트리(나무) 모양의 미로로 가정합니다.

시작점: 입구 (질문)
경로: 출구 (정답)로 가는 여러 가지 경로가 있습니다.
쉬운 경로 (높은 확률): 넓고 포장된 고속도로입니다. 대부분의 사람이 이 길을 이용하며, 대부분의 질문에 효과적입니다.
어려운 경로 (낮은 확률): 좁고 풀이 우거진 오솔길입니다. 거의 이용되지 않습니다. 하지만 특정 까다로운 문제의 경우, 이 길만이 유일하게 정답으로 인도하는 길입니다.

1. 사전 학습(Pre-training): 지도를 발견하다

학생이 연습을 시작하기 전, 학생은 미로를 탐험합니다. 고속도로와 숨겨진 오솔길을 모두 찾아냅니다. 지도가 존재한다는 사실을 알고 있습니다.

2. 사후 학습(Post-Training): "압착"

선생님이 정답에 대해 보상을 주기 시작하면, 학생은 지도를 보고 생각합니다. "오, 고속도로는 넓고 보통 여기서 정답을 맞히니까, 그냥 고속도로로만 다녀야겠다."

이 논문은 표준적인 학습 방식(RLVR, PPO, RAFT)이 자석처럼 작동하여 학생의 주의력을 완전히 고속도로로 끌어당긴다는 것을 수학적으로 증명합니다.

결과: 학생은 고속도로의 달인이 됩니다. 하지만 특정 질문이 오직 숨겨진 오솔길을 통해서만 풀 수 있는 경우, 학생은 그 길을 찾는 법을 잊어버린 상태가 됩니다. 결국 어려운 문제에서 실패하게 됩니다.

3. "일관성"의 함정 (ORM/PRM)

논문은 또한 "채점자"(신경망)가 학생이 생각하는 과정 중 각 단계를 판단하는 다른 방식도 살펴봅니다.

함정: 채점자는 일관성에 편향되어 있습니다. 채점자는 보통 잘 통하는 방식인, 똑같은 단계가 반복되는 것을 보는 것을 좋아합니다. 따라서 "고속도로" 단계에는 높은 점수를 주지만, "숨겨진 오솔길" 단계에는 낮은 점수를 줍니다. 설령 그 오솔길이 현재 문제를 푸는 유일한 방법일지라도 말입니다.
결과: 학생은 그 길에 도달하기도 전에 채점자에 의해 오솔길으로부터 멀어지도록 유도됩니다.

해결책: 어떻게 하면 학생의 유연성을 유지할 것인가?

이 논문은 문제점을 지적하는 데 그치지 않고, 학생이 어려운 길을 잊지 않도록 하는 이론적 해결책들을 제시합니다.

해결책 A: 쉬운 질문 거부하기 (RL-rej)

선생님이 이렇게 말한다고 상상해 보세요. "만약 네가 쉬운 고속도로를 이용해서 이 문제를 풀 수 있다면, 난 그걸 보고 싶지 않아. 나는 고속도로가 통하지 않는 문제들을 네가 어떻게 푸는지 보고 싶어."

작동 원리: 쉬운 성공에 보상을 주지 않음으로써, 선생님은 학생이 숨겨진 오솔길을 탐색하도록 강제합니다.
논문의 주장: 이는 모델이 드문 어려운 경로를 잊지 않으면서도 이를 학습하도록 만듭니다.

해결책 B: "온도" 조절 노브 (KL Regularization)

학생이 고속도로에 너무 집착하려는 경향이 있다고 가정해 봅시다. 이때 선생님은 "온도" 조절 노브(KL regularization)를 추가합니다.

작동 원리: 이 노브는 학생에게 이렇게 말합니다. "너무 확신하지 마. 너의 원래 호기심을 조금은 남겨두렴." 이는 학생이 100% 고속도로에만 집중하는 것을 방지하고, 여전히 숨겨진 오솔길이 존재한다는 것을 기억하게 합니다.
논문의 주장: 이는 모델의 "멀티태스킹" 능력을 살려두어, 한 가지 유형의 문제에 집중하는 동안 다른 유형의 문제를 푸는 법을 잊지 않게 합니다.

해결책 C: "Doob h-변환" (DPRM)

이는 "채점자" 방식에 적용되는 더 고급 수학적 기법입니다.

비유: 채점자가 단순히 현재의 단계만을 보는 것이 아니라, 경로의 전체 미래를 내다보는 것입니다. 채점자는 다음과 같이 계산합니다. "내가 지금 이 좁은 길로 간다면, 목표에 도달할 확률은 얼마인가?"
논문의 주장: 이 방법(DPRM)은 수학적으로 "최선의 답을 선택하는 부드러운 버전"과 같습니다. 이는 모델이 숨겨진 오솔길을 짓눌러 없애는 대신, 그 길을 계속 열려 있고 접근 가능한 상태로 유지할 수 있게 해줍니다.

결론

이 논문은 단순한 진리를 수학적으로 증명합니다: 만약 당신이 "쉬운" 방식의 사고에만 보상을 준다면, 결국 "어려운" 방식은 잊게 될 것입니다.

표준 학습: 모델을 쉬운 작업의 전문가로 만들지만, 어렵고 드문 작업에서는 실패하게 만듭니다.
해결책: 모델이 쉬운 것에 과도하게 몰입하는 것을 적극적으로 막아야 합니다. 쉬운 성공을 무시하거나, 다양성을 유지하기 위해 "온도"를 더하거나, 혹은 드문 경로의 잠재력을 가치 있게 평가하는 더 똑똑한 채점 방식을 사용하는 것입니다.

저자들은 자신들의 수학적 근거가 단순화된 "토이 모델"(이론적인 미로)에 기반하고 있지만, 이것이 오늘날 대규모 AI 모델에서 나타나는 실제 현상, 즉 왜 모델들이 때때로 단순한 패턴에 "갇혀서" 어렵고 기발한 해결책을 찾아내지 못하는지를 설명해 준다고 강조합니다.

기술 요약: 사후 학습에서의 분포적 편향: 추론 궤적에 대한 마르코프 분석

문제 정의

파운데이션 모델은 광범한 지식을 보유하고 있지만, 종종 특정 작업에 국한된 추론 능력을 보입니다. RLVR(Verifiable Rewards를 이용한 강화 학습)이나 추론 시간 스케일링(ORM 또는 PRM을 사용한)과 같은 사후 학습 전략이 특정 작업의 전문가를 만들기 위해 노력함에도 불구하고, 경험적 관찰은 역설적인 현상을 드러냅니다. 이러한 방법들은 대개 기존의 추론 경로를 강화할 뿐, 추론의 범위를 확장하지는 못합니다. 구체적으로, 이들은 연쇄 사고(Chain-of-Thought, CoT)의 분포를 "압착(squeeze)"하여, 빈번하고 쉬운 추론 패턴을 선호하는 반 대신 어려운 사례에 필수적인 드물지만 중요한 추론 단계들을 망각하게 만듭니다. 이는 사후 학습이 베이스 모델의 기존 트리 범위 너머로 탐색할 수 없다면, 어떻게 탐색 전략이 효과적일 수 있는가라는 질문을 제기합니다.

방법론

저자들은 파운데이션 모델의 추론 능력을 모델링하기 위해 **트리 구조 마르코프 체인(Tree-structured Markov Chains, TMC)**에 기반한 다루기 쉬운 이론적 프레임워크를 제안합니다.

모델 공식화:
- TMC 프레임워크: 추론은 상태(state)가 표면적 토큰이 아닌 논리적 주장(예: 수학적 표현식)을 나타내는 이산 마르코프 과정으로 추상화됩니다. 상태 공간은 레이어( $S_1$ 부터 $S_L$ 까지)로 구성되며, 전이는 추론 단계를 나타냅니다.
- 작업 정의: 작업은 질문-답변 쌍 $(q, a, k)$ 로 정의됩니다. 작업이 "흔한(common)" 경우, 적어도 하나 이상의 "쉬운 추론(easy-to-reason)" CoT(높은 확률의 전이)를 허용하며, "드문(rare)" 경우, "어려운 추론(hard-to-reason)" CoT(희소하고 낮은 확률의 전이)에만 의존합니다.
- 베이스 모델: 사전 학습된 베이스 모델은 교차 엔트로피를 통해 학습되어 TMC의 실제 전이 확률로 수렴하는 선형 소프트맥스 예측자로 모델링됩니다.
- 보상 신호: 논문은 인스턴스 수준의 정답 여부(0/1 보상)와 모집단 수준의 보상(기대 정확도)을 구분하며, 이는 ORM 및 PRM에서 사용됩니다.
이론적 분석:
- 저자들은 이 TMC 환경 내에서 표준 RLVR 알고리즘(REINFORCE, RAFT, PPO, GRPO)과 추론 스케일링 방법(ORM/PRM을 이용한 Best-of-N 또는 Beam Search)의 그래디언트 역학을 분석합니다.
- 그들은 "어드밴티지 격차(Advantage Gap)"가 쉬운 CoT와 어려운 CoT 사이에 존재함을 도출하며, 표준 목적 함수가 모집단 분포 전체에서 정답일 확률이 더 높은 쉬운 경로에 본질적으로 더 높은 어드밴티지를 할당함을 보여줍니다.

주요 기여

1. 세 가지 경험적 현상의 정식화

본 논문은 실제 관찰되는 세 가지 현상을 엄밀하게 증명합니다:

현상 1 (RLVR의 압착 효과): RLVR 방식(REINFORCE, RAFT, PPO, GRPO)은 본질적으로 쉬운 추론 CoT를 선호합니다. 이론적 분석에 따르면, 어드밴티지 기반 업데이트는 어려운 추론 CoT의 확률 질량을 감소시켜 결국 이들이 망각되도록 만듭니다.
현상 2 (신경 검증기 일관성 편향): ORM/PRM을 이용한 추론 스케일링은 모집단 보상(기대 정확도)에 의존합니다 이를 통해 저자들은 이러한 보상이 특정 어려운 사례에 대해서는 틀릴지라도, 평균적으로 정답일 가능성이 더 높은 쉬운 CoT를 체계적으로 선호한다는 것을 증명합니다. 결과적으로 ORM/PRM 가이드 탐색(BoN, Beam Search)은 어려운 CoT를 선택하는 데 실패합니다.
현상 3 (드문 CoT의 가치): 추론 데이터셋(예: GSM8K, AQuA)의 어려운 사례들은 종종 베이스 모델의 확신도가 낮은 드문 CoT와 연결됩니다. 분포를 쉬운 경로로 붕괴시키는 표준 사후 학습 방법들은 이러한 사례들을 해결하는 데 실패합니다.

2. 탐색 전략에 대한 이론적 정당화

논문은 단순성 편향(simplicity bias)을 완화하는 전략들에 대한 증명 가능한 보증을 제공합니다:

쉬운 인스턴스 거부 (RL-rej): 모델이 이미 높은 확신도로 정답을 생성하는 인스턴스(즉, 쉬운 CoT로 해결 가능한 인스턴스)를 학습에서 제외함으로써, 학습 신호를 어려운 CoT에 집중시킵니다. 저자들은 이를 통해 모델이 쉬운 CoT의 성능을 유지하면서도 유효한 어려운 CoT를 학습할 수 있음을 증명합니다.
KL-정규화 (KL-Regularization): KL-다이버전스 정규화를 포함하는 것(GRPO와 같이)은 분포가 쉬운 경로로 완전히 붕족되는 것을 방지합니다. KL-정규화 하의 최적해는 베이스 모델의 광범한 능력을 보존하는 깁스 분포(Gibbs distribution)이며, 이를 통해 어려운 CoT를 샘플링하고 멀티태스크 성능을 유지할 수 있습니다.
Doob의 h-변환 유도 PRM (DPRM): 추론 스케일링을 위해, 저자들은 Doob의 h-변환에 기반한 원칙적인 PRM을 제안합니다. 이 방법은 샘플링(Soft-BoN)과 함께 사용될 때 점근적으로 최적의 깁스 분포와 동일한 프로세스 보상을 생성합니다. 일반적인 가능도 기반 PRM과 달리, DPRM은 베이스 모델의 다양성을 보존하고 쉬운 CoT로의 편향을 피합니다.

결과

저자들은 두 가지 작업(하나의 흔한 작업, 하나의 드문 작업)을 가진 합성 멀티태스크 TMC를 통해 이론적 발견을 검증합니다.

표준 RLVR의 실패: REINFORCE, RAFT, PPO와 같은 방법들은 쉬운 CoT를 과도하게 선호(90-95% 생성률)하였고 어려운 CoT를 억제했습니다. 이는 드문 작업(Task 2)에 대한 성능 저하로 이어져 "망각" 현상을 입증했습니다.
추론 스케일링의 실패: ORM-BoN 및 표준 PRM-BoN 역시 쉬운 CoT를 과도하게 선호하여, 드문 추론 경로가 필요한 어려운 사례를 해결하지 못했습니다.
제안된 방법의 성공:
- RL-rej 및 GRPO-KL: 이 방법들은 쉬운 CoT와 어려운 CoT의 생성을 성공적으로 균형 있게 조절하여, 공통 작업의 성능을 유지하면서도 드문 작업의 성능을 크게 향 개선했습니다.
- DPRM-AS: Doob의 h-변환 기반 샘플링은 어려운 Co-T에 대한 높은 커버리지를 달달성하였고 멀티태스크 능력을 보존하였으며, 표준 PRM 접근법보다 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 탐색의 이점과 RLVR 및 추론 스케일링의 "압착"하는 성질 사이의 긴장을 이론적으로 최초로 화해시킨다고 주장합니다.

이론적 통찰: 이 연구는 "단순성 편향"이 멀티태스크 환경에서 모집단 기반 보상 추정기와 어드밴티지 기반 업데이트의 본질적인 특성임을 보여줍니다. 이는 왜 표준 사후 학습이 베이스 모델의 기존 고확률 경로 너머로 추론 능력을 확장하는 데 자주 실패하는지를 설명합니다.
실무적 가이드: 저자들은 쉬운 문제를 거부하거나 KL 정규화를 사용하는 것과 같은 기존의 경험적 관행들에 대한 이론적 근거를 제공하며, 이들이 왜 작동하는지 보여줍니다. 즉, 이들은 분포를 쉬운 경로로 붕괴시키는 것을 방지하여 어려운 추론에 필요한 드문 CoT를 보존하기 때문입니다.
한계 및 범위: 저자들은 자신들의 TMC 프레임워크가 추상화된 모델임을 인정하며 주장에 신중을 기합니다. 이 모델은 선형 소프트맥스 예측자를 가정하며, 대규모 비선형 트랜스포머, 노이즈가 있는 보상 오라클 또는 보상 해킹(reward hacking)의 복잡성을 완전히 포착하지는 못합니다. 그러나 저자들은 분포적 편향과 탐색 전략의 필요성에 관한 핵심 통찰이 현재 LLM의 RL 기반 미세 조정 및 추론 스케일링의 한계를 이해하는 데 유효하다고 주장합니다.

요약하자면, 본 논문은 견고한 추론을 달성하기 위해서는 사후 학습 전략이 보상 기반 최적화가 단순하고 빈번한 패턴으로 붕괴되려는 자연스러운 경향에 명시적으로 대응해야 하며, 분포적 다양성을 보존하는 기술(KL 정규화 및 h-변환 등)이 어려운 추론 작업을 해결하기 위해 이론적으로 필수적이라고 주장합니다.