기술 요약: 추론 모델이 왜 범위를 잃는가? 데이터와 분기점의 역할

문제 제기

지도 미세조정 (SFT) 과 검증 가능한 보상을 통한 강화학습 (RLVR) 과 같은 전문화된 사후 학습 절차를 통해 이루어진 최근 추론 모델의 발전은 pass@1 정확도 (첫 번째 생성된 해답이 정확할 확률) 를 크게 향상시켰습니다. 그러나 **범위 축소 (coverage shrinkage)**라는 역설적인 현상이 관찰되었습니다. pass@1 은 향상되지만, pass@k(k 개의 독립적인 샘플 중 적어도 하나의 올바른 해답이 나타날 확률) 는 기본 모델에 비해 저하되는 것입니다.

이전 문헌들은 주로 이러한 축소를 RLVR 의 최적화 역학 때문으로 여겨, 보상 기반 훈련이 좁고 높은 보상을 주는 경로에 지나치게 집중하여 모드 붕괴를 초래한다고 주장했습니다. 그러나 최근 증거는 SFT 하에서도 축소가 발생함을 보여주며, 근본 원인이 알고리즘 자체가 아니라 더 근본적인 동인에 있을 수 있음을 시사합니다. 본 논문은 데이터 구조, 특히 "분기점 (forks in the road, 올바른 추론 경로가 여러 개 존재하지만 선택 근거가 모호한 의사결정 지점)"의 존재가 범위 축소의 주된 동인이라는 가설을 검증합니다.

방법론

저자들은 데이터 중심적 관점을 제시하며, 추론 문제들은 종종 모델이 어떤 전략이 성공할지 알 수 없는 상태에서 여러 유효한 전략 중 하나를 선택해야 하는 의사결정 지점을 포함한다고 주장합니다. 만약 훈련 데이터가 survivorship bias(생존자 편향) 로 인해 성공한 경로만 노출하고 선택의 이유를 설명하지 않는다면, 모델은 모호성을 해결하기 위해 허위 단서에 의존하도록 학습하여 결국 대체 경로를 억제하게 됩니다.

이를 검증하기 위해 저자들은 이러한 의사결정 지점을 격리시킨 통제된 사례 연구를 설계했습니다:

1. 그래프 탐색 (합성 작업):

   • 설정: 모델이 시작 노드에서 목표 노드까지 이동해야 하는 스타-그래프 탐색 작업입니다. 그래프에는 여러 가지 분기가 유효한 연속 경로이지만 오직 하나만 목표에 도달하는 "해독 불가능한 노드 (분기점)"가 포함되어 있습니다.
   • 변형:
     • 전진 (Forward): 모델은 분기점 (의사결정 지점) 을 마주치며 소스에서 목표까지 탐색해야 합니다.
     • 역행 (Reverse, w/o DP): 모델은 목표에서 소스로 역방향으로 탐색하며, 해답을 역순으로 제시함으로써 경로 선택의 필요성을 효과적으로 제거합니다.
   • 모델: Qwen2.5-0.5B 와 EvoLM-1B 에서 평가되었습니다.

2. 추론 모드 선택 (실제 작업):

   • 자연어 (NL) 대 코드: 저자들은 OpenMathInstruct-1 및 2 와 같은 수학 추론 데이터셋을 분석하여 두 가지 데이터 다양성 구조를 비교했습니다.
     • 데이터 수준 다양성: 데이터셋은 전역적으로 균형 잡혀 있습니다 (50% NL, 50% 코드). 그러나 각 문제는 하나의 모드로만 해결됩니다.
     • 문제 수준 다양성: 각 문제는 훈련 데이터에서 NL 과 코드 해답 모두로 제시됩니다.
   • 선형 대 백트래킹: 증류된 추론 모델 (예: DeepSeek-R1 변형) 을 사용하여 초기 접두사 토큰 (예: "Okay," "Let," "To") 이 모델이 선형 또는 백트래킹 추론 구조 중 하나에 전념하게 만드는 의사결정 지점으로 작용하는 방식을 검토했습니다.

3. 완화 전략:

   • 데이터 설계: 문제 수준 다양성과 데이터 수준 다양성의 효과를 비교합니다.
   • 추론 시간 개입: 모델이 다양한 고확률 초기 토큰에서 시작하도록 강제하여 다양성을 회복하는 "Top-k 접두사" 디코딩 메커니즘을 테스트합니다.

주요 결과

1. 의사결정 지점이 축소를 주도함

그래프 탐색 작업에서 전진 설정 (의사결정 지점 포함) 으로 훈련된 모델은 전형적인 축소 패턴을 보였습니다: pass@1 은 향상되었으나, 훈련이 진행됨에 따라 pass@k 는 크게 저하되었습니다. 반면, 역행 설정 (의사결정 지점 없음) 으로 훈련된 모델은 모든 $k$ 값에 걸쳐 높은 pass@k 성능을 유지했습니다.

• 신뢰도 분석: 의사결정 지점으로 훈련된 모델은 분기점에서 과도하게 자신 있게 되어, 올바른 분기와 잘못된 분기 모두에 높은 확률을 부여했습니다. 이는 모델이 보정된 불확실성 대신 허위 단서에 기반하여 경로에 전념하도록 학습했음을 시사합니다.

2. 다양성의 구조가 중요함

추론 모드 선택 작업에서 데이터 수준 다양성 설정 (전역적 균형, 문제당 단일 모드) 은 심각한 범위 축소를 초래했습니다. 모델은 문제당 단일 모드 (NL 또는 코드) 를 선택하는 데 점점 더 자신 있게 되어 이분산 분포를 형성하고 pass@k 가 저하되었습니다.

• 반면, 문제 수준 다양성 설정 (문제당 여러 모드) 은 안정적인 pass@k 성능을 유지했습니다. 이는 범위가 데이터셋 내 다양성의 양만으로 결정되는 것이 아니라, 해당 다양성이 개별 문제 내에서 어떻게 구조화되느냐에 의해 결정됨을 보여줍니다.

3. 의사결정 지점에서의 취약성

선형 대 백트래킹 추론 분석은 모델이 초기 접두사 토큰에 매우 민감함을 드러냈습니다. 첫 번째 토큰의 작은 변화 (예: "Okay" 대 "Let") 는 모델의 추론 모드, 응답 길이 및 정확도를 극적으로 변화시킬 수 있었습니다.

• 과도한 사고/부족한 사고: 모델은 종종 기본값으로 잘못된 추론 모드를 적용했습니다 (예: 단순 사실 질문에서 백트래킹 사용 또는 복잡한 반事实 산술에서 선형 사고 사용). 그러나 접두사를 조작하면 적절한 모드를 회복하고 특정 작업에서 성능을 크게 향상시킬 수 있었습니다 (최대 60%).

4. 추론 시간 개입을 통한 완화

저자들은 범위 축소가 능력의 영구적 손실이 아니라 대체 경로의 억제임을 입증했습니다. 추론 시 Top-k 접두사 샘플링 전략 (모델이 다양한 초기 토큰에서 시작하도록 강제) 을 적용함으로써 잃어버린 범위를 회복할 수 있었습니다.

• 결과: 표준 디코딩은 훈련 후기 단계에서 declining pass@k 를 보인 반면, Top-8 접두사 설정은 높은 pass@k 를 유지하여 추가 재학습 없이 억제된 추론 경로를 효과적으로 재활성화했습니다.

주요 기여

1. 데이터 중심 가설: 본 논문은 미세조정 데이터 내의 "분기점 (근거가 모호한 의사결정 지점)"을 범위 축소의 주요 동인으로 규명하여, 축소가 RLVR 과 같은 최적화 알고리즘의 부산물이라는 기존 관점에 도전합니다.
2. 통제된 경험적 증거: 합성 그래프 작업과 실제 추론 모드 분석을 통해, 의사결정 지점의 보편성과 구조가 범위 축소의 심각성과 강력하게 상관관계가 있음을 입증했습니다.
3. 다양성 구조 통찰: 이 연구는 다양성이 어떻게 분포되느냐 (문제 단위 대 문제 간) 가 중요함을 밝혔습니다. 문제 단위 다양성이 범위를 보존하는 데 훨씬 더 효과적입니다.
4. 실용적 완화: 본 논문은 축소를 통제하기 위한 두 가지 전략을 제시합니다.
   • 단일 문제 내에서 여러 추론 모드를 노출하도록 합성 데이터를 설계합니다.
   • 억제된 다양성을 회복하기 위해 추론 시간 접두사 교란을 사용하며, 모델의 추론 능력이 손실된 것이 아니라 잠재되어 있음을 보여줍니다.

의의

본 논문은 범위 축소가 모델이 보정되지 않은 의사결정 지점 뒤에 대체 추론 경로를 잠그도록 학습하는 데이터 기반의 부산물이라고 주장합니다. 알고리즘적 최적화에서 데이터 큐레이션 및 추론 시간 개입으로 초점을 옮김으로써, 저자들은 추론 모델에서 잃어버린 범위가 영구적으로 잊혀진 것이 아니라 단지 억제된 것일 뿐이라고 제안합니다. 이러한 발견은 사후 학습 데이터 설계 및 테스트 시간 확장을 개선하기 위한 렌즈를 제공하며, 효과적인 추론은 올바른 경로를 찾는 것뿐만 아니라 "올바른" 선택이 모호할 때 여러 유효한 경로를 탐색할 수 있는 능력을 유지하는 것을 필요로 함을 강조합니다.