기술 요약: 몇 개의 결정 토큰을 수정함으로써 추론 능력을 복원할 수 있음

문제 정의

대규모 추론 모델 (LRMs) 은 도전적인 추론 벤치마크에서 기본 대규모 언어 모델 (LLM) 대비 일관되게 우수한 성능을 보이며, 이 격차는 주로 테스트 시간 확장 (test-time scaling) 및 강화 학습 기반의 사후 훈련 (예: RLVR) 에 기인한다고 여겨집니다. 그러나 이 성능 격차를 이끄는 구체적인 메커니즘은 여전히 잘 이해되지 않았습니다. 기본 모델이 토큰별 생성 과정에서 어디서 실패하는지, 추론 능력이 기본 모델 내에 잠재되어 있는지, 그리고 모든 토큰에 대해 전체 LRM 을 실행하는 계산 비용 없이 성능 격차를 효율적으로 좁히는 방법에 대해서는 명확하지 않습니다.

방법론

저자들은 토큰 수준의 분포적 불일치 (token-level distributional disagreement) 를 통해 기본 모델과 LRM 간의 격차를 분석하고 좁히는 프레임워크를 제안합니다.

1. 불일치 정량화

이 연구는 각 생성 단계 $t$에서 기본 모델 ($M_b$) 과 더 강력한 추론 모델 ($M_r$) 간의 불일치를 측정하기 위해 주로 교차 엔트로피 (CE) 와 역 Kullback–Leibler (KL) 발산과 같은 가능성 기반 발산을 활용합니다. 불일치 점수 $s_t$는 다음과 같이 정의됩니다:
$$s_t = D_{CE}(p_b(\cdot | x_t), p_r(\cdot | x_t)) = -\sum_{y \in V} p_b(y | x_t) \log p_r(y | x_t)$$
여기서 $p_b$와 $p_r$은 다음 토큰 확률 분포입니다.

2. 불일치 기반 토큰 개입

불일치 패턴 분석에 기반하여, 저자들은 불일치 기반 토큰 개입 (disagreement-guided token intervention) 이라는 희소성 추론 시간 위임 방식을 도입합니다.

• 메커니즘: 시스템은 기본적으로 효율적인 기본 모델 ($M_b$) 을 사용합니다. 그러나 불일치 점수 $s_t$가 보정된 글로벌 임계값 $\tau$를 초과하고 지역적 상대적 급증 조건 ($s_t > \lambda \cdot \bar{s}_{t,W}$) 을 만족할 때, "한 토큰 장악 (one-token takeover)"이 발생합니다.
• 장악: 이러한 고불일치 위치에서 추론 모델 ($M_r$) 이 다음 토큰을 생성합니다. 즉시 후속적으로 제어권이 기본 모델로 다시 전환됩니다.
• 보정: 임계값은 특정 "급증 비율" $r$(예: 불일치 점수 상위 3% 또는 5%) 을 목표로 보유된 데이터셋에서 보정되어, 개입 예산이 작게 유지되도록 합니다.

주요 발견 및 기여

1. 추론 격차의 희소성과 집중성

이 논문은 기본 모델과 추론 모델 간의 성능 격차가 매우 희소함을 입증합니다.

• heavy-tailed 분포: 극소수의 토큰 (예: Qwen3-0.6B 의 경우 약 8%) 이 분포적 불일치의 대부분을 차지합니다. 불일치 질량의 지니 계수는 극도로 높습니다 ($\approx 0.936$), 이는 대부분의 토큰이 거의 불일치 질량을 축적하지 않음을 나타냅니다.
• 초기 집중성: 고불일치 급증은 초기에 집중되어 발생하며, 생성 궤적의 초기 단계에서 불균형적으로 많이 나타납니다 (모드 $u \approx 0.05$). 이는 추론의 이득이 주로 과정 후반부의 긴 흔적에서 비롯된다는 직관과 모순됩니다.

2. 불확실성 및 계획과의 정렬

불일치 급증은 무작위가 아니며, 특정 구조적 속성을 보입니다:

• 불확실성 정렬: 불일치 급증은 기본 모델의 고유한 불확실성 (Shannon 엔트로피) 과 강력하게 겹칩니다.
• 계획 풍부화: 이러한 중요한 토큰은 계획 관련 결정(예: 전략 선택, 변수 바인딩, 분해) 에 대해 크게 풍부화되어 있습니다. Qwen3-0.6B 에서 계획 토큰은 전체 스트림의 약 1.9% 만을 차지하지만 불일치 급증의 약 14% 에 나타납니다 (7.46 배 풍부화).

3. 예측력

상위 $K$개 토큰에 대한 불일치 점수를 집계하는 것은 추론 실패의 강력한 예측자가 됩니다. 불일치 기반 점수는 잘못된 최종 답변을 예측하는 데 기본 모델의 엔트로피보다 우수합니다 (예: GSM8K 에서 AUROC 0.851 대 0.817).

4. 희소 개입을 통한 성능 회복

제안된 개입 방식은 불균형적인 성능 회복을 가져옵니다:

• 효율성: 소수의 토큰 예산 (예: $\bar{\rho} \approx 0.13$, 즉 토큰의 13%) 에 개입함으로써 0.6B 기본 모델이 동급 크기 (0.6B) 의 "Thinking" 변형 대비 Pass@8 격차의 157% 를 회복할 수 있으며, 이를 효과적으로 능가합니다.
• 기저선 대비 비교: 무작위 토큰 교체나 처음 $\rho$개 토큰만 교체하는 것 (초기 전용) 은 훨씬 낮은 이득을 제공하여, 개입의 양이 아닌 특정 고불일치 토큰의 선택이 결정적 요소임을 확인시켜 줍니다.
• 일반화: 이 현상은 모델 계열 (Qwen3 및 LLaMA) 과 도메인 (수학 및 과학 QA) 간에 전이되지만, 회복의 크기는 다양합니다.

중요성 및 주장

이 논문은 추론에 대한 희소 제어 관점을 주장합니다. 기본 모델은 종종 특정 고불확실성 계획 지점에서 정렬되지 않는 잠재적 추론 기계를 보유하고 있다고 가정합니다. LRM 의 "추론 모드"는 반드시 근본적으로 다른 아키텍처가 아니라, 이러한 중요한 초기 결정의 안정화일 뿐입니다.

저자들은 다음과 같이 주장합니다:

1. 추론은 희소하다: 소수의 초기 계획 약속이 전체 추론 궤적을 이끕니다.
2. 수정은 충분하다: 이러한 고불일치 결정 토큰만 선택적으로 수정함으로써, 기본 모델은 전체 사후 훈련이나 연속적인 LRM 추론 없이도 훨씬 더 강력한 모델의 추론 능력을 회복할 수 있습니다.
3. 메커니즘적 통찰: 개입은 변수 바인딩이나 전략 선택의 모호성을 해결한 후 실행을 기본 모델에 다시 넘겨주는 경량 "중지 및 확인" 메커니즘으로 작용합니다.

이 연구는 "추론 격차"가 기본 모델의 능력 부족이 아니라, 특정 분기점에서 올바른 궤적에 헌신하지 못해 발생하는 실패이며, 이는 표적화된 불일치 기반 개입을 통해 해결될 수 있음을 시사합니다.