기술 요약: 어려운 것인가, 아니면 도달하지 못한 것인가? 수학적 추론 난이도 추정의 샘플링 사각지대 진단

1. 문제 정의

검증 가능한 보상을 사용하는 강화 학습(RL), 데이터 큐레이션, 합성 커리큘럼 생성, 난이도 주석 달기 등을 포함하는 현재의 수학적 추론 파이프라인은 개별 예제의 난이도를 판단하는 표준 신호로 pass@k에 크게 의존하고 있습니다. 이 프레임워크에서, $k$번의 시도 중 샘플링된 체인 중 어느 것도 정답에 도달하지 못하면 해당 예제는 "어려운(hard)" 것으로 분류됩니다. 결과적으로, $pass@k=0$인 예제들은 종종 필터링되거나, 가중치가 낮아지거나, 본질적으로 풀 수 없는 것으로 취급됩니다.

본 논문은 이러한 확률적 샘플링에 대한 의존이 가장 어려운 문제 계층(stratum)에 지속적인 사각지대를 만든다고 주장합니다. 핵심 가설은 샘플링 전용 추정기에 의해 "어려움"으로 표시된 예제들이 반드시 본질적으로 어려운 것이 아니라, 오히려 동일한 계산 예산 내에서 결정론적 디코딩을 통해 도달할 수 있지만 **확률적 축(stochastic axis) 상에서는 구조적으로 도달 불가능(unreachable)**할 수 있다는 것입니다. 저자들은 "어려움"이라는 라벨이 "본질적으로 어려운 것"과 "확률적 샘플링에 의해 도달되지 않은 것"을 혼동하고 있다고 단언합니다.

2. 방법론

실험 설정

본 연구는 네 가지 오픈 웨이트 지시 미세 조정 모델(Qwen-2.5-3B, Llama-3.2-3B, Llama-3.1-8B, Mistral-Nemo-12B)을 세 가지 수학 추론 벤치마크(GSM8K, MATH, MMLU-Pro)에 대해 평가합니다.

• 샘플링 레짐(Sampling Regime): 온도 $T=0.7$, top-p $p=0.9$ 조건에서 생성된 6개의 독립적인 체인($k=6$).
• 결정론적 레짐(Deterministic Regime): **활성화 그래프팅(activation grafting)**을 사용하여 그리디 디코딩($T=0$)을 수행하여 구축된 "6-체인 결정론적 레짐".
• 활성화 그래프팅(Activation Grafting): 이는 진단적 개입이며, 디코딩 방법이 아닙니다. 레이어 $\ell=26$(마지막 프롬프트 토큰)에서 모델의 은닉 상태($h_{last\_token}$)를 몇 가지 저렴하고 파라미터가 없는 합성 벡터로 교체한 후 포워드 패스를 계속 진행합니다. 그래프트 벡터에는 다음이 포함됩니다:
  • $g_B$: 그리디 베이스라인 (그래프트 없음).
  • $g_Z$: 제로 벡터.
  • $g_R$: 노름(norm)이 일치하는 가우시안.
  • $g_{RUNIT}$: 랜덤 단위 방향.
  • $g_{SHUF}$: 은닉 차원 치환.
  • $g_{BOS}$: BOS 토큰 활성화.
  • $g_{AVG}$: 프롬프트 토큰 활성화들의 평균.
  • $g_{PREV}$: 동일 위치의 이전 레이어 상태.
• 일치된 계산량(Matched Compute): 비교는 계산 비용 측면에서 엄격히 통제됩니다. "6-체인 결정론적 레짐"은 6-체인 샘플링 레짐과 동일한 횟수의 포워드 패스(prefill + decode)를 수행합니다.

진단 로직

저자들은 **$pass@6=0$계층**(샘플링 시드 중 어느 것도 성공하지 못한 예제들)을 분리합니다. 그런 다음, 결정론적 레짐($R_k$)이 이 특정 예제들을 얼마나 해결하는지 측정합니다. 만약 이 "어려운" 예제들의 상당 부분이 결정론적 그래프에 의해 해결된다면, "본질적 어려움" 가설은 거짓이 됩니다.

3. 주요 기여 및 결과

(1) 그리디는 $k=1$에서 경쟁력이 있다

그리디 디코딩이 샘플링에 비해 약한 베이스라인이라는 견해와 달리, 저자들은 대부분의 셀에서 $k=1$일 때 그리디 디코딩이 평균 단일 샘플 정확도와 대등하거나 더 우수하다는 것을 발견했습니다. 그 격차는 Llama-3.2-3B/MATH에서 최대 +2.8%에 달합니다. 이는 셀프 컨시스턴시(self-consistency)의 기본 단일 패스 베이스라인이 동일한 계산량 대비 결정론적 대안보다 이미 약하다는 것을 시사합니다.

(2) 샘플링 사각지대는 구조적이다

$pass@6=0$ 계층(모델/벤치마크에 따라 5.1%~43.5%의 프롬프트 차지)에서, 일치된 계산량을 가진 결정론적 레짐은 무시할 수 없는 비율의 예제를 복구합니다:

• 복구율(Recovery Rate): 8개의 자유 형식 수학 셀(GSM8K 및 MATH)에서 6-체인 결정론적 레짐($R_6$)은 6개의 샘플링 시드가 집합적으로 놓친 예제의 **10.3%~22.9%**를 해결합니다. 12개 전체 셀에 대해서는 10%에서 29% 사이입니다.
• 스케일링(Scaling): 복구는 결정론적 예산에 따라 스케일링됩니다. $R_1$(그리디 단독)은 0~9%만을 복구하지만, 다양한 그래프를 추가하면 복구가 크게 증가하며, 이는 "어려운" 슬라이스가 여러 뚜렷한 결정론적 궤적을 통해 접근 가능하다는 것을 나타냅니다.
• 메커니즘적 구별 가능성: 복구는 단일한 "특권적" 벡터에 의해 드라이브되지 않습니다. 모든 셀에서 교차 종류 고정 집합 자카드 유사도(cross-kind fix-set Jaccard similarity)는 $\le 0.47$로 낮으며, 이는 서로 다른 그래프트 유형이 서로 배타적인 하위 집합을 복구함을 증명합니다.

(3) 메커니즘: 어텐션 재경로화가 아닌 잔차 스트림 섭동

저자들은 왜 그래프트가 성공하는지 조사합니다. Qwen-2.5-3B 모델의 계측 결과는 다음과 같습니다:

• 은닉 상태 발산(Hidden-State Divergence): 레이어 26에서 그래프를 적용하면 은닉 상태가 베이스라인으로부터 크게 발산합니다 (L2 거리가 남은 레이어를 통해 단조 증가하며, 코사인 유사도는 낮게 유지됨).
• 어텐션 안정성(Attention Stability): 그래프트는 어텐션 가중치에 미치는 직접적인 영향이 미미합니다 ($\sim 10^{-5}$ 차이).
• 결론: 그래프트는 남은 트랜스포머 블록들에 대한 다른 초기 조건으로 작용합니다. 모델의 포워드 패스는 이러한 섭동을 베이스라인 궤적으로 투영하지 않고, 대신 이를 앞으로 전달하여 뚜렷한 다운스트림 궤적을 확정 짓습니다. 이는 "어려운" 슬라이스가 잔차 스트림 상에서 구조적으로 식별 가능하다는 것을 확인시켜 줍니다.

(4) 실용적 유용성

저자들은 연구 결과에 기반하여 두 가지 배포 가능한 전략을 제안합니다:

1. 일치된 비용의 대체(Matched-Cost Substitution): 큐레이션 파이프라인에서 샘플링 패스 하나를 단일 결정론적 그래프트(특히 평균 프롬프트 활성화 그래프트, $AVG$)로 대체하면, 대부분의 구성에서 모든 패스를 샘플링에 사용하는 것보다 더 많은 데이터셋을 커버할 수 있습니다.
2. 라벨 없는 식별(Label-Free Identification): 세 개의 체인(그리디 + 두 개의 샘플링 시드) 간의 체인 불일치를 사용하는 간단한 프로브를 통해, 복구 가능한 항목(즉, $pass@6=0$ 계층에 속하지만 결정론적으로 해결 가능한 항목)을 골드 라벨 없이도 3~5배 높은 정밀도로 순위를 매길 수 있습니다.

4. 의의 및 주장

본 논문은 샘플링 기반의 난이도 추정이 가장 어려운 계층의 구조적으로 식별 가능한 일부 부분을 체계적으로 잘못 라벨링하고 있음을 주장합니다.

• "어려움"의 재정의: 현재 파이프라인에서의 "어려움" 라벨은 종종 본질적으로 어려운 것이 아니라 "확률적 축에서 도달하지 못한 것"을 의미합니다.
• 파이프라인에 미치는 영향:
  • 벤치마크 구축: GSM8K나 MATH와 같은 벤치마크의 "가장 어려운" 버킷은 아이템 자체뿐만 아니라 디코딩 레짐의 산물이기도 합니다.
  • 데이터 큐레이션: 리젝션 샘플링(rejection-sampling) 파이프라인은 풀 수 있는 문제를 풀 수 없는 것으로 간주하여 버릴 수 있으며, 이는 잠재적인 훈련 데이터를 낭비하게 됩니다.
  • RL 및 검증기 훈련: 샘플링된 체인으로부터 구축된 선호도 데이터셋은 이러한 사각지대를 상속받으며, 결정론적 체인이 해결할 수 있는 항목에 대해서도 부정적인 신호만을 제공하게 됩니다.
• 주장의 겸손함: 저자들은 활성화 그래프를 새로운 추론용 디플로이먼트 방법으로 제안하는 것이 아님을 명시합니다. 대신, 이는 현재 표준 샘플링 기반 메트릭으로는 보이지 않는 문제 공간의 슬라이스를 드러내기 위한 진단 도구입니다. 수정되지 않은 모델은 일반적인 추론 하에서는 이 항목들에 도달하지 못하며, 이 슬라이스는 특정 내부 개입을 통해서만 도달 가능합니다.

5. 한계점

• 불완전한 복구: 8개의 결정론적 체인을 사용하더라도 $pass@6=0$ 계층의 66~88%는 여전히 복구되지 않습니다. 이들은 실제로 어렵거나 테스트되지 않은 다양성 축을 통해 도달 가능할 수 있습니다.
• 범위: 본 연구는 4개의 모델과 3개의 벤치마크로 제한됩니다.
• 라벨 없는 정밀도: 체인 불일치를 통해 복구 가능한 항목의 순위를 매길 수는 있지만, 라벨 없는 식별의 정밀도 보장은 완전히 정량화되지 않았으며, 우연한 일치로 인해 다지선다형 벤치마크(MMLU-Pro)에서는 성능이 저하됩니다.
• 노이즈: 가장 작은 계층(예: 약 50개 예제)의 경우, 절대적인 복구 수는 적지만 복구율은 일관되게 유지됩니다.

요약하자면, 본 논문은 수학적 추론 벤치마크의 "가장 어려운" 문제들이 종종 본질적으로 풀 수 없는 것이 아니라, 단순히 확률적 샘플링에 의해 놓친 것임을 보여주며, 이는 잔차 스트림에 대한 결정론적 개입을 통해 드러낼 수 있습니다.