기술 요약: 실패한 추론 궤적은 무엇을 고칠 수 있는지 알려준다 (단, 읽어서는 알 수 없다)

문제 정의

사후 학습(post-trained)된 언어 모델이 추론 작업에서 실패할 때, 표준적인 배포 대응 방식은 **테스트 시간 스케일링(test-time scaling)**이다. 즉, 동일한 모델 분포로부터 더 많은 궤적을 생성하기 위해 추가적인 연산량을 투입하는 것이다 (예: Best-of-N, self-consistency, 또는 단순 재시도). 이 접근법은 실패가 주로 "운 나쁜 샘플링" 때문이라고 가정한다. 그러나 저자들은 이것이 비효율적이며 종종 무의미하다고 주장한다. 일부 실패는 **구조적(structural)**이다. 즉, 모델이 잘못되었지만 안정적인 추론 궤적에 갇혀 있어 재샘플링으로는 해결할 수 없는 상태를 의미한다. 반대로, 다른 실패들은 궤적의 방향을 바꾸는 것(예: 로짓 스티어링)을 통해서만 국소적으로 회복 가능하다.

현재의 방법들은 추론 시점에 이러한 실패 모드를 구분할 수 있는 메커니즘이 부족하다. 집계된 정확도 지표는 모든 실패를 동일하게 취급하며, 실패한 궤적 자체에 담긴 진단적 신호를 버린다. 핵심 질문은 다음과 같다: 모델이 이미 실패했다면, 다음 단위의 연산은 무엇을 해야 하는가?

방법론

본 논문은 실패한 궤적을 **진단 객체(diagnostic objects)**로 취급하는 학습이 필요 없는 추론 시간 진단 프레임워크를 제안한다. 이 방법은 실패의 자연어 내용을 분석하는 대신, 궤적의 분포적 특징(distributional signature)(토큰별 확률/로짓 구조)을 분석한다.

1. 연산자 클래스와 메커니즘

프레임워크는 모델의 국소적 토큰 순위를 변경할 수 있는 능력에 따라 테스트 시간 개입을 두 가지 메커니즘 클래스로 분류한다:

• 순위 보존 연산자(Rank-Preserving Operators): 전문가 모델의 분포를 재가중하지만, 토큰의 국소적 순위를 역전시킬 수는 없다. 예로는 재시도(Retry)(재샘플링)와 국소 온도(Local Temperature, $T_{loc}$) 스케일링이 있다. 이들은 정답 토큰이 이미 지지 집합(support) 내에 있었으나 샘플링 노이즈에 의해 억제되었던 경우에만 도움이 될 수 있다.
• 순위 역전 연산자(Rank-Inverting / Natural-Parameter Operators): 계보상의 조상(사전 학습 체크포인트)을 향해 로짓을 혼합하여, 확률이 아닌 로짓을 평균화한다. 이를 통해 조상 모델이 전문가 모델과 의견이 다를 경우, 낮은 순위의 토로가 국소적 최빈값(mode)이 될 수 있게 한다. 예로는 SL-G(감지된 접점에서 희소 로짓 스티어링), SL-R(무작위 위치에서의 희소 스티어링), DL(모든 위치에서의 밀집 스티어링)이 있다.

2. 세 가지 궤적 특징

저자들은 실패한 궤적의 기하학적 구조와 가용 연산자 클래스로부터 세 가지 문제 수준의 특징을 도출한다. 이 특징들은 연산자의 결과를 필요로 하지 않고, 오직 실패한 롤아웃(rollout)만으로부터 계산된다:

1. 변형 확산도 ($\bar{J}_{frac+}$): 양의 접점 신호(전문가와 조상 간의 불일치)를 가진 궤적 토큰의 비율. 이는 실패가 얼마나 넓게 분포되어 있는지를 측정한다.
2. 접점 집중도 ($\bar{C}$): 피크 접점 신호와 평균 신호의 비율 ($J_{max}/J_{mean}$). 이는 날카롭고 국소적인 오류와 확산된 변형을 구분한다.
3. 국소 변위 예산 ($V_{t^\star}$): 최악의 피벗 포인트에서 전문가의 국소 온도 서브모델이 갖는 피셔 정보(분산). 이는 '스티어링 가능성(steerability)' 또는 순위 역전을 위해 사용 가능한 여유 공간을 측정한다.

3. 회복 가능성 영역 (Recoverability Regimes)

이 세 가지 특징을 사용하여 실패한 문제들을 네 가지 안정적인 회복 가능성 영역으로 클러스터링한다:

• 순위 오경로 (Rank Misrouting, geo-local): 날카로운 스파이크, 높은 스티어링 가능성. 특정 접점에서의 희소 로짓 스티어링으로 회복 가능하다.
• 순위 오경로 (Rank Misrouting, junction-diffuse): 날카로운 스파이크, 낮은 스티어링 가능성. 순위 잠금을 깨기 위해 국소 온도 상승이 필요하다.
• 분산된 변형 (Distributed Deformation): 넓고 확산된 신호. 이론적으로는 밀집 스티어링이 필요하지만, 경험적으로는 희소 스티어링도 충분할 때가 많다.
• 미해결 (Unresolved): 지배적인 신호가 없음; 재시도나 다른 개입이 불충분함.

4. 라우팅 정책

프레임워크는 학습이 필요 없는 라우팅 규칙을 구현한다. 주어진 실패 문제에 대해 세 가지 특징을 z-정규화하고, 지배적인 특징에 해당하는 연산자를 선택한다:

• 높은 변형 확산도 $\rightarrow$ 밀집 스티어링 (DL)
• 높은 접점 집중도 $\rightarrow$ 접점에서의 희소 스티어링 (SL-G)
• 높은 국소 변위 예산 $\rightarrow$ 국소 온도 상승 ($T_{loc}$)
• 폴백(Fallback): 지배적인 특징이 없는 경우, 정책은 무작위 위치에서의 희소 스티어링 (SL-R)을 기본값으로 한다.

주요 기여

1. 실패한 궤적의 재정의: 본 논문은 실패한 추론 궤적을 단순히 버려지는 데이터가 아니라, 실패의 "회복 가능 구조"를 인코딩하는 진단 객체로 재정의한다.
2. 이론적 관점: 로짓 혼합과 순위 역전의 기하학적 특성과 연산자 클래스를 연결하는 이론적 유도를 제공하며, 순위 역전을 위한 폐쇄형 조건을 확립한다.
3. 진단 감사 채널: 동일한 세 가지 특징을 통해, 훈련 가중치나 쌍을 이룬 비교 데이터 없이도 실패한 롤아웃만을 사용하여 사후 학습 방법(예: SFT와 RL/GRPO의 구분)을 감사할 수 있다.
4. 학습이 필요 없는 라우팅: 실패 시그니처에 따라 적절한 개입 클래스를 선택하는, 추가 학습이 필요 없는 배포 가능한 라우팅 규칙을 입증한다.
5. 교차 패밀리 전이성: 특징과 라우팅 규칙은 다양한 모델 패밀리(Qwen3, R1-Distill, Phi-4) 및 규모 간에 전이되며, 이는 이들이 모델 특정적 아티팩트가 아닌 연산자 클래스 구조를 인코딩하고 있음을 시사한다.

결과

스티어링 가능 난제(Steerable-Hard) 문제 성능

저자들은 스티어링 가능 난제(SH) 문제를 재시도가 불충분하지만(실패율 > 50%), 적어도 하나의 유계된 개입이 구제할 수 있는(재시도보다 $\ge$ 5%p 높은 성능을 보이는) 문제들로 정의한다. 이 하위 집합은 라우팅의 "최적 지점"이 된다.

• 구제 상승폭 (Rescue Lift): SH 하위 집합에서, 학습이 필요 없는 특징 기반 라우팅 규칙은 재시도 단독 사용 시보다 구제율을 12.2 퍼센트 포인트 개선한다 (16.3%에서 28.5%로).
• 연산 효율성: 라우팅 정책은 $K=50$번의 롤아웃을 사용하는 재시도와 동일한 구제율을 단 $K=10$번의 롤아웃과 단 한 번의 개입만으로 달성하며, 이는 정확도 대비 연산량 곡선에서 상당한 파레토 개선을 나타낸다.
• 글로벌 비용: 정책은 실패한 특정 사례에 대해서만 연산을 재지정하고 모호한 경우에는 안전한 폴백(SL-R)을 사용하므로, 글로벌 비용(전체 실패에 대한 평균 구제율)을 거의 제로 수준으로 유지한다.

감사 및 일반화

• 사후 학습 감사: 실패한 궤적의 영역 분포는 훈련 가중치나 비교 데이터 없이도 SFT와 RL(GRPO) 사후 학습 방법을 84.3%의 정확도(±4.3%)로 성공적으로 구분해내며, "SFT는 암기하고 RL은 일반화한다"는 대조를 추론 시점의 실패 지형으로부터 복구해낸다.
• 교차 패밀리 전이: Qwen3에서 학습된 라우팅 규칙은 R1-Distill 및 Phi-4 모델로 효과적으로 전이되어, R1-Distill은 "지지 집합 붕괴"(Distributed Deformation) 시그니처를, Phi-4는 SFT와 유사한 시그니처를 가지고 있음을 정확히 식별한다.

의의 및 주장

본 논문은 추론 시점의 궤적 통계가 사후 학습 저하를 이해하고 수정하기 위한 미사용 축이라고 주장한다. 그 의의는 세 가지 영역에 있다:

1. 진단적 정밀도: 이 모델은 이진적인 통과/실패 메트릭을 넘어, 왜 모델이 실패했는지를 식별하고 실패를 연산자별 영역으로 분류한다.
2. 배포 실행 가능성: 연산을 동적으로 라우팅할 수 있는 실용적인 학습 불필요 메커니즘을 제공한다. 무작정 더 많은 토큰을 재시도에 쓰는 대신, 시스템은 실패 유형을 진단하고 성공 가능성이 가장 높은 특정 개입(스티어링 vs 온도)을 적용한다.
3. 이론적 근거: 이 접근법은 단순한 경험적 적합이 아니라, 로짓 혼합과 순위 역전의 기하학적 특성으로부터 유도된 것이며, 다양한 테스트 시간 개입의 한계를 이해하는 원칙적인 방법을 제공한다.

저자들은 이 프레임워크가 국소적 기하학 구조(추론, 코드, 수학)를 가진 작업에 적용되며, 로짓 분산이 모든 곳에서 높은 개방형 생성 작업에는 적용되지 않을 수 있다는 점을 언급하며 범위를 겸손하게 제한한다. 또한, 라우팅 규칙이 모집단 수준에서는 잘 작동하지만, 특정 개별 문제 인스턴스에 대해 승리하는 연산자를 정확히 예측하는 것은 여전히 도전적인 과제임을 인정한다.