기술 요약: 언어 모델의 잠재 궤적(Latent Trajectories) 내 불변 추론 방향성

문제 정의

Coconut과 같은 잠재 추론(Latent reasoning) 모델은 명시적인 중간 토큰을 생성하지 않고 임베딩 공간에서 은닉 상태를 반복적으로 업데이트함으로써 다단계 추론을 수행한다. 이러한 패러다임은 사고 사슬(Chain-of-Thought, CoT) 프롬프팅의 토큰 오버헤드를 피할 수 있지만, 잠재 추론 궤적의 내부 구조는 여전히 제대로 이해되지 않고 있다.

식별된 핵심 문제는 **궤적 취약성(trajectory fragility)**이다. 경험적 관찰에 따르면, 의미론적으로 동일한 입력(의역된 문장)은 최종 정답이 맞더라도 서로 다른 잠재 궤적을 유도하는 경우가 많다. 반대로, 강한 참조 체크포인트와 약한 참조 체크포인트 사이의 대조 신호(contrastive signals)를 사용하여 궤적을 유도하는 기존의 사후 학습 정교화 방법(예: Wang et al., 2026)은 불안정성을 겪는다. 이러한 방법들은 대조 업데이트를 전체 임베딩 공간에 걸쳐 균일하게 적용하며, 이 과정에서 진정한 추론 신호와 함께 인스턴스 특유의 노이즈, 의역에 민감한 변동, 그리고 체크포인트 특유의 아티팩트(artifact)를 의도치 않게 전파한다. 이는 세 가지 반복되는 실패 모드인 하이퍼파라미터 민감도, 특정 참조 체크포인트 쌍에 대한 의존성, 그리고 입력 재구성(reformulation)에 따른 발산 현상을 초래한다.

저자들은 잠재 추론 궤적이 추론 품질과 관련된 소수의 **안정적이고 불변하는 방향(stable, invariant directions)**과, **불안정하고 인스턴스 특유인 성분(unstable, instance-specific components)**이 혼합된 구조적 분해를 포함하고 있다고 가설을 세운다. 현재의 방법들은 대조 신호를 동질적인 벡터로 취급하여, 이러한 안정적인 성분과 불안정한 성분을 구분하지 못하기 때문에 실패한다.

방법론: 궤적 불변 잠재 정교화 (TILR)

본 논문은 안정적인 추론 방향을 격리하고 조작하기 위해 설계된 훈련 불필요 개입 프레임워크인 **궤적 불변 잠재 정교화(Trajectory-Invariant Latent Refinement, TILR)**를 소개한다. TILR은 참조 모델을 통한 순전파(forward pass)로부터 도출된 대조 차이 벡터($\delta_t = h^{\text{good}}_t - h^{\text{bad}}_t$)를 기반으로 작동한다.

이 프레임워크는 세 가지 주요 단계로 구성된다:

1. 불변 부분 공간 식별 (Invariant Subspace Identification):
   적은 양의 캘리브레이션 세트를 사용하여, 방법론은 입력 및 추론 단계 전반에 걸친 대조 차이를 계산한다. 이 방법은 스택된 차이 행렬에 대해 절단된 특이값 분해(Truncated SVD)를 수행하여 저차원 부분 공간($S_r$)을 식별한다. 이 부분 공간은 강한 추론과 약한 추론 궤적이 일관되게 차이를 보이는 방향을 포착하며, 일반적인 입력 분산이나 어휘적 스타일에 의해 지배되는 방향들을 필터링한다.

2. 부분 공간 제약 투영 (Subspace-Constrained Projection):
   추론 과정 중, 원시 대조 방향 $d_t$는 학습된 불변 부분 공간으로 투영된다 ($\Pi d_t$). 이 단계는 안정적인 추론 매니폴드 외부에 존재하는 업데이트 성분을 필터링하여, 업데이트가 궤적에 영향을 미치기 전에 인스턴스 특유의 노이즈와 참조 쌍의 아티팩트를 효과적으로 제거한다.

3. 적응형 안정성 게이팅 (Adaptive Stability Gating):
   강건성을 더욱 보장하기 위해, TILR은 현재 신호와 불변 부분 공간 간의 정렬(alignment)에 따라 업데이트 강도를 조절하는 적응형 게이트를 사용한다. 정렬 점수 $\gamma_t$는 투영된 노름(norm)과 전체 노름의 비율로 계산되며, 단계 크기 $\eta_t$는 $\gamma_t$에 의해 스케일링된다.

   • $\gamma_t \approx 1$인 경우, 신호가 과거의 추론 패턴과 잘 정렬되어 있으므로 전체 투영된 교정(correction)이 적용된다.
   • $\gamma_t \approx 0$인 경우, 신호가 노이즈나 불안정한 성분에 의해 지배되므로 교정이 억제되며, 시스템은 교정되지 않은 백본(backbone) 동작으로 복귀한다. 이는 "해를 끼치지 않음(no-harm)" 보장을 제공한다.

주요 기여

1. 기하학적 특성화: 본 논문은 대조 정교화 신호가 저차원 부분 공간에 고도로 집중되어 있다는 경험적 증거를 제시한다. 이러한 불변 방향은 원시 입력 임베딩의 주성분(principal components)과는 구별되며, 어휘적 또는 스타일적 변이가 아닌 추론 품질의 변이를 포착한다.
2. TILR 프레임워크: 저자들은 대조 신호를 안정적인 성분과 불안정한 성분으로 분해하고, 안정적인 부분만을 신뢰도에 따라 적용하는 훈련 불필요 개입 방법을 제안한다.
3. 인과적 검증: 부분 공간 개입을 통해, 저자들은 이러한 불변 방향이 단순한 은닉 상태 분산의 상관관계가 아니라, 추론 일관성과 궤적 안정성에 기능적이고 인과적인 역할을 한다는 것을 입증한다.
4. 새로운 지표: 본 논문은 표준 정확도를 넘어 잠재 추론을 평가하기 위한 궤적 수준의 분석을 도입한다. 여기에는 의역에 대한 답변 일치도(paraphrase consistency), 잠재 궤적 분산, 그리고 참조 체크포인트 선택에 대한 민감도가 포함된다.

실험 결과

저자들은 GPT-2 및 Qwen2.5 백본을 사용하여 6개의 추론 벤치마크(GSM8K, MathQA, AQUA-RAT, SVAMP, GSM-Plus, StrategyQA)에서 TILR을 평가했다.

• 저차원 구조: 스펙트럼 분석 결과, 적은 수의 잠재 방향(종종 $r < 10$, 때로는 $r=1$)이 강한 궤적과 약한 궤적 사이의 대조 에너지를 90% 이상 설명함을 확인했다.
• 의역에 대한 강건성: 입력이 의역되었을 때, TILR은 제약 없는 정교화 방법과 비교하여 잠재 궤적 분산을 25–53%(평균 39%) 감소시켰다. 결과적으로, 의미론적으로 동일한 재구성에 대한 답변 일치도가 평균적으로 약 10% 향상되었다.
• 정확도 보존: TILR은 제약 없는 정교화보다 평균 2.1% 높은 추론 정확도를 보였으며, 잠재 추론의 토큰 효율성을 유지했다. 특히 SVAMP(+3.9%) 및 StrategyQA(+5.5%)와 같이 강건성에 초점을 맞춘 데이터셋에서 주목할 만한 이득이 관찰되었다.
• 체크포인트 안정성: TILR은 참조 체크포인트 쌍의 선택에 대한 민감도를 크게 낮추었으며, GSM8K 및 AQuA-RAT에서 최대 **74.2%**의 표준 편차 감소를 달eric했다.
• 성분 분석: 어블레이션(ablation) 연구를 통해 부분 공간 투영과 적응형 게이팅이 각각 독립적으로 성능에 기여하며, 투영이 업데이트를 일관된 방향으로 제한함으로써 대부분의 이득을 제공한다는 것을 보여주었다.

의의 및 주장

본 논문은 잠재 추론의 기하학적 관점을 옹호하며, 전이 가능한 추론 행동이 은닉 상태 궤적 내의 안정적인 저차원 구조로부터 발생한다고 주장한다. 저자들은 잠재 모델의 추론 실패가 유용한 신호의 부족 때문이 아니라, 안정적인 추론 관련 구조와 불안정한 인스턴스 특유의 변이가 혼합되어 있기 때문이라고 주장한다.

TILR은 이러한 성분들을 분리하고 불변 방향으로 개입을 제한함으로써, 모델을 재학습시키지 않고도 잠재 추론의 신뢰성과 일관성을 크게 향상시킬 수 있음을 보여준다. 저자들은 TILR이 궤적의 발산을 실질적으로 줄여주기는 하지만 잠재적 불안정성을 완전히 제거하지는 못하며, 목표가 명시적인 "추론 뉴런"을 찾는 것이 아니라 부분 공간 수준의 개입을 통해 궤적의 기하학적 구조를 연구하는 것임을 겸허히 밝힌다. 이 연구는 향후 잠재 추론의 개선이 이러한 불변하는 기하학적 구조를 더 잘 이해하고 조작하는 데 달려 있을 수 있음을 시사한다.