기술 요약: 관찰 가능한 패턴은 설명이 아니다: 잠재적 추론 모델에 대한 인과적-기하학적 분석

문제 정의

잠재적 추론 모델(Latent Reasoning Models, LRMs)은 효율성을 높이기 위해 명시적인 사고 사슬(Chain-of-Thought, CoT) 흔적을 대신하여 연속적이고 숨겨진 상태의 연산을 사용한다. 그러나 이러한 변화는 모니터링과 감독에 필요한 인간 해석 가능한 인공물(artifacts)을 제거한다. 최근의 해석 가능성 연구들은 이러한 잠재 상태를 디코딩하여, 그래프 작업에서의 너비 우선 탐색(BFS) 유사 전선(frontiers)이나 추론 작업에서의 디코딩 가능한 산술 "스크래치패드(scratchpads)"와 같은 관찰 가능한 패턴을 식별하는 데 집중해 왔다.

본 논문이 다루는 핵심 문제는 이러한 관찰된 패턴들이 **부수 현상(epiphenomenal)**일 수 있다는 점이다. 기존 연구들은 디코딩 가능한 구조나 정적인 기하학적 패턴의 존재 자체를 내부 추론 메커니즘의 증거로 취급하는 경향이 있다. 본 논문은 이러한 접근 방식이 '디코딩 가능성'과 '메커니즘'을 혼동할 위험이 있으며, 이는 (신경 영상학의 "죽은 연어(dead salmon)" 효과와 유사하게) 패턴은 설명적으로 보이지만 실제로는 모델의 행동을 인과적으로 유도하지 않는 "가짜 설명"으로 이어질 수 있다고 주장한다. 저자들은 엄격한 인과적 테스트와 대조군이 없다면, 관찰 가능한 패턴만으로는 모델이 실제로 추론하고 있다는 사실을 입증할 수 없다고 상정한다.

방법론

저자들은 관찰 가능한 대리 지표(proxies)에서 벗어나, 잠재적 사고가 모델 행동에 미치는 인과적 영향에 초점을 맞추는 인과 우선(causal-first) 프레임워크를 채택한다. 본 연구는 다음을 포함한다:

1. 실험 설정 및 대조군:

   • 태스크: 그래프 호핑(Graph-hopping, ProsQA) 및 산술 추론(Arithmetic Reasoning, GSM8k).
   • 대상 모델: 커리큘럼 기반 재귀(recurrence)를 사용하는 Coconut(Hao et al., 2025)과 자기 증류(self-distillation)를 사용하는 CODI(Shen et al., 2025)로, 서로 다른 두 가지 LRM 학습 패러다임을 나타낸다.
   • 매칭된 대조군: 특정 메커니즘을 격리하기 위해 저자들은 다음을 도입한다:
     • 재귀 대조군 (PaT): Coconut의 커리큘럼을 따르되 재귀적 피드백을 제거하고 학습된 정적 토큰으로 대체함.
     • 커리큘럼 대조군 (Cu): 재귀는 유지하되 변형된 커리큘럼(무작위 단계 샘플링)을 적용한 Coconut 변형 모델.
     • 관찰 대조군: 잠재 학습 없이 패턴이 나타나는지 테스트하기 위한 Base GPT-2 및 명시적 CoT GPT-2.

2. 인과적 개입 (Causal Interventions):

   • 사고 절제 (Thought Ablation): 테스트 시점에 잠재적 사고 위치를 제거하여 필요성을 평가함.
   • 인과적 트레이싱 (Causal Tracing): 활성화 패칭(activation patching, Meng et al., 2022)을 잠재 위치로 확장함. 저자들은 타겟 프롬프트의 깨끗한 활성화를 오염된 파트너 프로프트에 주입하여 모델이 올바른 행동을 회복하는지 확인함으로써 간접 효과(Indirect Effect, IE)를 측정한다.
   • 그래디언트-서브스페이스 개입 (Gradient-Subspace Interventions): 사고의 영향을 이진법적으로 취급하는 대신, SVD를 통해 손실(loss)에 민 가장 민감한 저차원 방향(low-rank directions)을 식별한다. 이후 이 특정 서브스페이스를 절제하거나 증폭하여 점진적인 인과적 영향을 측정한다.

3. 기하학적 및 동적 분석:

   • 마르코프성 (Markovianity): 선형 및 MLP 회귀 모델을 사용하여 이전 상태로부터 미래의 잠재 상태를 예측할 수 있는지 테스트한다.
   • 서브스페이스 안정성 (Subspace Stability): 시간 단계에 따른 인과적 그래디언트 서브스페이스의 기하학적 정렬(주각의 코사인 유사도)을 측정한다.

주요 결과

1. 관찰 가능한 패턴은 LRM만의 고유한 특징이 아니다 (RQ1)

• 그래프 호핑 (BFS/중첩): Coconut에서 관찰된 "BFS 유사" 패턴(정답 노드의 확률 상승, 엔트로피 하락)과 "중첩(superposition)"(여러 후보를 보유함) 현상은 재귀가 없는 PaT 대조군에서도 재현되었으며, Explicit-CoT 대조군에서도 어느 정도 나타났다. 반대로, 재귀는 유지되었으나 커리큘럼이 변형된 제어 모델(Cu)에서는 이러한 패턴이 역전되었다.
• 산술 (스크래치패드): CODI의 중간 산술 단계에 대한 로짓 렌즈(logit-lens) 디코딩은 PaT 및 기타 대조군에서도 관찰되었다. 단계별 정렬(step-alignment)은 모든 모델에서 깊이가 깊어짐에 따라 급격히 감소했으며, 이는 정돈된 스크래치패드 가설에 반하는 결과이다.
• 결론: BFS 전선이나 스크래치패드 교대와 같은 관찰 가능한 패턴은 특정 추론 메커니즘(재귀 또는 증류)의 증거로서 충분하지 않다. 왜냐하면 이러한 패턴은 해당 메커니즘이 없는 모델에서도 나타나기 때문이다.

2. 잠재적 사고의 영향은 점진적이며 국소적이다 (RQ2)

• 절제 vs 인과성: 일부 모델(예: 그래프 호핑 작업의 Coconut)은 사고를 제거했을 때 성능을 유지했으나, 인과적 트레이싱 결과 잠재적 사고가 여전히 점진적인 인과적 영향을 미친다는 것이 밝혀졌다.
• 국소화 (Localization): 잠재적 사고의 영향은 표현 전체에 균등하게 분포되어 있지 않다. 대신, 저차원의 손실 민감한 방향(그래디언트 서브스페이스)에 집중된다.
• 태스크 의존성: 산술 추론에서 이러한 그래디언트 서브스페이스를 절제하면 상당한 성능 저하가 발생했으나, 그래프 호핑에서는 그 영향이 더 약했지만 여전히 측정 가능했으며 증폭 시 예측을 유도할 수 있었다.

3. 인과적 방향과 비인과적 방향의 역학 (RQ3)

• 정적 vs 진화: 전체 잠재적 사고 궤적은 (특히 그래프 호핑처럼 인과적 영향이 약한 태스크에서) 항등 함수나 단순 선형 맵에 의해 매우 예측 가능하여 정적인 것처럼 보인다.
• 인과적 서브스페이스의 역학: 그러나 인과적 영향이 집중되는 특정 그래디언트 서브스페이스는 더 구조적이고 비자명한 진화를 보여준다. 산술 추론에서 이 서브스페이스들은 크게 회전하고 진화하는 반면, 그래프 호핑에서는 기하학적으로 안정적인 상태를 유지한다.
• 시사점: "추론"의 역학은 전체 잠재 궤적에서 보이는 것이 아니라, 특정 행동 영향력을 가진 서브스페이스에 집중되어 있다.

의의 및 주장

본 논문은 LRM의 해석 가능성 패러다임을 관찰적(observational) 방식에서 인과적(causal) 방식으로 전환한다고 주장한다.

• 숨겨진 설명이 아닌 숨겨진 연산: 저자들은 잠재적 사고를 "숨겨진 설명"이 아닌 "숨겨진 연산"으로 취급해야 한다고 주장한다. 디코딩 가능한 구조나 기하학적 패턴의 존재는 그것이 행동을 인과적으로 유도한다는 것이 증명되지 않는 한 메커니즘을 구성하지 않는다.
• 방법론적 엄밀성: 본 연구는 잠재 추론 메커니즘에 대한 주장이 (커리큘럼이나 포맷팅 아티팩트를 배제하기 위한) 매칭된 대조군과 (상관관계와 인과관계를 구분하기 위한) 인과적 테스트를 요구함을 보여준다.
• 점진적 영향: "사고를 사용함 vs 우회함"이라는 이진적 관점은 불충분하다. 영향력은 연속적인 양이며, 태스크와 모델에 따라 변하는 특정 저차원 서브스페이스에 국한된다.
• 안전성 시사점: 관찰 가능한 대리 지표에 의존하는 것은 감사자가 잘못된 특징을 모니터링하게 되는 "가짜 해석 가능성"의 위험을 초래한다. 인과 우선 접근 방식은 안전 모니터링이 행동을 구동하는 실제 계산 회로를 목표로 하도록 함으로써, 에이전트 시스템을 감사하기 위한 더 근거 있는 기초를 제공한다.

저자들은 잠재적 추론 모델이 효율성을 제공하지만, 그 해석 가능성은 단순한 잠재 상태의 디코딩을 넘어 인과적 국소화(causal localization)를 우선시하는 더 엄격한 증거 기준을 요구한다고 결론짓는다.