[기술 요약] Chain-of-Thought가 실패할 때, 해답은 은닉 상태(Hidden States)에 숨어 있다

1. 문제 정의 (Problem Statement)

Chain-of-Thought(CoT) 프롬프팅은 모델이 단계별 추론 과정을 생성하게 함으로써 복잡한 수학적/논리적 문제 해결 능력을 향상시킵니다. 그러나 다음과 같은 근본적인 의문이 남아 있습니다:

• 계산적 유용성 vs. 설명적 유용성: CoT 토큰이 실제로 정답을 도출하는 데 필요한 '계산적 정보'를 담고 있는가, 아니면 단순히 결과에 대한 '사후 설명'에 불과한가?
• 추론 실패의 본질: 모델이 잘못된 추론 과정을 생성했을 때, 그 내부 은닉 상태(Hidden States)에도 정답을 맞힐 수 있는 정보가 남아 있는가?

2. 연구 방법론 (Methodology)

본 연구는 **메커니즘적 인과 분석(Mechanistic Causal Analysis)**을 위해 활성화 패칭(Activation Patching) 기법을 사용합니다.

• 실험 설정: GSM8K(수학 추론 데이터셋)를 대상으로 LLaMA 3.1 8B 및 Qwen 2.5 7B 모델을 사용했습니다.
• 인과적 개입 (Causal Intervention):
  1. Source Run (CoT): 모델에게 "단계별로 생각하라"고 지시하여 추론 과정을 생성하고, 각 토큰의 은닉 상태를 저장합니다.
  2. Target Run (Direct Answer): 모델에게 "단계 없이 바로 답하라"고 지시합니다(이 경우 모델은 대개 오답을 냅니다).
  3. Patching: Target Run의 특정 레이어/토큰 위치에 Source Run에서 추출한 은닉 상태를 주입(Patching)한 후, 모델이 정답을 생성하는지 측정합니다.
• 토큰 역할 라벨링 (Token Role Labelling): CoT 내 토큰들을 의미론적 역할(동사, 엔티티, 수량, 연산자, 결과값 등)에 따라 분류하여 어떤 토큰이 핵심 정보를 담고 있는지 분석했습니다.

3. 주요 연구 결과 (Key Results)

① 은닉 상태에 숨겨진 정답 정보 (Recoverability)

• 놀라운 회복력: 패칭 후의 정확도는 원래의 CoT 정확도나 직접 답변 정확도보다 훨씬 높았습니다. 특히 원래 CoT가 틀렸던 경우에도, 은닉 상태를 패칭하면 정답을 맞힐 수 있음을 확인했습니다. 이는 모델의 내부 상태에는 정답을 위한 정보가 존재하지만, 생성된 텍스트(표면적 추론)로 제대로 표출되지 못했을 뿐임을 시사합니다.
• 성공 밀도: 정답을 맞힌 CoT 실행은 은닉 상태 전반에 걸쳐 성공적인 패칭이 빈번하게 나타나는 반면, 오답 실행은 정보가 매우 희소하고 불규칙하게 분포되어 있었습니다.

② 정보의 분포 특성 (Distribution)

• 레이어(Layer): 유용한 정보는 주로 모델의 **중후반부 레이어(Mid-to-late layers)**에 집중되어 있었습니다.
• 토큰 위치(Position): 추론 과정의 **초기 단계(Earlier tokens)**에 정답을 결정짓는 핵심 정보가 더 많이 포함되어 있었으며, 뒤로 갈수록 정보의 가치는 감소했습니다.
• 토큰 역할(Role):
  • 언어 토큰(동사, 엔티티 등): 추론의 방향을 잡는 풍부한 정보를 담고 있어 패칭 성공률이 높았습니다.
  • 수학적 토큰(연산자, 숫자 등): 정답에 근접한 값은 담고 있을 수 있으나, 추론 과정을 가이드하는 능력은 언어 토큰보다 떨어졌습니다.

③ 생성 행동의 변화 (Generation Behaviour)

• 패칭은 모델의 출력 형태를 변화시킵니다. 언어 토큰을 패칭하면 모델이 다시 풍부한 추론(Full CoT)을 시도하게 만드는 반면, 숫자 토큰을 패칭하면 짧은 정답(Final Only)만을 내놓는 경향이 있습니다.
• 효율성: 전체 CoT 과정을 다 생성하지 않고도, 단 몇 개의 토큰(매우 짧은 출력)만으로도 정답을 맞히는 것이 가능함을 확인했습니다.

4. 연구의 의의 (Significance)

1. CoT의 본질 규명: CoT는 단순히 설명을 위한 도구가 아니라, 모델 내부의 계산적 정보를 외부로 인출하는 역할을 수행함을 입증했습니다.
2. 추론 실패의 새로운 시각: 모델의 추론 실패가 "정보의 부재" 때문인지, 아니면 "정보가 텍스트로 변환되는 과정에서의 오류" 때문인지를 구분할 수 있는 통찰을 제공합니다.
3. 효율적 추론 모델 설계: 긴 CoT 과정 없이도 핵심적인 은닉 상태 정보만을 활용하여 빠르고 정확하게 정답을 도출할 수 있는, 더 효율적인 추론 메커니즘 설계의 가능성을 제시합니다.

요약 결론: 이 논문은 모델이 겉으로는 틀린 추론을 내뱉더라도, 그 내부의 은닉 상태에는 정답을 맞힐 수 있는 충분한 정보가 잠재되어 있을 수 있음을 메커니즘적으로 증명하였습니다.