기술 요약: 체인 오브 씽킹 (Chain-of-Thought) 의 작동 원리? 디코딩, 프로젝션, 활성화에서의 정보 흐름 추적

문제 제기

체인 오브 씽킹 (CoT) 프롬프팅은 산술, 상식, 기호 과제를 포함한 다양한 영역에서 대규모 언어 모델 (LLM) 의 추론 능력을 획기적으로 향상시키지만, 그 내부 작동 메커니즘은 여전히 잘 이해되지 않고 있습니다. 이전 가설들은 CoT 가 과제의 복잡성을 줄이거나, 답변 템플릿을 모방하거나, 논리와 무관한 프롬프트 기능에 의존한다고 제안해 왔으나, 이러한 주장들은 내부 모델 상태와 관찰된 성능 향상 사이의 직접적인 실험적 증거가 부족합니다. 본 연구는 모델의 계산 아키텍처 내에서 정보가 어떻게 흐르는지 조사함으로써 CoT 의 '블랙박스' 성격을 규명합니다.

방법론

저자들은 기계적 해석 가능성 (mechanistic interpretability) 접근법을 채택하여, 출력 생성에서 내부 활성화 상태로 거꾸로 추적함으로써 모델의 내부 계산을 역공학적으로 분석했습니다. 본 연구는 다음을 활용했습니다:

• 모델: 3B 에서 70B 파라미터까지 범위를 가진 6 개의 사전 훈련된 모델 (LLaMA3.1, LLaMA3.2, Gemma2).
• 데이터셋: 세 가지 추론 유형을 아우르는 9 개의 데이터셋: 산술 (GSM8K, SVAMP, AQuA), 상식 (Bamboogle, StrategyQA, Date, Sports), 기호 (Coin Flip, Last Letters Concatenation).
• 분석 프레임워크: 조사는 세 단계로 구조화되었습니다:
  1. 디코딩 (Decoding): 생성된 텍스트를 분석하여 키워드 모방과 추상적 추론 구조에 대한 준수를 평가합니다.
  2. 프로젝션 (Projection): 예측 불확실성과 신뢰도를 측정하기 위해 어휘에 대한 확률 분포를 검토합니다.
  3. 활성화 (Activation): CoT 가 내부 처리를 어떻게 조절하는지 이해하기 위해 피드포워드 네트워크 (FFN) 뉴런의 참여 정도를 정량화합니다.

주요 지표로는 정의된 추론 구조에 대한 준수를 나타내는 '모방 횟수 (Imitation Count)', 토큰 확률의 커널 밀도 추정치, 로그잇 (logits) 의 엔트로피, 그리고 계층당 활성화된 뉴런의 수를 포함합니다.

주요 기여 및 결과

1. 구조적 준수를 통한 디코딩 공간의 가지치기 (Pruner) 로서 CoT

본 연구는 CoT 가 특정 추론 구조의 모방을 통해 디코딩 공간을 제한함으로써 기능한다는 가설을 제시합니다.

• 키워드 모방: 모델들은 프롬프트에서 구조적 키워드 (예: "시간", "행동") 를 선택적으로 모방하는 반면, 입력 질문에서 내용 특정적 키워드 (예: "숫자") 를 추출합니다.
• 구조 - 성능 상관관계: 공식화된 추론 구조 ($E_p \xrightarrow{O} E_g + S_l$로 정의됨) 에 대한 모델의 준수도와 과제 정확도 사이에 강한 양의 상관관계 ($r = 0.75$에서 $0.92$) 가 발견되었습니다. 이러한 구조에 대한 높은 준수는 성능 변이의 상당 부분 ($R^2$최대 0.84) 을 설명하며, 개별 단계의 논리적 타당성보다는 추론의 구조가 CoT 의 효과성을 주도한다는 것을 시사합니다.

2. 프로젝션에서의 예측 불확실성 감소

프로젝션 단계에 대한 분석은 CoT 가 모델의 신뢰도를 근본적으로 변화시킨다는 것을 보여줍니다.

• 집중된 분포: CoT 로 생성된 시퀀스는 표준 프롬프트에 비해 더 높고 집중된 확률 분포를 보입니다.
• 낮은 엔트로피: CoT 프롬프트는 특히 결정 지점 (예: "정답은...") 에서 토큰 예측의 엔트로피를 현저히 낮춥니다. 이는 CoT 가 다음에 올 수 있는 토큰의 집합을 좁혀 모호성을 줄이고 모델의 확신을 높임을 나타냅니다.

3. 과제 의존적 뉴런 참여 조절

새로운 발견은 FFN 뉴런 활성화에 대한 CoT 의 효과가 비균일하며 과제 유형에 따라 달라진다는 것입니다:

• 전반적 감소: 일반적으로 CoT 는 표준 프롬프트에 비해 활성화된 뉴런의 총수를 감소시켜, 더 집중된 처리 체계를 시사합니다.
• 계층별 차이: 가장 두드러진 변화는 모델 계층의 마지막 3 분의 1 에서 발생합니다.
• 개방형 vs 폐쇄형 도메인 분기:
  • 개방형 도메인 과제 (예: GSM8K, Bamboogle): CoT 는 후기 계층에서 뉴런 활성화를 감소시킵니다. 저자들은 이것이 방대한 해결 공간에서 관련 특징을 선택적으로 활성화하도록 허용하는 '가지치기 (pruner)' 역할을 한다고 가설화합니다.
  • 폐쇄형 도메인 과제 (예: Coin Flip, AQuA, Sports): CoT 는 후기 계층에서 뉴런 활성화를 증가시킵니다. 이는 제한되고 사전 정의된 옵션과 관련된 특징을 모델이 철저히 평가하는 '증폭기 (amplifier)' 효과로 해석됩니다.

중요성 및 주장

본 논문은 CoT 를 이해하기 위한 새로운 기계적 해석 가능성 프레임워크를 제공한다고 주장합니다. 디코딩에서 활성화까지의 정보 흐름을 추적함으로써, 저자들은 표면적 관찰을 넘어선 중요한 통찰을 제시합니다:

1. 작용 메커니즘: CoT 의 성공은 모델이 구조적으로 일관된 추론 단계를 생성하도록 유도하여 디코딩 공간을 제한하고 예측 불확실성을 줄이는 능력에 기인합니다.
2. 동적 조절: CoT 는 균일하게 작동하지 않으며, 과제의 요구 사항에 따라 뉴런 참여를 동적으로 맞춤화합니다 (개방형 도메인에서는 가지치기, 폐쇄형 도메인에서는 증폭).
3. 실용적 함의: 이러한 발견은 구조적 준수를 활용하고 다양한 과제 유형이 내부 모델 상태와 어떻게 상호작용하는지 이해함으로써, 더 효율적이고 견고한 프롬프트를 설계하는 기초를 제공합니다.

저자들은 겸손한 입장을 견지하며, 그들의 발견이 강력한 경험적 증거와 타당한 기계적 가설을 제공하지만, LLM 의 근본적인 불투명성으로 인해 특정 내부 과정과 외부 행동 사이의 명확한 인과 관계는 향후 연구의 최전선에 남아있음을 인정합니다. 그들은 그들의 작업이 단편적이지만 성장 중인 기계적 해석 가능성 분야에 기여한다고 강조합니다.