기술 요약: 체인 오브 씽킹 (Chain-of-Thought) 이 탐지 (Probe) 시점에 작동하는 이유는 무엇인가?

문제 제기

체인 오브 씽킹 (CoT) 프롬프팅이 추론 작업에서 언어 모델의 정확도 향상에 널리 인정받고 있음에도 불구하고, 이러한 개선을 이끄는 논거 (rationale) 의 구체적인 텍스트적 속성은 여전히 잘 이해되지 않고 있습니다. 이전 연구는 주로 생성 시점 (generation-time) 행동에 초점을 맞추어, CoT 가 모델의 내부 계산에 어떻게 영향을 미치는지 또는 자기 일관성 (self-consistency) 과 같은 변형이 추론의 질에 어떻게 영향을 미치는지 조사해 왔습니다. 그러나 탐지 시점 (probe-time) 행동—즉, 모델이 고정된 주입된 논거를 읽고 이를 사용하여 질문에 답하는 과정—은 상대적으로 덜 주목받았습니다.

본 논문은 다음과 같은 질문에 답합니다: 문맥에 고정된 논거가 주어졌을 때, 해당 텍스트의 어떤 구체적인 속성이 모델의 답변을 변화시키는가? 저자들은 CoT 의 이점이 주로 모델이 전역적이고 문장 수준의 논리적 유도를 재구성하는 데서 비롯된다는 지배적인 가정에 도전합니다. 대신 그들은 이득이 텍스트의 놀라울 정도로 국소적인 속성에 의존할 수 있다고 가설을 세웁니다.

방법론

저자들은 논거 텍스트 구조의 효과를 분리하기 위해 통제된 생성자 - 탐지기 (generator–probe) 프레임워크를 사용합니다:

1. 생성자 (Generator): 강력한 모델이 주어진 질문에 대한 완전한 CoT 논거를 생성합니다.
2. 주입 및 교란 (Injection & Perturbation): 생성된 논거를 탐지 모델의 문맥에 주입합니다. 중요한 점은, 사소한 답변 유출을 방지하기 위해 명시적인 답변 선언 문장이 자동으로 제거된다는 것입니다.
3. N-그램 교란 프로토콜 (N-gram Perturbation Protocol): 핵심 실험 조작은 논거 토큰 시퀀스를 크기 $n$의 연속된 윈도우로 분할하고, 각 윈도우 내 토큰의 내부 순서를 유지한 채 이러한 윈도우들을 무작위로 섞는 것입니다.
   • $n=1$ (단어 섞기): 모든 구성적 구조를 파괴하고 전역적인 단어 가방 (bag of words) 만 남깁니다.
   • $n=2, 3, \dots$: 점점 더 큰 국소적 공발생 (co-occurrence) 구조를 보존합니다.
   • 문장 섞기 (Sentence Shuffle, SS): 문장을 온전한 상태로 유지하면서 전체 문장 순서를 무작위로 재배열합니다.
4. **갭 회복 통계량 ($GR(n)$):** 저자들은 단어 가방 기준선 ($WS$) 과 전체 CoT 사이의 성능 차이를 주어진 윈도우 크기 $n$에서 얼마나 회복하는지를 정량화하는 지표를 정의합니다:
   $$GR(n) = \frac{Acc(n) - Acc(WS)}{Acc(CoT) - Acc(WS)}$$
   임계 윈도우 크기 $n^*$는 $GR(n) > 0.5$가 되는 가장 작은$n$으로 정의됩니다.

이 연구는 MMLU-Pro, LogiQA, MedQA, GSM8K, MATH500 등 여러 데이터셋과 Qwen2.5, Qwen3.5, GPT-4o-mini 등 다양한 모델 구성을 0.8B 에서 35B 에 이르는 서로 다른 파라미터 규모에서 포괄합니다.

주요 기여

1. 탐지 시점 관점: 본 논문은 생성 시점 분석과 구별되는, 고정된 논거에 대한 교란이 하류 답변 예측에 어떻게 영향을 미치는지 연구하기 위한 체계적인 프레임워크를 제시합니다.
2. 두 가지 이득 원천의 식별: 저자들은 탐지 시점의 CoT 성능을 주도하는 두 가지 상보적 메커니즘을 식별합니다:
   • 어휘 활성화 (Lexical Activation): 모든 구조가 파괴되더라도 도메인 관련 토큰의 단순한 존재가 논거가 없는 기준선 대비 상당한 부스트를 제공합니다.
   • 국소 공발생 활성화 (Local Co-occurrence Activation, LCA): 단어 가방과 전체 CoT 사이의 차이인 나머지 이득의 대부분은 매우 짧은 국소 토큰 윈도우 ($n^* \approx 2\text{--}3$) 만을 보존함으로써 회복됩니다.
3. 대안 배제: 표적 통제 실험을 통해 관찰된 이득이 주로 다음에 의해 주도되지 않음을 입증합니다:
   • 명시적인 답변 선언이나 답변 값의 복사.
   • 완전히 문법적이고 일관된 문장의 존재.
   • 일반적인 주제 관련성 (위키백과 검색을 통해 테스트됨).
   • 섞기에 대한 일반적인 모델 견고성 (질문 줄기 섞기를 통해 테스트됨).

주요 결과

• 문장 순서는 부차적입니다: 문장 순서를 섞는 것 (Sentence Shuffle) 은 전체 CoT 에 비해 정확도 저하가 미미합니다 (예: MMLU-Pro 에서 83.1% 대 83.9%). 이는 문장 수준의 논리적 순서가 탐지 시점 이득의 주요 동인이 아님을 시사합니다.
• 어휘 활성화는 강력합니다: 전역적으로 단어가 섞인 논거 (Word Shuffle) 는 입력만 있는 기준선 (예: 66.5% 대 50.9%) 을 크게 능가하여, 도메인 어휘 자체가 관련 지식을 활성화함을 확인시켜 줍니다.
• 짧은 윈도우가 대부분의 이득을 회복합니다: 단어 가방 ($n=1$) 에서 단 23 개의 토큰 윈도우를 보존하는 것으로의 전환은 급격합니다. MMLU-Pro 에서 $n=2$ 윈도우를 보존하면 단어 가방과 전체 CoT 사이의 나머지 갭의 약 57.5% 를 회복합니다. 임계 윈도우 크기 $n^*$는 다른 모델 계열과 데이터셋 전반에 걸쳐 일관되게 작게 (23) 유지됩니다.
• 일반화: 정성적 패턴은 다음 전반에 걸쳐 유효합니다:
  • 모델 계열: Qwen2.5, Qwen3.5, GPT-4o-mini.
  • 파라미터 규모: 0.8B 에서 35B 파라미터까지.
  • 작업 유형: 객관식 (MMLU, LogiQA) 과 개방형 생성 (GSM8K, MATH500) 모두.
• CoT 특이성: 낮은 $n$ 회복 효과는 CoT 스타일 논거 텍스트에 특이적입니다. 주제 일치 위키백과 지문을 주입하거나 질문 줄기를 섞는 것은 성능을 회복하기 위해 훨씬 더 큰 윈도우를 필요로 하므로, 이 효과가 언어 처리의 일반적인 속성이 아님을 나타냅니다.

중요성 및 주장

본 논문은 탐지 시점 CoT 에 대한 국소 공발생 활성화 (LCA) 설명을 지지한다고 주장합니다. 저자들은 관찰된 성능 이득이 모델이 충실한 문장 수준의 논리적 유도를 수행하거나 전역적 추론 체인을 재구성하는 데서 비롯된 것이 아니라, 주로 어휘 활성화(관련 토큰의 존재) 와 단거리 토큰 공발생(국소적 통계적 연관성) 에서 비롯된다고 논증합니다.

이 발견의 중요성은 CoT 가 모델에게 논리적으로 일관된 방식으로 "단계별로 생각하게" 만들기 때문에 작동한다는 직관에 도전한다는 데 있습니다. 대신, 결과는 탐지 시점에 모델이 텍스트가 분할되어 있고 전역적 논리적 일관성이 부족하더라도 논거 텍스트 내의 국소적 통계적 단서를 활용하여 올바른 답변을 활성화할 수 있음을 시사합니다. 이는 CoT 의 유용성을 명시적 추론 실행 메커니즘에서 국소적 문맥 활성화 메커니즘으로 재정의합니다.