기술 요약: 추론 흔적이 수행적이 될 때

문제 제기

연쇄 사고 (Chain-of-thought, CoT) 추론은 언어 모델 (LM) 의 능력을 향상시키기 위한 용도뿐만 아니라, 모델 행동을 감사하고 안전성을 검증하며 감독을 제공하는 메커니즘으로도 increasingly 활용되고 있다. 이러한 이중적 유용성은 중요한 가정에 의존한다. 즉, 가시적인 추론 흔적이 최종 답변을 결정하는 내부 계산을 충실히 추적한다는 가정이다. 만약 이 가정이 무너지면, CoT 는 성능을 향상시키는 동시에 감독을 위한 오해의 소지가 있는 기반을 제공할 수 있다. 기존 문헌은 사후 합리화 (post-hoc rationalization) 나 생략된 힌트 등을 통해 불충실한 CoT 가 존재함을 입증했으나, 분야는 언제 내부 답변 형성이 가시적 흔적과 달라지는지에 대한 시간적 질문을 위한 측정 프레임워크가 부족하다. 구체적으로, 현재 추론 모델이 내부적으로 답변을 확정하고 이에 상응하는 명시적 텍스트를 생성하기 전에 얼마나 자주 답변을 확정하는지, 그리고 이러한 불일치가 어떤 형태를 띠는지는 여전히 불분명하다.

방법론

저자들은 단계별 충실도를 측정하기 위해 DETECT-CLASSIFY-COMPARE 프레임워크를 도입했다. 이 프레임워크는 CoT 흔적의 모든 단계에서 내부 답변 확정 (internal answer commitment) 의 대리 변수를 추출하고, 이를 흔적의 명시적 상태와 비교하여 작동한다.

1. 단계별 신념 추출:

   • CoT 흔적은 규칙 기반 파서를 사용하여 추론 단계로 분할된다.
   • 각 단계에서 저자들은 Logit Lens를 사용하여 은닉 상태를 언임베딩 행렬을 통해 투영하여 정답 토큰의 확률 ($p_{ans}$) 을 추정한다.
   • 검증: 이 대리 변수는 Patchscopes(중간 깊이 단계에서 75.6% 의 일치도) 와 Tuned Lens 프로브 (이진 분류 동의도 $\ge$ 99.2%) 를 사용하여 교차 검증된다.
   • 인과적 검증: 탐지된 신호가 단순한 인공물이 아님을 보장하기 위해, 저자들은 은닉 상태에서 답변 토큰 방향을 투영하여 제거하는 방향 제거 (direction ablation) 를 수행한다. 제거 시 답변 정확도에 유의미한 변화가 발생하면 탐지된 확정 신호의 인과적 관련성이 확인된다.

2. 불일치 정량화:

   • 신념-CoT 일치도 (BCA): 임계값이 적용된 답변 확정 대리 변수 ($p_{ans} > \tau$, 여기서 $\tau=0.3$) 가 흔적이 명시적으로 최종 답변에 도달했는지를 나타내는 이진 레이블과 일치하는 단계의 비율을 측정한다. BCA 가 1.0 이면 완벽한 시간적 정렬을 의미한다.
   • 수렴 타이밍 격차 (CTG): 잠재적 신념이 답변에 도달하기 전에 명시적 흔적보다 몇 단계 앞서 답변을 확정하는지를 정량화한다.

3. 불일치 분류 체계:
   탐지된 불일치는 시간적 패턴에 기반하여 다섯 가지 휴리스틱 범주로 분류된다.

   • 조기 수렴 (Premature Convergence, PC): 잠재적 확정이 흔적이 답변을 진술하기보다 $\ge$2 단계 앞서 잠금 (lock) 된다.
   • 모순 상태 (Contradictory States, CT): 대리 변수와 흔적 간의 고신뢰도 불일치.
   • 숨겨진 추론 (Hidden Reasoning, HR): 명시적 상태 변화와 대조되지 않는 대리 변수의 큰 인접 단계 이동.
   • 허구적 단계 (Confabulated Steps, CS): 확정 후 안정화되었음에도 흔적이 계속되는 것을 나타내는, 대리 변수 변화가 미미한 불일치 단계.
   • 침묵적 오류 수정 (Silent Error Correction, SEC): 명시적 수정 없이 불일치 구간이 이어진 후 다시 정렬되는 경우.

4. 아키텍처 제어 비교:
   훈련 파이프라인의 효과를 백본 아키텍처와 분리하기 위해, 저자들은 Qwen2.5 모델 (base) 과 7B, 14B, 32B 파라미터의 DeepSeek-R1-Distill 대응 모델을 비교한다.

주요 결과

1. 낮은 시간적 정렬

9 개 모델과 7 개 추론 벤치마크를 통해 평균 BCA 는 0.619로 나타났다. 이는 잠재적 답변 확정과 명시적 답변 도달이 약 62% 의 단계에서만 동기화됨을 의미한다. 변동성은 모델 패밀리보다 벤치마크에 의해 더 크게 주도된다. 예를 들어, PrOntoQA 에서는 정렬이 높음 (Llama 3.1 8B: 0.914) 하지만 ProsQA 에서는 붕괴됨 (Qwen2.5-32B: 0.044).

2. 수행적 연속의 우세

주요 실패 양상은 노골적인 모순이 아니라 **허구적 단계 (Confabulated Steps, CS)**이며, 이는 모든 불일치 사건의 **58.0%**를 차지한다.

• CS 의 본질: 이러한 단계에서 모델은 이미 내부적으로 답변에 안정화되었음에도 불구하고, deliberative(고민하는) 것처럼 보이는 텍스트 생성을 계속한다.
• 공허함: 분석에 따르면 CS 단계 동안 확정된 답변은 결코 변경되지 않으며, 개별 단계의 90.1% 에서 신념 변화가 거의 없음 ($\Delta p_{ans} < 0.001$) 을 보인다.
• 인과적 무력성: 잘라내기 실험 (truncation experiments) 은 CS 단계에서 흔적을 자르는 것이 무작위 잘라내기보다 정확도를 향상시키거나 유지하는 경우가 많음을 보여주며, 이러한 단계가 최종 답변에 필수적이지 않음을 시사한다. 공여체 오염 (donor-corruption) 테스트는 CS 텍스트를 교체하는 것이 최종 답변에 미미한 영향만 미친다는 것을 추가로 확인한다.

3. 파이프라인 효과와 규모

Qwen2.5 와 DeepSeek-R1-Distill 모델을 비교한 결과, 훈련 파이프라인은 전체 정렬이 크게 변하지 않더라도 실패의 구성을 변화시킴을 보여준다.

• 32B 규모: 파이프라인이 실패 프로파일을 크게 변화시킨다. 허구적 단계는 감소 (57.6% 에서 37.4% 로) 하지만, **모순 상태 (Contradictory States, CT)**는 급격히 증가 (7.1% 에서 28.9% 로) 한다. 이는 더 큰 규모에서 파이프라인이 생성된 텍스트와 덜 동기화된 후기 레이어로 답변 해결을 집중시킬 수 있음을 시사하며, 단순한 공허한 연속이 아닌 고신뢰도 불일치를 초래한다.
• 7B/14B 규모: 효과는 혼재되거나 미미하며, 14B 파이프라인은 전체 불일치를 감소시키는 경향을 보인다.

4. 능력 - 감독 트레이드오프

단계별 정렬 (BCA) 과 CoT 유용성(CoT 사용으로 인한 정확도 향상) 사이에는 중간 정도의 음의 상관관계 ($r = -0.42, p = 0.012$) 가 있다.

• CoT 가 가장 큰 능력 향상을 제공하는 설정 (예: ProsQA 의 그래프 계획) 은 종종 단계별 시간적 정렬이 가장 약한 경우이다.
• 이는 CoT 가 문제 해결에 가장 중요한 시나리오가 정확히 답변이 형성된 시기에 대한 흔적이 가장 덜 유익한 시나리오임을 시사한다.

중요성과 주장

본 논문은 CoT 흔적이 모델 능력 향상을 위해 매우 유용하게 남을 수 있으면서도, 동시에 답변 형성 시기에 대한 불신뢰할 수 있는 보고서로 남을 수 있다고 주장한다.

• 불완전한 감독: 발견된 바는 유창하고 정확도를 향상시키는 CoT 흔적이 추론 과정의 충실한 기록이라는 가정에 도전한다. 지배적인 불일치 패턴 (수행적 연속) 은 텍스트를 검사하는 감시자가 모델이 이미 내부적으로 답변을 "결정"했다는 사실을 놓칠 수 있음을 의미한다.
• 파이프라인 민감성: 훈련 파이프라인 (DeepSeek-R1 증류와 같은) 은 전체 정렬 점수를 반드시 변경하지는 않더라도 불충실성의 본질 (예: 수행적 텍스트에서 모순 상태로 전환) 을 근본적으로 변화시킬 수 있어, 보편적 감독 메커니즘 설계가 복잡해진다.
• 진단적 유용성: 이 연구는 "하중을 지는" 추론과 "확정 후 내러티브"를 구분하는 단계별 측정 렌즈 (BCA) 를 제공하며, 향후 프로세스 감시자가 효과적이기 위해서는 이러한 모드들을 구분해야 함을 시사한다.

저자들은 CoT 가 단계별로 답변이 형성된 시기를 보고한다고 가정해서는 안 된다고 결론 내린다. CoT 는 능력을 향상시키지만, 감독 채널로서의 가치는 특히 그것이 가장 필요한 설정에서 취약하다.