Mechanistic Evidence for Faithfulness Decay in Chain-of-Thought Reasoning

기술 요약: 사고 사슬(Chain-of-Thought) 추론에서의 충실도 저하에 대한 기계론적 증거

문제 정의
사고 사슬(Chain-of-Thought, CoT) 프롬프팅은 대규모 언어 모델(LLM)로부터 복잡한 추론을 이끌어내기 위한 표준 패러다임이 되었습니다. 그러나 하나의 결정적인 모호함이 남아 있습니다: 이러한 단계별 설명이 모델의 내부 의사결정 과정을 충실히 반영하는가, 아니면 단지 그럴듯해 보이는 사후 합리화(post-hoc rationalization)에 불 불과한가 하는 점입니다. 기존의 평가 방식은 충실도를 최종 답변의 이진적 속성으로 취급하거나, 출력 스케일링 및 베이스라인 신뢰도의 차이로 인해 서로 다른 모델 아키텍처 간에 비교가 불가능한 가공되지 않은 민감도 지표에 의존하는 경우가 많습니다. 또한, 모델이 생성된 추론 토큰을 사용하여 실제로 정답을 계산하는지, 아니면 사전 계산된 사전 확률(priors)에 의존하여 추론 과정 자체를 인과적으로 무관하게 만드는지도 불분명합니다.

방법론
저자들은 단계별 충실도를 정량화하기 위해 설계된 지표인 **정규화된 로짓 차이 붕괴(Normalized Logit Difference Decay, NLDD)**를 중심으로 한 진단 프레임워크를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어집니다:

1. 역사실적 개입(Counterfactual Interventions): 프레임워크는 CoT 사슬 내의 개별 추론 단계(예: 산술 오류, 엔티티 치환, 또는 깊이 오류 도입)를 오염시키고 이후의 단계들을 절단합니다. 이를 통해 특정 토큰이 최종 예측에 미치는 인과적 영향을 격리합니다.
2. NLDD 지표: 이진 정확도와 달리, NLDD는 추론 단계가 오염되었을 때 모델의 신뢰도(로짓 마진)가 얼마나 저하되는지를 측정합니다. 결정적으로, 이 지표는 모델 고유의 출력 변동성(로짓의 표준 편차)에 대해 저하 정도를 정규화함으로써 아키텍처에 구애받지 않는 교차 모델 비교를 가능하게 합니다.
   • 양(+)의 NLDD: 인과적 의존성을 나타냅니다. 즉, 오염이 신뢰도를 감소시킵니다.
   • 음(-)의 NLDD: "반-충실성(anti-faithfulness)"을 나타냅니다. 즉, 오염이 역설적으로 신뢰도를 높이며, 이는 모델이 추론 사슬을 무시하거나 오히려 방해받고 있음을 시사합니다.
3. 구조적 진단: 행동 지표를 보완하기 위해 저자들은 다음을 활용합니다:
   • 표상 유사도 분석(Representational Similarity Analysis, RSA): 깨끗한 사슬과 오염된 사슬 사이의 은닉 상태 패턴 정렬 정도를 측정하여 내부 표상의 안정성을 평가합니다.
   • 궤적 정렬 점수(Trajectory Alignment Score, TAS): 잠재 공간(latent space) 내에서 추론 경로의 기하학적 효율성을 정량화합니다.
   • 선형 프로빙(Linear Probing): 모델이 예측을 위해 사용하는지 여부와 독립적으로, 작업 관련 정보(예: 스택 깊이, 진릿값)가 은닉 상태에 명시적으로 인코딩되어 있는지 테스트합니다.

이 프레임워크는 세 가지 모델 제품군(DeepSeek-Coder-6.7B, Llama-3.1-8B, Gemma-2-9B)과 세 가지의 다양한 모호성을 가진 작업(Dyck-n(구문론적), PrOntoQA(논리적), GSM8K(산술적))에 대해 평가되었습니다.

주요 결과
연구는 뚜렷한 행동 양식과 모델 전반에 걸친 일관된 구조적 현상을 식별했습니다:

• 충실한 영역 vs 반-충실한 영역:
  • 충실한 영역(Faithful Regime): Llama와 DeepSeek 같은 모델은 높은 양의 NLDD를 보이며, 이는 이들의 예측이 추론 사슬에 인과적으로 근거하고 있음을 나타냅니다.
  • 반-충실한 영역(Anti-Faithful Regime): Gemma-2는 높은 정확도(예: PrOntoQA에서 99%)를 보이면서도 현저히 낮은 음의 NLDD(-52.5%)를 나타냈습니다. 이 영역에서 추론 사슬을 오염시키는 것은 오히려 모델의 정답에 대한 신뢰도를 높이는데, 이는 추론 토큰이 동력이 아닌 방해 요소로 작용함을 시사합니다.
• 매핑 갭(The Mapping Gap): 모델이 내부적으로 작업 관련 구조를 인코딩하지만(높은 선형 프로빙 정확도), 이를 최종 출력에는 활용하지 못하는 해리 현상이 관찰되었습니다. 예를 들어, Gemma는 Dyck-n의 스택 깊이에 대해 82%의 프로브 정확도를 달성했으나 작업 정확도는 0%를 기록했습니다. 이는 정보가 존재하지만 인과적으로 활용되지는 않음을 의미합니다.
• 추론 지평선(Reasoning Horizon, $k^*$): 저자들은 인과적 영향력(NLDD)이 정점에 도달하는 단계 위치인 "추론 지평선"을 정의합니다. 이 지점은 모든 작업에서 사슬 길이의 70~85% 지점에서 발생하며, 이 지점을 넘어서면 추가적인 추론 토큰은 무시할 만하거나 부정적인 인과적 영향만을 미칩니다.
  • 결정적으로, $k^*$ 너머에서 NLDD는 급격히 떨어지지만, RSA와 TAS는 안정적으로 유지됩니다. 이는 모델이 최종 예측에 더 이상 영향을 미치지 않는 단계에서도 일관된 내부 표상과 기하학적 궤적을 계속 생성하고 있음을 시사합니다.

의의 및 기여
본 논문은 LLM 추론의 기계론적 이해에 있어 세 가지 주요 기여를 합니다:

1. NLDD를 통한 충실도 지표 제시: 추론이 인과적인지 아니면 장식적인지를 밝혀내는 표준화되고 아키텍처에 무관한 지표를 도입했습니다. 이는 높은 정확도만으로는 추론을 검증하기에 불충분하다는 것을 입증하며, 모델이 CoT 설명과 완전히 단절된 채로 완벽한 점수를 얻을 수 있음을 보여줍니다.
2. 추론 지평선($k^*$)의 발견: 인과적 영향력이 쇠퇴하는 일관된 전환점(사슬 길이의 70~85%)을 발견함으로써, CoT 사슬이 종종 "이론적 가지치기 구역(theoretical pruning zone)"을 포함하고 있음을 시사합니다. 이 지평선 너머의 추론 토큰은 사후적인 형식 맞춤이거나, 반-충실한 모델에서는 능동적인 간섭일 수 있습니다.
3. 매핑 갭의 증거: 본 연구는 모델이 작업 로직에 대한 올바른 내부 표상을 유지하면서도 이를 디코딩에 인과적으로 활용하지 못할 수 있음을 보여줌으로써 해석 가능성 연구의 가설에 도전합니다. 이는 CoT의 표면적인 일관성이 인과적 충실도를 보장하지 않음을 의미합니다.

저자들은 자신들의 다중 지표 접근 방식이 언제 CoT가 중요한지를 측정하는 엄격한 방법을 제공하며, 진정한 추론의 붕괴와 표면적인 출력 변화를 구분하고, 특정 아키텍처의 경우 확장된 추론이 오히려 역효과를 낼 수 있음을 강조한다고 결론지었습니다.