Is Chain-of-Thought Really Not Explainability? Chain-of-Thought Can Be Faithful without Hint Verbalization

제목: 힌트 언어화 없이도 연쇄 사고 (Chain-of-Thought) 는 충실할 수 있음
저자: 케렘 자만 (Kerem Zaman) 과 샤샨크 슈리바스타바 (Shashank Srivastava, UNC 채플힐)

문제 제기

최근 문헌은 대규모 언어 모델 (LLM) 의 연쇄 사고 (CoT) 추론을 점점 더 "불충실한 (unfaithful)" 것으로 규정하며, CoT 들이 종종 모델의 내부 의사결정 과정을 충실히 반영하기보다는 사후적 합리화에 불과하다고 주장합니다. 이 결론은 주로 편향 특징 (Biasing Features) 지표(힌트 언어화 평가라고도 함) 에 의해 주도됩니다. 이 설정에서 "힌트"(예: "스탠포드 교수가 답이 B 라고 생각합니다") 가 프롬프트에 주입되어 모델을 특정 답변으로 편향시킵니다. 만약 모델이 예측을 힌트와 일치하도록 변경하지만 생성된 CoT 에서 힌트를 명시적으로 언급하지 않는다면, 해당 CoT 는 불충실한 것으로 분류됩니다.

저자들은 이 지표가 충실성에 대해 지나치게 좁은 개념을 채택한다고 주장합니다. 이는 불충실성(설명과 추론 사이의 불일치) 과 불완전성(분산된 트랜스포머 연산을 선형 자연어 서사로 번역하는 데 필요한 필연적인 손실 압축) 을 혼동합니다. 특정 키워드의 부재를 인과적 영향의 부재와 동일시함으로써, 편향 특징 지표는 해석 도구로서의 CoT 가치를 과소평가하고, 훈련 파이프라인이 진정한 추론 정렬보다는 피상적인 언어화 최적화에 동기를 부여할 수 있습니다.

방법론

본 논문은 세 가지 다단계 추론 데이터셋 (OpenbookQA, StrategyQA, ARC-Easy) 과 다양한 지시 튜닝 및 추론 특화 모델 (Llama-3 변형, Gemma, Qwen 포함) 에 걸쳐 CoT 충실성을 재평가하기 위해 다면적 접근법을 사용합니다.

1. 편향 특징 재현: 저자들은 "교수"(텍스트적 의견), "메타데이터"(XML 태그), "검은 사각형"(퓨샷 예시의 시각적 마커) 의 세 가지 힌트 유형을 사용하여 표준 힌트 언어화 평가를 재현합니다. CoT 가 힌트를 의미적으로 언어화했는지 여부를 판단하기 위해 LLM-as-a-judge 를 사용합니다.
2. 대안 충실성 지표: "불충실한" 레이블의 견고성을 테스트하기 위해, 편향 특징 지표에 의해 불충실한 것으로 표시된 CoT 들을 두 가지 보완적 지표를 사용하여 평가합니다.
   • 필러 토큰 (Filler Tokens): CoT 를 생략부호 ("...") 로 대체하여 추론 텍스트가 예측에 인과적으로 중요한지 확인합니다.
   • 추론 망각을 통한 충실성 (Faithfulness through Unlearning Reasoning, FUR): 모델 파라미터에서 개별 추론 단계를 선택적으로 망각시켜 예측이 변하는지 확인함으로써 파라미터 정렬을 테스트합니다.
3. Faithful@k 지표: 불충실성과 불완전성을 구분하기 위해 저자들은 faithful@k 지표를 도입합니다. 이는 $k$개의 생성된 샘플 내에서 적어도 하나의 힌트 언어화 CoT 를 얻을 확률을 측정합니다. 비언어화가 토큰 제한이나 확률적 요인 (불완전성) 으로 인한 것이라면, $k$를 증가시키면 언어화율이 증가해야 합니다.
4. 인과 매개 분석 (Causal Mediation Analysis, CMA): 펄 (Pearl) 의 프레임워크를 사용하여 힌트가 최종 예측에 미치는 효과를 다음과 같이 분해합니다.
   • 자연 직접 효과 (NDE): CoT 를 고정했을 때 힌트가 예측에 미치는 효과.
   • 자연 간접 효과 (NIE): 입력은 고정하되 CoT 를 변경했을 때 생성된 CoT 를 매개로 힌트가 예측에 미치는 효과.
     이를 통해 힌트를 언어화하지 않는 CoT 들이 여전히 힌트의 영향을 인과적으로 전달하는지 여부를 판단합니다.
5. Logit Lens 분석: 저자들은 힌트 관련 개념을 모델의 중간 레이어 (MHA 출력) 를 통해 추적하여, 최종 텍스트에 힌트가 명시적으로 없더라도 힌트 정보가 어떻게 전파되는지 관찰합니다.

주요 결과

• 충실성에 대한 이견: 편향 특징 지표는 CoT 의 대다수 (종종 80% 이상) 를 불충실한 것으로 분류하는 반면, 대안 지표들은 다른 이야기를 보여줍니다.
  • 필러 토큰: "불충실한" CoT 의 상당 부분 (종종 20% 이상, 특정 설정에서는 60% 까지) 이 실제로 문맥상 충실함 (즉, CoT 가 여전히 예측에 인과적으로 영향을 미침) 을 식별합니다.
  • FUR: 힌트를 언급하지 않더라도 평가 가능한 CoT 의 최소 50% 가 적어도 하나의 충실한 추론 단계를 포함함을 보여줍니다.
• 불완전성 대 불충실성: faithful@k 분석은 추론 시간 예산 (더 많은 샘플 생성) 을 늘리면 힌트 언어화율이 크게 증가함을 보여줍니다. "교수" 힌트의 경우, 일부 모델에서 $k=16$일 때 언어화 CoT 를 찾을 확률이 거의 90% 까지 상승합니다. 이는 단일 샘플 탐욕적 디코딩으로 감지된 "불충실성"의 상당 부분이 정렬의 근본적 부재가 아니라 엄격한 토큰 제한이나 샘플링 분산으로 인한 불완전성임을 시사합니다.
• 인과 매개: 인과 매개 분석은 CoT 가 힌트를 언어화하지 않더라도 상당한 자연 간접 효과 (NIE) 를 보임을 입증합니다. CoT 는 힌트의 영향 중 일부를 예측에 대해 인과적으로 매개합니다. 어떤 경우에는 CoT 가 힌트된 옵션을 부스팅하는 것뿐만 아니라 대안 옵션을 억제함으로써 예측에 영향을 미칩니다.
• Logit Lens 발견: 힌트 관련 토큰은 최종 출력 텍스트에 힌트에 대한 명시적 언급이 없더라도 중간 레이어 (특히 20~25 레이어 부근) 의 상위 5 개 로짓 (logits) 과 대비 전환 또는 요약 구절 동안 자주 나타납니다. 이는 모델이 최종 서사를 생성하기 전에 힌트를 내부적으로 처리함을 확인시켜 줍니다.
• 일반화: 이러한 패턴은 더 큰 모델 (Llama-3.3-70B) 과 추론 특화 모델 (Qwen-3-32B) 에도 유효하지만, 힌트 처리의 구체적인 역학 (예: NDE 대 NIE 우세) 은 힌트 유형과 모델 아키텍처에 따라 달라집니다.

중요성과 주장

본 논문은 모든 CoT 가 충실하다고 주장하거나 검증 단계의 유용성을 부정하지 않습니다. 대신, 주로 힌트 언어화 테스트에서 추론된 "CoT 는 설명 가능성이 아니다"라는 서사가 불완전하고 잠재적으로 오해의 소지가 있다고 주장합니다.

저자들의 핵심 기여는 다음과 같습니다:

1. 불충실성 재정의: 힌트 단어의 부재만으로는 불충실성을 증명하지 못한다고 봅니다. 편향 특징 지표는 종종 타당성(모델이 단서를 언급했는가?) 을 측정할 뿐, 충실성(단서가 추론을 주도했는가?) 을 측정하지는 않습니다.
2. 교란 변수로서의 불완전성: 측정된 불충실성의 상당 부분은 설명과 모델 내부 상태 사이의 불일치보다는 압축이나 토큰 제한으로 인한 설명의 불완전성으로 귀속되는 것이 더 적절합니다.
3. 보다 넓은 도구 세트: 본 논문은 단일 지표 평가를 넘어설 것을 옹호합니다. 인과 매개 분석, 손상 기반 지표 (필러 토큰 등), 그리고 망각 기반 지표를 통합하여 더 견고한 해석성 파이프라인을 구축할 것을 권장합니다.
4. 비언어화 CoT 의 인과적 역할: CoT 가 힌트를 명시적으로 언어화하지 않더라도, 여전히 힌트의 영향을 인과적으로 매개할 수 있으며, 단순한 사후 합리화가 아닌 의사결정 과정에서 의미 있는 중간 단계로 작용할 수 있습니다.

결론적으로, 저자들은 CoT 를 불충실한 것으로 배제하기 위해 힌트 기반 평가에만 의존하지 않도록 경고합니다. 분산된 계산을 자연어로 번역하는 복잡성을 고려한 더 넓은 지표 세트로 평가할 경우, CoT 는 여전히 가치 있는 해석 도구임을 시사합니다.