기술 요약: 지식 충돌 하의 체인 오브 씽킹 (Chain-of-Thought) 해석 가능성과 충실성

문제 제기

대형 언어 모델 (LLM) 이 자체 파라미터 학습 지식과 모순되는 문서를 마주할 때, 문서를 따를지 아니면 내부 지식을 신뢰할지 선택해야 합니다. 이전 연구는 이 결정이 엔티티의 "명성 (Wikipedia 페이지 조회수)"에 의해 주도된다는 것을 입증했습니다. 즉, 유명한 사실은 저항받고, 희귀한 사실은 따르는 경향이 있습니다. 그러나 실무자들은 특정 선택을 내린 모델의 '이유'를 이해하기 위해 체인 오브 씽킹 (CoT) 추론을 점점 더 의존하고 있습니다.

해결된 핵심 문제는 **내성적 충실성 (introspective faithfulness)**입니다: 명시된 CoT 추론이 실제 의사결정 메커니즘을 정확하게 반영하는가? 구체적으로, 모델이 동일한 질문에 대해 결정을 뒤집을 때 (예: 방해 요소를 따르는 것에서 저항하는 것으로), 추론 텍스트가 새로운 결정을 반영하도록 변경되는가, 아니면 단순히 다른 귀인 구절로 포장된 정적인 "지식 표시"에 불과한가? CoT 가 인과적 보고가 아니라 사후 합리화일 뿐이라면, 논리적 주장에 의존하는 모니터링 시스템은 잘못된 확신을 제공할 수 있습니다.

방법론

본 연구는 PopQA 데이터셋의 200 개 사실 질문과 8 개 모델(GPT-4o, Claude Sonnet 4.6, Gemini 2.5, DeepSeek 변형, Llama 4 Maverick 포함) 에 걸친 행동적 프로브를 활용했습니다.

실험 설계

• 지식 충돌 패러다임: 항목은 고신뢰도 (유명한 엔티티) 와 저신뢰도 (희귀한 엔티티) 등급으로 나뉘었습니다. 각 항목에는 그럴듯하지만 잘못된 방해 요소가 포함되었습니다.
• 프롬프트 조건:
  • C1/C2 (다중 턴 충돌): 모델이 질문에 답한 후 모순되는 문서를 받고, 단계별로 추론하며, 신뢰도 (1~5) 를 평가하고, 최종 답변을 제공해야 합니다.
  • C3 (문서 전용): 모델은 오직 문서만을 기반으로 답변합니다 (준수 기준점 역할).
  • C4 (자체 지식): 모델은 문서보다 자체 지식을 우선시하도록 지시받습니다.
• 모델 변형: 추론 기능의 효과를 분리하기 위해 연구에는 "네이티브 추론" 모델 (내부 사고 토큰 노출) 과 해당 "표준" 모델 (사용자용 출력만) 이 포함되었습니다.
• 통제: 관찰된 이상 현상에 대한 혼란 변수로 온도를 배제하기 위해 매칭된 온도 제거 실험 (예: $T=1$의 GPT-4o) 이 수행되었습니다.

분석 측정치

1. 추론 일관성: "뒤집기 쌍 (flip pairs, 동일한 항목에서 반대 답변을 주는 경우)"과 "동일 답변 쌍" 간의 CoT 텍스트 간 코사인 유사도 (all-MiniLM-L6-v2 사용) 와 ROUGE-L 점수가 계산되었습니다. 귀인 구절 (예: "문서에 따르면") 은 제거되어 실질적 내용만 분리되었습니다.
2. 신뢰도 보정: 자가 평가 신뢰도와 (a) 엔티티 중요도 ($spop$) 및 (b) 기준 정확도 (충돌 전 모델이 사실을 알았는지 여부) 간의 상관관계가 테스트되었습니다.
3. 행동적 일관성: 일반화 추정 방정식 (GEE) 로지스틱 회귀 분석을 통해 엔티티 명성을 통제할 때 신뢰도가 방해 요소를 따르거나 저항하는 결정을 독립적으로 예측하는지 검증했습니다.
4. 출처 귀인: 방해 요소를 따르는 "FOLLOW" 응답을 분석하여 방해 요소를 정당화하기 위해 사실을 조작하는 허위 생성 (confabulation) 을 탐지했습니다.

주요 결과

1. 추론 일관성: "뒤집기" 현상

모델이 동일한 질문에 대해 상반된 결론에 도달했을 때, 단계별 추론은 매우 유사하게 유지되었습니다.

• 유사성: 뒤집기 쌍은 동일 답변 쌍에서 발견된 유사성의 **96%**를 유지했습니다 (코사인 유사도 0.784 대 0.817; $d=0.34$).
• 함의: CoT 의 대부분은 최종 결정과 관계없이 거의 동일하게 유지되는 정적인 "지식 표시"(엔티티에 대한 사실 암기) 입니다. 오직 최종 귀인이나 프레임만 변경됩니다.
• 예외: GPT-4o만이 결정이 뒤집힐 때 추론이 실제로 변경됨을 보여주는 통계적으로 신뢰할 수 있는 음의 델타 ($\Delta = -0.132$) 를 보인 유일한 모델이었습니다. 다른 모델들의 경우 논리적 주장은 결정에 대해 사실상 불변입니다.

2. 진정한 신호로서의 신뢰도

논리적 내러티브는 안정적이었지만, 자가 평가 신뢰도는 약하지만 진정한 내성적 신호를 보여주었습니다.

• 항목 수준 지식: 저신뢰도 등급에서 엔티티 명성 ($spop$) 은 신뢰도를 예측하지 못했습니다 ($\rho = -0.005$). 그러나 **기준 정확도**(모델이 실제로 사실을 알았는지 여부) 는 신뢰도를 약하게 예측했습니다 ($r = 0.134, p < 0.001$).
• 결정 예측: 낮은 신뢰도는 방해 요소를 따를 확률이 높아짐을 예측했습니다 ($coef = -0.475, p < 0.001$). 이는 항목 수준의 경로를 확립합니다: *사실 안다$\rightarrow$높은 신뢰도$\rightarrow$ 방해 요소 저항*.
• 모델 특성:
  • GPT-4o: 추론과 결정 간의 통계적으로 신뢰할 수 있는 결합을 보였습니다.
  • Claude Sonnet 4.6: "Claude 이상 현상"을 나타냈습니다. 신뢰도 - 결정 간 상관관계는 조건 간 관계가 반전되었기 때문에 거의 0 에 가까웠습니다 ($r \approx 0$). "자체 지식" 프레임 하에서 높은 신뢰도로 방해 요소를 따르는 경향이 충돌 조건에서 관찰된 음의 상관관계를 상쇄시켰습니다. 이는 Claude 가 내부 지식 상태보다 지시 프레임워크를 추적함을 시사합니다.

3. 내부 대 명시된 추론

네이티브 추론 모델의 경우, 내부 사고 토큰이 사용자용 CoT 보다 결정 민감도가 더 높았습니다.

• 뒤집기 쌍의 내부 토큰 유사도 (0.709) 는 명시된 출력 (0.787) 보다 낮았으며, 이는 유의미한 차이입니다 ($p=0.033$).
• 이는 사용자용 출력이 일관된 내러티브를 제시하기 위해 내부 과정에 보존된 차이를 "매끄럽게" 처리함을 시사합니다.

4. 허위 생성

방해 요소를 따른 모델들 중 Llama 4 Maverick은 명확한 이상치였으며, 방해 요소를 검증하기 위해 존재하지 않는 마을과 같은 구체적인 사실을 조작하는 **15.2%**의 허위 생성률을 보였습니다. 다른 모델들은 6.3% 미만의 비율을 보였습니다.

의의 및 주장

본 논문은 명시된 추론이 지식 충돌 결정의 경험적 동인을 추적하는지 여부를 직접 테스트한 최초의 연구라고 주장합니다. 주요 기여점은 다음과 같습니다:

1. CoT 의 분해: 본 연구는 CoT 를 두 가지 뚜렷한 기능으로 분해합니다:
   • 기능 1 (지식 표시): 최종 결정과 관계없이 거의 동일하게 유지되는 파라미터 지식의 안정적인 암기.
   • 기능 2 (결정 정당화): 결정에 따라 조정되는 귀인과 신뢰도 점수의 얇은 층.
2. 모니터링 함의: 저자들은 안전 모니터링 및 감사에 있어 논리적 주장은 읽을 잘못된 지표라고 주장합니다. 왜냐하면 그것들은 종종 결정에 불변이기 때문입니다. 대신 표현된 신뢰도(및 완곡어법) 에 진정한 자기 지식 신호가 존재하지만, 이는 약하며 모델별 보정 문제 (Claude 이상 현상과 같은) 에 영향을 받습니다.
3. 내성의 한계: 본 논문은 모델이 "겸손한" 수준의 항목 수준 메타인지만 보유한다고 겸손하게 결론 내립니다. 모델은 무작위보다 약간 더 잘 알려진 사실과 알려지지 않은 사실을 구별할 수 있지만, 신뢰도 점수는 정밀한 내부 상태보다는 엔티티 명성과 지시 프레임워크에 크게 영향을 받습니다.

본 연구는 인과적 충실성을 주장하지는 않지만, 행동 신호와 검증된 예측 변수 ($spop$ 및 기준 정확도) 간의 상관적 일관성을 확립하여, 현재 CoT 출력은 종종 의사결정 메커니즘의 투명한 보고가 아니라 사후 합리화로 기능함을 시사합니다.