기술적 요약: 추론 체인에서의 숨겨진 오류 인식

1. 문제 제기

추론 체인 (Chain-of-Thought, CoT) 프롬프팅은 대형 언어 모델 (LLM) 이 생성한 텍스트가 내부 계산을 충실히 반영한다는 암묵적 가정에 기반합니다. 모델이 "3 × 5 = 15"라고 작성한다면, 이는 내부적으로 이 사실을 계산했고 이후 추론을 그 사실에 기반하여 구축할 것이라고 가정됩니다. 그러나 이전 행동 연구들은 CoT 설명이 최종 답변을 변경하지 않은 채 관련 없는 단서에 의해 유도되거나 잘릴 수 있음을 보여주어, 이러한 충실성의 부재를 시사합니다.

본 논문은 중요한 간극을 다룹니다: 행동 테스트는 존재하지만, 추론 과정에서 모델이 말하는 것(텍스트 표면) 과 내부적으로 표현하는 것(숨겨진 상태) 을 직접 비교한 연구는 없었습니다. 구체적으로, 저자들은 생성된 텍스트에는 드러나지 않지만 모델이 자신의 추론 오류에 대한 내부 인식을 가지고 있는지, 그리고 이러한 내부 신호가 인과적으로 활용되어 해당 오류를 수정할 수 있는지 조사합니다.

2. 방법론

저자들은 표현적 접근법을 사용하여, CoT 생성 중 추출된 숨겨진 상태에 선형 프로브 (linear probes) 를 훈련시켜 추론 오류를 탐지합니다.

• 프로브 훈련: $L$개의 레이어를 가진 모델 $M$에 대해, 저자들은 완전한 CoT 추적의 마지막 토큰 위치 $T$에서의 숨겨진 상태 $h^{(l)}_T$를 추출합니다. 그런 다음, 추적 (trace) 이 잘못된 답변 ($y=1$) 으로 이어지는지 예측하도록 로지스틱 회귀 프로브를 훈련시킵니다. 훈련 목적 함수는 평가 세트와 분리된 100 개의 MATH-500 문제를 사용하여 정규화된 로그 가능도 함수입니다.
• 평가 지표: 오류 탐지를 위한 주된 지표는 수신자 조작 특성 곡선 아래 면적 (AUROC) 입니다.
• 비교 기준: 프로브의 성능은 다음 항목들과 비교됩니다:
  • 언어화된 신뢰도 (모델의 자기 보고식 확신).
  • 자기 일관성 (여러 생성에 대한 다수결 투표).
  • CCS (대조적 일관성 탐색), 진실을 탐지하기 위한 비지도 방법.
  • 생성된 텍스트로 훈련된 텍스트 표면 분류기 (TF-IDF + 로지스틱 회귀).
• 개입 실험: 인과성을 테스트하기 위해 높은 오류 탐지 점수를 보이는 모델에 네 가지 서로 다른 개입 전략이 적용됩니다:
  1. 활성화 조종 (Activation Steering): 생성 중 숨겨진 상태에서 학습된 오류 방향을 빼는 것.
  2. 프로브 안내형 Best-of-N: 여러 추적을 생성하고 예측된 오류 점수가 가장 낮은 것을 선택하는 것.
  3. 자기 수정: 프로브가 오류를 표시하면 모델이 수정하도록 프롬프팅하는 것.
  4. 활성화 패칭 (Activation Patching): 잘못된 추적의 숨겨진 상태를 올바른 추적의 숨겨진 상태로 대체 (또는 혼합) 하여 출력이 올바르게 되는지 확인하는 것.

이 연구는 Qwen, Llama, Phi 세 가지 모델 계열을 대상으로 하며, 15 억에서 720 억 파라미터까지의 규모를 포함하고, RL 로 훈련된 추론 모델 (DeepSeek-R1) 도 포함합니다.

3. 주요 결과

A. 신호는 존재하며 초기에 발생함

선형 프로브는 추적의 정확성을 예측하는 데 높은 AUROC 점수를 달성하여, 언어화된 신뢰도 및 기타 기준보다 훨씬 우수한 성능을 보입니다.

• 성능: Qwen2.5-3B 에서 프로브는 0.953 AUROC를 달성한 반면, 언어화된 신뢰도는 0.674, 자기 일관성 (5 배 생성 비용) 은 0.823 입니다.
• 초기 탐지: 신호는 텍스트에 어떤 오류도 나타나기 전인 첫 번째 추론 단계부터 탐지 가능합니다 (0.79 AUROC).
• 규모 견고성: 신호는 규모 (15 억~720 억) 와 모델 계열 전반에 걸쳐 유지됩니다. 특히 720 억 모델은 0.977 AUROC 를 달성하며, RL 증류된 DeepSeek-R1-7B 는 0.852 AUROC 를 달성합니다.

B. 신호는 숨겨져 있음 (은폐)

내부 탐지와 외부 표현 사이에는 상당한 간극이 존재합니다.

• 은폐 간극: 텍스트 표면 분류기는 첫 단계에서 0.59 AUROC만 달성하는 반면, 숨겨진 상태 프로브는 0.79 AUROC를 달성합니다. 이 0.20 포인트 간극은 모델이 내부 오류 인식을 은폐하고 있음을 확인시켜 줍니다.
• 신뢰도 불일치: 잘못된 추적은 높은 언어화된 신뢰도 (4.55/5) 를 표현하며, 이는 올바른 추적 (4.87/5) 과 거의 동일합니다.
• 불충실 영역: 잘못된 추적의 65% 는 "높은 신뢰도와 높은 내부 오류 점수" 영역에 속하며, 이는 모델이 자신의 결함 있는 추론에 대해 확신하고 있음을 나타냅니다.

C. 신호는 진단적이지만 인과적이지 않음

모델이 내부적으로 오류를 탐지할 수 있음에도 불구하고, 네 가지 개입 전략은 정확도를 향상시키지 못하며 경우에 따라 성능을 저하시킵니다.

• 활성화 조종: 오류 방향을 빼는 것은 미미한 향상 (+4% 최대) 을 가져오거나 성능을 저하시킵니다 (공격적인 조종 시 3B 모델에서 -6%).
• Best-of-N 선택: 프로브의 오류 점수에 기반하여 추적을 선택하는 것은 무작위 선택보다 나쁘지 않지만, 다수결 투표보다 현저히 낮은 성능을 보입니다.
• 자기 수정: 프로브 플래그에 기반하여 모델이 수정하도록 프롬프팅하는 것은 실제로 정확도를 낮춥니다 (-3%).
• 활성화 패칭: 잘못된 추적의 숨겨진 상태를 올바른 추적의 숨겨진 상태로 대체하면 출력의 일관성이 파괴되어 3B 모델에서 정확도가 **0%**로 떨어집니다. 이는 오류 신호가 계산의 품질에 대한 판독값일 뿐, 추론 과정을 재지시하기 위해 편집될 수 있는 인과적 레버가 아님을 나타냅니다.

4. 주요 기여

1. 숨겨진 오류 인식의 식별: 본 논문은 9 개 모델 (15 억~720 억) 과 세 가지 계열에 걸쳐 숨겨진 상태 탐지와 텍스트 표면 탐지 사이에 0.20 AUROC의 견고한 간극을 확립합니다. 이는 모델이 외부적으로는 은폐하지만 내부적으로는 오류를 탐지함을 증명합니다.
2. 진단 - 인과 구분: 네 가지 개입 실험을 통해 저자들은 추론 중의 오류 표현이 사실적 지식 표현과 근본적으로 다르다는 것을 보여줍니다. 사실적 지식은 국소화되고 편집될 수 있지만 (예: ROME 또는 ITI 를 통해), 추론의 오류 신호는 추론 궤적을 수정하기 위해 인과적으로 조작될 수 없는 진단적 판독값입니다.
3. 시간적 특성화: 이 연구는 오류 인코딩의 두 가지 시간적 체제를 식별합니다: 선구적 (front-loaded) (모델이 3B 모델에서 볼 수 있듯이 초기에 결함 있는 궤적에 몰입함) 과 누적적 (accumulating) (증거가 쌓임에 따라 오류 신호가 구축되는 7B 모델에서 관찰됨).

5. 중요성과 주장

본 논문은 기계적 해석 가능성의 경계를 규정합니다. 저자들은 "온도계 비유"가 적용된다고 주장합니다: 프로브는 계산의 "온도" (품질) 를 읽을 수 있는 온도계 역할을 하지만, "열" (오류) 을 "치료" (수정) 할 수는 없습니다.

• 안전성 함의: 오류 신호가 생성된 텍스트에 보이지 않기 때문에, CoT 추적 감시는 안전성 모니터링에 신뢰할 수 없습니다.
• 현재 도구의 한계: 사실적 지식 편집에 성공적인 도구들 (활성화 패칭 등) 은 추론 품질에는 효과가 없습니다. 왜냐하면 추론은 단일 편집 가능 기능이 아니라 분산된 다층 계산에서 비롯되기 때문입니다.
• 미래 방향: 탐지와 수정 사이의 간극을 해소하려면, 모델이 단순히 내부 오류 신호를 수동적인 판독값으로 보유하는 것이 아니라, 그 신호에 행동하도록 가르치는 새로운 훈련 목표가 필요할 것입니다.

본 논문은 LLM 이 자신의 실패에 대한 예측 신호를 인코딩하고 있지만, 이러한 신호는 추론 과정 자체에 부수적 (epiphenomenal) 이며, 현재 자기 수정 및 추론의 기계적 편집 접근법의 근본적인 한계를 나타낸다고 결론지었습니다.