LLMs Faithfully and Iteratively Compute Answers During CoT: A Systematic Analysis With Multi-step Arithmetics

이 논문은 제어된 산술 작업을 통해 대규모 언어 모델이 CoT 추론 과정에서 답변을 미리 결정하지 않고 실시간으로 계산하며, 생성된 추론 과정이 모델의 내부 계산을 충실히 반영함을 체계적으로 분석했습니다.

핵심

이 논문은 **"거대 언어 모델 (LLM) 이 실제로 생각하며 답을 내는지, 아니면 미리 정해둔 답을 설명하는 척하는지"**를 파헤친 흥미로운 연구입니다.

쉽게 말해, AI 가 "생각하는 과정 (Chain of Thought)"을 보여줄 때, 그 과정이 진짜 계산 과정인지, 아니면 "정답을 먼저 알고 나서 거꾸로 설명을 지어낸 것 (후과적 합리화)"인지 확인한 거죠.

연구 결과, 놀랍게도 AI 는 진짜로 생각하며 답을 계산해 나가고 있었습니다.

이 복잡한 내용을 일상적인 비유로 설명해 드릴게요.

---

🕵️‍♂️ 비유: "미리 정해진 답을 외우는 학생 vs 문제를 풀며 답을 찾는 학생"

이 논문의 핵심 질문은 다음과 같습니다.

"수학 문제를 풀 때, 학생이 문제지를 읽는 순간 정답을 이미 알고 있다가, 나중에 '풀이 과정'을 지어내서 보여주는 걸까? 아니면 풀이 과정을 쓰면서 차근차근 답을 찾아내는 걸까?"

1. 실험 방법: "AI 의 뇌를 X-ray 로 찍다"

연구자들은 AI 가 문제를 풀고 있을 때, 그 내부의 '숨겨진 생각 (데이터)'을 실시간으로 들여다보는 **선형 프로브 (Linear Probes)**라는 기술을 썼습니다.

• 비유: AI 가 문제를 풀고 있는 도중, 매 순간 "지금 이 순간, 답이 머릿속에 들어왔니?"라고 AI 의 뇌를 찔러보면서 확인한 것입니다.

2. 발견된 사실 1: "답은 나중에 나온다!"

대부분의 사람들은 AI 가 문제를 읽는 순간 (CoT 시작 전) 에 이미 답을 알고 있을 것이라고 생각했습니다. 하지만 연구 결과는 달랐습니다.

• 결과: AI 는 문제를 처음 읽을 때는 답을 몰랐습니다. 답은 **풀이 과정을 쓰면서 (CoT 중)**에야 비로소 계산되어 나타났습니다.
• 비유: 마치 "1+1 은?"이라고 물었을 때, AI 가 바로 "2"라고 외치는 게 아니라, "1 을 더하고 1 을 더하면... 아! 2 가 되네!"라고 계산하는 순간에야 답이 생긴 것입니다.

3. 발견된 사실 2: "최근의 기억이 가장 중요하다"

AI 는 풀이 과정의 마지막 부분에 가장 큰 영향을 받았습니다.

• 결과: 문제의 앞부분 (초반 입력) 보다는, 방금 전에 쓴 풀이 단계가 최종 답을 결정하는 데 훨씬 더 중요했습니다.
• 비유: 시험을 볼 때, 문제지 맨 앞의 조건보다는 막상 풀이를 하다가 쓴 마지막 계산식이 정답을 결정짓는다는 뜻입니다. AI 는 "최근에 쓴 것"을 기억하며 다음 단계를 이어갑니다.

4. 실험 2: "뇌의 일부를 바꿔치기 해보기 (인과 개입)"

연구자들은 AI 의 풀이 과정 중간에 있는 '숨겨진 생각'을 다른 문제의 것으로 바꿔치기 (패치) 해보았습니다.

• 결과: 만약 AI 가 미리 답을 알고 있었다면, 중간 과정을 바꿔도 최종 답은 변하지 않았을 것입니다. 하지만 중간 풀이 과정을 바꿔치기 하니까, AI 가 내린 최종 답도 함께 바뀌었습니다.
• 비유: 요리사가 레시피 (풀이 과정) 를 바꿔치기 했더니, 완성된 요리 (정답) 의 맛도 달라진 것입니다. 이는 요리사가 레시피를 보고 요리를 했다는 증거죠.

---

💡 결론: "AI 는 거짓말을 하지 않는다 (적어도 이 경우에는)"

이 연구는 AI 가 "정답을 먼저 정해놓고, 그걸 설명하는 척하는 (후과적 합리화)" 행동을 하지 않는다는 것을 증명했습니다.

• 기존의 우려: "AI 가 답을 먼저 알고, 그걸 그럴듯하게 포장해서 보여주는 게 아닐까?"
• 이 연구의 결론: "아닙니다. AI 는 생각하는 과정 (CoT) 을 쓰면서 진짜로 답을 계산하고 있습니다. 우리가 보는 '생각의 과정'은 AI 내부의 실제 계산과 정직하게 일치합니다."

🌟 한 줄 요약

"AI 는 문제를 풀기 전에 정답을 외우는 게 아니라, 풀이 과정을 쓰면서 진짜로 계산해서 답을 찾아냅니다. 그러니 우리가 보는 '생각의 과정'은 믿을 만합니다!"

이 연구는 우리가 AI 의 설명을 더 신뢰할 수 있게 해주는 중요한 발견입니다. AI 가 "생각하는 척"하는 게 아니라, "생각하고 있다"는 증거를 찾은 셈이죠.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 복잡한 추론 작업을 수행할 때 생각의 사슬 (Chain-of-Thought, CoT) 방식을 사용하여 중간 추론 단계와 최종 답을 생성합니다. 그러나 최근 연구들은 CoT 설명이 모델의 실제 추론 과정을 faithfully(신뢰성 있게) 반영하는지, 아니면 모델이 이미 답을 미리 알고 (predetermined) 이를 설명하기 위해 CoT 를 생성하는지 (post-hoc rationalization) 에 대한 의문을 제기했습니다.

• 핵심 질문:
  1. 모델은 CoT 생성을 시작하기 전에 답을 이미 결정하고 있는가?
  2. CoT 과정과 최종 답 사이의 인과 관계는 어떻게 작용하는가? (CoT 가 답을 유도하는가, 아니면 답이 CoT 를 유도하는가?)

이 연구는 이러한 의문을 해결하기 위해 모델의 내부 정보 흐름을 체계적으로 분석합니다.

2. 연구 방법론 (Methodology)

저자들은 자연어 데이터의 복잡성을 통제하기 위해 제어된 합성 산술 데이터셋을 구축하고, **선형 프로빙 (Linear Probing)**과 인과적 개입 (Causal Intervention) 기법을 결합하여 분석했습니다.

2.1 실험 환경 (Synthetic Arithmetic Tasks)

• 데이터셋: 다단계 (multi-hop) 산술 문제 (예: A=1+B, B=2+3, A=?) 를 생성했습니다.
• 난이도 조절: 문제의 복잡도를 5 단계 (Level 1~5) 로 나누어 통제했습니다.
  • #Step: 답을 도출하는 데 필요한 연산 단계 수.
  • #Stack: 첫 등장 시 즉시 해결되지 않고 스택에 쌓아야 하는 변수 수.
  • #Dist: 최종 답과 무관한 방해 요소 (distractor) 문장 수.
• 모델: Qwen2.5, Yi1.5, Llama3, Mistral-Nemo 등 다양한 크기와 아키텍처의 9 개 LLM 을 평가했습니다.

2.2 분석 기법

1. 선형 프로빙 (Linear Probing):

   • 모델의 은닉 상태 (hidden states) 에서 특정 변수의 값 (예: B=5) 이 선형적으로 분리 가능한지 확인하는 분류기를 훈련했습니다.
   • 측정 지표: t* (정답이 내부적으로 처음 식별 가능한 토큰 위치). t*가 CoT 시작 전 (음수) 인지 후 (양수) 인지 확인하여 답이 언제 계산되었는지 파악했습니다.
   • 비교: CoT 시작 전 (Acc<CoT) 과 CoT 생성 중 (Acc>CoT) 의 프로빙 정확도를 비교했습니다.

2. 인과적 개입 (Causal Intervention / Activation Patching):

   • 방법: 다른 문제 (다른 정답을 가진 입력) 를 풀 때의 은닉 상태를, 현재 문제의 특정 단계 (CoT 부분 또는 입력 부분) 의 은닉 상태로 교체 (patching) 했습니다.
   • 목적: CoT 부분의 내부 표현이 최종 답에 인과적인 영향을 미치는지 확인했습니다. 만약 CoT 부분을 변경했을 때 최종 답이 바뀌었다면, CoT 가 답을 생성하는 데 필수적임을 의미합니다.

3. 주요 결과 (Key Results)

3.1 답의 생성 시점: CoT 중 계산 (Iterative Computation)

• 선형 프로빙 결과: 대부분의 모델에서 정답이나 하위 답 (sub-answer) 이 **CoT 생성이 시작된 후 (OUTPUT 부분)**에야 은닉 상태에 선형적으로 분리 가능한 형태로 나타났습니다.
• 통계적 유의성: CoT 시작 전 (Acc<CoT) 에는 정답을 예측하는 정확도가 매우 낮았으나, CoT 생성 중 (Acc>CoT) 에는 급격히 100% 에 수렴했습니다.
• 결론: 모델은 입력을 읽는 순간 답을 미리 결정하지 않고, CoT 를 생성하는 과정 (on-the-fly) 에서 단계별로 답을 계산합니다.

3.2 CoT 의 신뢰성 (Faithfulness)

• 인과적 개입 결과: CoT 생성 부분의 은닉 상태를 다른 값으로 변경하면, 최종 답이 변경되었습니다. 반면, 문제 입력 (INPUT) 부분의 은닉 상태를 변경하는 것은 최종 답에 미치는 영향이 제한적이었습니다.
• 최근성 편향 (Recency Bias): 모델의 추론은 직전 단계에 강하게 의존합니다. 즉, CoT 의 마지막 단계가 최종 답에 가장 큰 인과적 영향을 미칩니다.
• 결론: 생성된 CoT 는 모델의 내부 계산 과정을 신뢰성 있게 (faithfully) 반영합니다. CoT 는 단순한 변명이 아니라 실제 계산 과정의 기록입니다.

3.3 모델 및 태스크별 일반성

• 모델 크기: 3B 에서 32B 에 이르는 다양한 크기의 모델에서 동일한 패턴이 관찰되었습니다.
• 난이도: 단계가 복잡한 Level 5 문제에서도 모델은 CoT 생성 중 단계별로 값을 계산했습니다.
• 방해 요소 (Distractors): 최종 답에 불필요한 변수 (distractor) 는 모델 내부에서 선형적으로 분리되지 않았으며, 모델은 불필요한 계산은 수행하지 않는 효율적인 내부 메커니즘을 가진 것으로 나타났습니다.

4. 주요 기여 (Key Contributions)

1. CoT 의 신뢰성 입증: 기존 연구들이 CoT 를 '사후 합리화 (post-hoc)'로 의심했던 것과 달리, 통제된 산술 태스크를 통해 LLM 이 CoT 생성 과정에서 실제로 답을 계산함을 기계적 해석 (mechanistic interpretability) 기법으로 증명했습니다.
2. 체계적인 분석 프레임워크: 선형 프로빙 (언제 계산되는가) 과 인과적 개입 (어떤 부분이 답에 영향을 미치는가) 을 결합하여 모델의 내부 추론 과정을 다각도로 분석하는 방법론을 제시했습니다.
3. 다단계 추론의 메커니즘 규명: LLM 이 다단계 추론을 수행할 때, 입력을 먼저 읽고 답을 결정하는 것이 아니라, 생성된 CoT 텍스트를 참조하여 단계적으로 값을 업데이트하는 '반복적 계산 (iterative computation)' 방식을 사용함을 밝혔습니다.

5. 의의 및 시사점 (Significance)

• 신뢰성 있는 AI: CoT 가 모델의 실제 사고 과정을 반영한다는 점은, 사용자가 모델의 추론 과정을 신뢰하고 디버깅할 수 있음을 의미합니다.
• 해석 가능성 (Interpretability): 모델이 '무엇을' 계산하고 '언제' 계산하는지 토큰 수준에서 추적할 수 있는 방법론을 제공하여, LLM 의 블랙박스 성격을 해소하는 데 기여합니다.
• 향후 연구 방향: 자연어 추론 태스크로 확장하여 이러한 '온더플라이 (on-the-fly)' 계산 메커니즘이 보편적인지 검증할 필요가 있음을 제언합니다.

요약

이 논문은 LLM 이 CoT 를 통해 답을 생성할 때, 미리 정해진 답을 설명하는 것이 아니라, CoT 를 생성하는 과정 자체에서 답을 계산한다는 것을 선형 프로빙과 인과적 개입 실험을 통해 입증했습니다. 이는 CoT 가 모델의 내부 계산 과정을 신뢰성 있게 (faithfully) 반영한다는 강력한 증거이며, LLM 의 추론 메커니즘을 이해하는 데 중요한 통찰을 제공합니다.