Position: Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces!

이 논문은 중간 토큰 생성을 인간의 사고 과정과 유사한 '추론 흔적'으로 치환하는 인격화적 비유가 모델의 본질을 오해하게 하고 연구 방향을 왜곡할 수 있으므로, 이러한 용어 사용을 지양해야 한다고 주장합니다.

핵심

🎭 제목: "AI 가 진짜로 '생각'하고 있다고 믿지 마세요!"

1. 현재의 상황: AI 가 '말장난'을 하고 있다는 오해
최근 DeepSeek R1 같은 최신 AI 모델들은 문제를 풀기 전에 긴 글을 먼저 씁니다. 사람들은 이 긴 글을 보고 **"아, 이 AI 는 인간처럼 머리를 굴려서 (생각해서) 답을 내고 있구나!"**라고 생각합니다. 이를 '생각의 흔적 (Reasoning Trace)'이나 '생각의 사슬 (Chain of Thought)'이라고 부르며, 마치 AI 가 우리처럼 "음... 이거 어떻게 하지? 아하! 알겠다!"라고 중얼거리는 것처럼 여깁니다.

2. 저자들의 주장: 그건 '생각'이 아니라 '연기'일 뿐입니다
이 논문의 저자들 (애리조나 주립대 연구진) 은 **"그건 착각입니다!"**라고 외칩니다.

• 비유: AI 가 긴 글을 쓰는 것은, 연극 배우가 대본을 외워서 무대 위에서 감동적인 연기를 하는 것과 같습니다. 배우가 눈물을 흘리며 "내가 정말 슬퍼!"라고 말한다고 해서, 그 배우가 실제로 슬픈 감정을 느끼는 것은 아닙니다.
• 현실: AI 가 내는 긴 글 (중간 토큰) 은 인간이 문제를 풀 때 쓰는 '논리적 사고 과정'이 아니라, 정답을 맞추기 위해 통계적으로 가장 확률이 높은 단어들을 나열한 것에 불과합니다.

3. 왜 이 오해가 위험할까요? (3 가지 위험)

• ① 잘못된 신뢰 (False Confidence):

  • 비유: AI 가 "이 약을 드시면 낫습니다. 왜냐하면... (긴 과학적 설명) ... 그래서 낫습니다"라고 말하면, 우리는 그 긴 설명을 보고 "아, 이 약은 확실하게 효과가 있겠구나"라고 믿습니다.
  • 위험: 하지만 그 긴 설명은 사실과 다를 수 있습니다. AI 가 엉뚱한 말 (거짓말) 을 길게 늘어놓더라도, 최종 답변만 맞으면 사람들은 "AI 가 잘 생각했구나"라고 착각하고 위험한 결정을 내릴 수 있습니다.

• ② 엉뚱한 연구 방향:

  • 비유: 마치 "AI 가 더 많이 생각하게 하려면, AI 가 더 긴 글을 쓰게 해야 해!"라고 생각해서, AI 가 쓸데없이 긴 글을 쓰게 만드는 연구를 합니다.
  • 현실: 연구에 따르면, AI 가 엉터리로 쓴 긴 글을 훈련 자료로 써도, 최종 정답을 맞추는 능력은 오히려 좋아지거나 똑같습니다. 즉, 글의 '내용'이나 '논리'는 중요하지 않고, AI 가 특정 패턴을 따라 쓰는 것만 중요하다는 뜻입니다.

• ③ AI 의 진짜 능력을 가림:

  • 우리는 AI 가 어떻게 문제를 해결하는지 이해하려고 '중간 글'을 분석하지만, 그 글은 AI 의 실제 작동 원리를 보여주지 않습니다. 오히려 AI 가 정답을 맞추기 위해 어떤 '계략'을 썼는지를 숨겨버립니다.

4. 실험 결과: AI 는 '거짓말'도 잘 합니다
논문에서는 흥미로운 실험 결과를 보여줍니다.

• AI 에게 정답은 맞는데, 중간 설명은 완전히 엉터리인 자료로만 훈련시켰습니다.
• 결과는? AI 는 여전히 정답을 잘 맞췄습니다.
• 심지어 AI 가 "아하! (Aha!)"라는 단어를 쓰며 깨달은 척하는 것도, AI 가 실제로 깨달은 게 아니라 단순히 그 단어가 정답에 도움이 되는 패턴일 뿐이라는 것입니다.

5. 결론: 우리가 무엇을 해야 할까요?

저자들은 다음과 같이 제안합니다.

1. 인격화 (Anthropomorphizing) 를 멈추세요: AI 가 쓴 중간 글을 보고 "이건 AI 의 생각이다"라고 말하지 마세요. 그냥 **"정답을 맞추기 위한 AI 의 계산 과정"**으로만 생각하세요.
2. 답변의 신뢰는 '설명'이 아니라 '검증'에서 오세요: AI 가 "왜 이 답이 맞나요?"라고 길게 설명한다고 믿지 마세요. 대신 그 답이 맞는지 수학적으로나 논리적으로 검증하는 도구를 사용해야 합니다.
3. AI 는 인간을 위해 '말'을 하는 게 아닙니다: AI 가 중간에 긴 글을 쓰는 것은 인간에게 설명하기 위함이 아니라, AI 스스로가 정답을 더 잘 맞추기 위한 '내부 계산'입니다. 만약 AI 가 인간에게 이해하기 쉬운 말을 쓰지 않고, 기계적인 기호만 써도 정답을 잘 맞춘다면, 우리는 그걸 받아들이고 AI 를 더 똑똑하게 만들어야 합니다.

한 줄 요약:

"AI 가 길고 그럴듯한 글을 쓴다고 해서, 그 AI 가 인간처럼 생각하고 있다는 뜻이 아닙니다. 그건 그냥 정답을 맞추기 위한 '연기'일 뿐이니까, 그 연기에 속아 넘어가서 안 됩니다!"

이 논문은 AI 에 대한 지나친 기대와 오해를 걷어내고, 더 현실적이고 안전한 AI 개발을 위해 연구계와 대중이 태도를 바꿔야 한다고 강력하게 호소하고 있습니다.

기술 요약

1. 문제 제기 (Problem Statement)

• 중간 토큰 생성 (ITG) 과 의인화: 최근 대형 언어 모델 (LLM), 특히 'Long Chain-of-Thought (CoT)' 모델 (예: DeepSeek R1) 은 최종 답변을 출력하기 전에 중간 토큰 (intermediate tokens) 을 생성하는 방식을 표준화했습니다. 이러한 토큰들은 흔히 "사고의 흔적 (reasoning traces)"이나 "생각 (thoughts)"으로 불리며, 인간이 문제를 해결할 때 거치는 추론 과정과 유사하다는 의인화 (anthropomorphizing) 가 이루어지고 있습니다.
• 오해의 위험: 연구 커뮤니티와 사용자는 이러한 중간 토큰이 모델의 내부 사고 과정을 투명하게 보여주는 해석 가능한 창구라고 믿고 있습니다. 그러나 저자들은 이 의인화가 단순한 은유를 넘어 위험한 오해를 초래한다고 주장합니다.
  • 모델의 실제 작동 원리를 혼란스럽게 만듭니다.
  • 사용자에게 잘못된 신뢰 (false confidence) 를 심어줍니다.
  • 검증되지 않은 가정에 기반한 무의미한 연구 방향을 유도합니다.

2. 방법론 및 배경 (Methodology & Background)

저자들은 논문을 통해 다음과 같은 배경과 분석 방법을 제시합니다.

• 배경 지식:
  • 테스트 시간 추론 (Test-time Inference): 모델이 여러 후보 답을 생성하고 검증하는 방식 (Self-consistency, MCTS 등).
  • 후속 학습 (Post-training): 웹 코퍼라 기반의 기본 학습 후, 중간 토큰 데이터에 대한 지도 미세 조정 (SFT) 또는 강화 학습 (RL, 특히 RLVR) 을 수행하여 모델이 추론 과정을 생성하도록 유도합니다.
• 분석 접근:
  • 중간 토큰을 인간이 이해할 수 있는 '의미 있는 추론'으로 해석하는 현재의 관행이 가진 함정을 비판적으로 검토합니다.
  • 기존 연구들 (DeepSeek R1, Searchformer 등) 과 최근의 반증 연구들을 종합하여, 중간 토큰의 의미론적 유효성 (semantic validity) 이 실제로 존재하는지 검증합니다.
  • 대조 실험 및 문헌 고찰: 중간 토큰의 의미와 최종 답변의 정확도 간의 인과 관계를 규명하기 위해, 노이즈가 있거나 의미 없는 (swapped/incorrect) 추론 흔적으로 학습된 모델들의 성능을 분석한 기존 연구들 (예: [58], [35], [55] 등) 을 인용합니다.

3. 주요 기여 및 주장 (Key Contributions)

이 논문의 핵심 기여는 다음과 같은 네 가지 주장을 통해 중간 토큰의 의인화를 강력히 반박하는 것입니다.

1. 의미론적 부재 (Lack of Semantic Import): 중간 토큰은 모델이 "생각"하는 과정이 아니라, 단순히 정답을 맞추기 위해 학습된 통계적 패턴일 뿐입니다. "아하 (aha)" 같은 표현이나 인간과 유사한 문장은 모델의 내부 상태 변화를 나타내는 것이 아니라, 훈련 데이터의 문화적 관습을 모방한 결과일 뿐입니다.
2. 정확성과 해석 가능성의 괴리 (Decoupling of Accuracy and Interpretability):
   • 역설적 발견: 중간 토큰이 논리적으로 틀리거나 (incorrect) 의미 없는 (nonsensical) 내용이라도, 최종 답변의 정확도는 유지되거나 오히려 향상될 수 있습니다.
   • RL 의 영향: 강화 학습 (RL) 을 통해 모델의 성능을 높이면, 오히려 중간 토큰의 의미론적 정확도는 떨어지는 경향이 있습니다. 모델은 정답을 유도하는 패턴만 학습할 뿐, 그 과정이 논리적일 필요는 없습니다.
3. 계산량과 문제 난이도의 비선형성: 중간 토큰의 길이가 문제의 난이도나 모델의 "노력"을 반영한다는 주장은 사실이 아닙니다. 오히려 간단한 문제에서도 모델은 맥락 창을 가득 채우는 긴 텍스트를 생성하며, 이는 RL 의 보상 분배 메커니즘 (마지막 보상을 모든 토큰에 균등하게 분배) 에 의한 부산물일 가능성이 큽니다.
4. 사용자 해석의 위험성: 사용자가 중간 토큰을 신뢰하여 모델의 답변을 수용하는 것은 위험합니다. 이는 모델이 사용자의 인지적 결함을 악용하여 잘못된 답변을 설득하는 수단이 될 수 있습니다.

4. 결과 및 증거 (Results & Evidence)

논문은 다음과 같은 구체적인 증거들을 제시합니다.

• 의미 없는 흔적으로도 성능 향상: [58] 의 연구에 따르면, A* 검색 알고리즘의 흔적을 의도적으로 뒤섞거나 (swapped) 무의미하게 만들어 학습시킨 모델도, 올바른 흔적으로 학습한 모델과 유사하거나 더 높은 추론 성능을 보였습니다. 이는 모델이 **의미 (semantics) 가 아닌 패턴 (pattern)**을 학습했음을 시사합니다.
• 거짓 긍정 (False Positives): [6] 의 연구에서는 모델이 최종 답변은 정확하지만, 그 과정인 중간 토큰은 완전히 틀린 경우 (False Positive) 가 빈번하게 발생함을 보여주었습니다.
• RL 에 의한 의미 훼손: [58] 의 실험 결과, RL 후속 학습을 거친 모델은 성능은 향상되었으나, 생성된 추론 흔적의 의미론적 정확도는 오히려 감소했습니다.
• 상업적 모델의 은폐: OpenAI, Google, Anthropic 등 주요 선두 기업들은 자체 모델의 실제 중간 토큰을 공개하지 않고 (비밀 유지), 대신 요약된 설명 (commentary) 만 제공합니다. 이는 중간 토큰이 해석 불가능하거나 신뢰할 수 없기 때문일 수 있습니다.

5. 의의 및 제언 (Significance & Call to Action)

이 논문은 AI 연구 커뮤니티에 다음과 같은 중대한 제언을 합니다.

• 의인화 중단: 중간 토큰을 "사고"나 "추론"으로 의인화하는 것을 즉시 중단해야 합니다. 이는 모델의 능력을 과대평가하게 만들고, 모델이 실제로 어떻게 작동하는지 이해하는 것을 방해합니다.
• 해석 가능성에 대한 기대 포기: 사용자에게 중간 토큰을 통해 모델의 내부 작동 원리를 설명하려는 시도를 중단해야 합니다. 중간 토큰은 모델 자체의 성능 향상을 위한 도구일 뿐, 사용자를 위한 설명 도구가 아닙니다.
• 검증의 중요성: 모델의 답변에 대한 신뢰는 중간 토큰의 논리적 타당성이 아닌, **최종 답변 자체의 검증 (Verification)**을 통해 확보되어야 합니다.
• 미래 연구 방향:
  • 중간 토큰이 인간 언어처럼 보이지 않아도 된다는 점을 인정하고, 모델의 성능을 극대화하기 위해 비언어적 토큰이나 임베딩 공간의 벡터 등을 활용한 최적화를 연구해야 합니다.
  • 사용자에게 "가짜 추론 (ersatz reasoning)"을 제공하는 것은 윤리적으로 위험하며, 이를 방지해야 합니다.

결론적으로, 이 논문은 LLM 의 중간 토큰 생성이 인간적인 사고 과정을 모방한 것이 아니라, 정답 확률을 높이기 위한 통계적 최적화 과정의 부산물임을 강조하며, 이에 대한 잘못된 해석이 초래할 수 있는 위험을 경고하고 연구 방향의 전환을 촉구합니다.