논문 요약: "The Illusion of Superposition? A Principled Analysis of Latent Thinking in Language Models"

이 논문은 언어 모델 (LLM) 이 연속적인 잠재 공간 (latent space) 에서 추론할 때, 이론적으로 기대되는 '중첩 (Superposition)' 현상이 실제로 발생하는지, 그리고 어떤 조건에서 발생하는지에 대한 실증적 분석을 제시합니다. 저자들은 현재 제안된 잠재적 추론 (Latent CoT) 방법론들이 실제로 여러 추론 경로를 동시에 유지하는지, 아니면 단순히 단 하나의 해답으로 빠르게 수렴하는지 (collapse) 를 세 가지 다른 학습 regimes(훈련-free, 파인튜닝, 처음부터 훈련) 를 통해 검증했습니다.

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 체인 오브 씽킹 (Chain-of-Thought, CoT) 은 LLM 의 추론 능력을 향상시키는 표준 기법입니다. 최근 연구에서는 이산적 (discrete) 인 토큰 대신 연속적인 잠재 공간 (continuous latent space) 에서 추론을 수행하는 'Latent CoT'를 제안했습니다.
• 가설: 이론적 연구 (Zhu et al., 2025) 에 따르면, 잠재 공간 추론의 주요 장점은 중첩 (Superposition) 입니다. 즉, 모델이 하나의 표현 내에서 여러 후보 해답이나 추론 경로를 동시에 유지하고 탐색할 수 있어야 합니다. 이는 각 단계에서 하나의 토큰만 선택해야 하는 이산적 CoT 의 한계를 극복할 수 있는 잠재력을 가집니다.
• 문제 제기: 그러나 이론적 주장과 달리, 실제 LLM 이 Latent CoT 를 사용할 때 중첩을 효과적으로 활용하는지에 대한 실증적 증거는 부족합니다. 본 논문은 "Latent CoT 모델에서 실제로 중첩이 발생하는가?" 라는 핵심 질문을 던집니다.

2. 방법론 (Methodology)

저자들은 세 가지 서로 다른 설정에서 모델을 분석하여 중첩의 존재 여부를 검증했습니다.

1. 훈련 없는 regime (Training-free):

   • Soft Thinking (Zhang et al., 2025) 사용: 입력 임베딩의 볼록 결합 (convex combinations) 을 통해 '소프트 토큰'을 생성합니다. 이는 사전 훈련된 모델 (QwQ-32B, Qwen2-1.5B 등) 에 적용됩니다.
   • 분석 도구: Logit Lens를 사용하여 각 레이어에서의 내부 표현 (hidden state) 을 어휘 공간으로 투영하고, 엔트로피 (Shannon Entropy) 와 KL 발산을 측정하여 불확실성이 레이어를 거치며 어떻게 변하는지 관찰했습니다.

2. 파인튜닝 regime (Fine-tuned):

   • Coconut (Hao et al., 2024) 사용: 사전 훈련된 GPT-2 모델을 잠재적 추론을 하도록 파인튜닝했습니다.
   • 분석 도구: 엔티티 레벨 프로빙 (Entity-level probing) 을 통해 추론 단계별 모델의 '신념 (belief)'이 어떻게 진화하는지 추적했습니다. (정답, 오답 이웃, 최종 목표 등)

3. 처음부터 훈련 regime (From-scratch):

   • Coconut 변형: GPT-2 스타일의 작은 모델을 처음부터 (random initialization) 잠재적 추론 태스크 (ProsQA) 를 위해 훈련시켰습니다.
   • 분석: 파인튜닝 모델과 동일한 프로빙 기법을 적용하여, 훈련 방식의 차이가 중첩 형성에 미치는 영향을 비교했습니다.

3. 주요 결과 (Key Results)

연구 결과는 중첩 현상이 모델의 훈련 방식과 용량 (Capacity) 에 따라 극명하게 달라짐을 보였습니다.

• 훈련 없는 및 파인튜닝 모델: 중첩의 붕괴 (Collapse)

  • Soft Thinking: 사전 훈련된 모델은 소프트 토큰을 입력받더라도, 초기 레이어에서 빠르게 단일 해석으로 수렴합니다. 엔트로피 프로파일이 이산적 CoT 와 거의 동일하게 나타나며, KL 발산이 매우 작습니다. 즉, 모델은 여러 가능성을 유지하지 않고 즉시 하나의 토큰으로 '결정'합니다.
  • Coconut (파인튜닝): 파인튜닝된 Coconut 모델은 잠재 토큰 없이도 질문만으로도 96.6% 의 정확도를 달성했습니다. 프로빙 결과, 모델은 단계별 추론을 수행하지 않고 단순히 질문 표현에서 정답을 추출하는 '숏컷 (shortcut)' 을 학습한 것으로 나타났습니다. 중첩은 발생하지 않았습니다.

• 처음부터 훈련 (From-scratch) 모델: 중첩의 발생

  • 성공 사례: 처음부터 훈련된 모델 (특히 얕은 구조, 예: 2 레이어) 에서만 중첩의 징후가 관찰되었습니다. 모델은 잠재적 사고 과정에서 정답과 다른 가능한 후보들 사이의 불확실성을 유지하며, 단계별로 신념이 진화하는 것을 확인했습니다.
  • 잠재 토큰의 필요성: 이 모델들은 잠재 토큰을 제거할 경우 성능이 급격히 하락하여, 추론 과정에 실제로 잠재 표현이 사용되고 있음을 입증했습니다.

• 중첩 붕괴의 원인 분석

  1. 다음 토큰 예측 (Next Token Prediction) 편향: 사전 훈련된 모델은 마지막 레이어에서 특정 토큰에 확신을 갖도록 훈련받았기 때문에, 중첩된 입력을 가장 가까운 이산적 토큰으로 투영하여 중첩을 붕괴시킵니다.
  2. 모델 용량 (Capacity) 의 영향: 처음부터 훈련하더라도 모델이 너무 크면 (예: 8 레이어 이상) 다시 숏컷을 학습하는 경향이 있습니다. 즉, 중첩은 모델 용량이 충분히 제한될 때만 나타나는 취약한 현상입니다.

4. 주요 기여 (Key Contributions)

1. 실증적 반증: 이론적으로 기대되던 '중첩'이 대부분의 실제 LLM (사전 훈련 및 파인튜닝) 에서는 발생하지 않으며, 오히려 단일 해석으로 빠르게 수렴함을 증명했습니다.
2. 원인 규명: 중첩 실패의 원인을 (1) 사전 훈련의 다음 토큰 예측 편향과 (2) 모델 용량에 의한 숏컷 학습 경향으로 규명했습니다.
3. 학습 regime 의 중요성 강조: 중첩을 구현하려면 모델의 초기 구조와 훈련 방식 (처음부터 훈련, 적절한 용량 제한) 이 결정적임을 보여주었습니다.
4. 해석 가능성 도구 적용: Logit Lens 와 엔티티 프로빙을 Latent CoT 분석에 적용하여 내부 메커니즘을 체계적으로 분석한 최초의 연구 중 하나입니다.

5. 의의 및 결론 (Significance & Conclusion)

• 현실적 통찰: 현재 제안된 Latent CoT 방법론들이 단순히 "연속 공간"을 사용한다고 해서 자동으로 복잡한 추론 능력을 갖는 것은 아님을 경고합니다. 많은 경우 모델은 중첩을 활용하지 않고 기존에 학습된 패턴이나 숏컷을 반복할 뿐입니다.
• 미래 방향: 중첩 (Superposition) 이 반드시 바람직한 속성인지에 대한 의문을 제기합니다. 의미 없는 토큰들의 중첩은 추론의 다양성을 보장하지 못합니다. 대신, 잠재 공간의 이점은 '중첩'이 아니라 자연어 토큰에 해당하지 않는 중간 계산의 유연성 (flexibility) 에 있을 수 있음을 시사합니다.
• 설계 가이드: 차세대 잠재적 추론 모델을 설계할 때는 모델의 용량을 적절히 제한하고, 다음 토큰 예측 편향을 극복할 수 있는 처음부터 훈련 (from-scratch) 전략이 필요하다는 원칙을 제시합니다.

결론적으로, 이 논문은 Latent CoT 의 '중첩'이 종종 환상 (Illusion) 일 수 있음을 밝히고, 이를 실현하기 위한 엄격한 조건과 설계 원칙을 제시함으로써 해당 분야의 연구 방향을 재정립하는 데 기여합니다.