Emergence of Superposition: Unveiling the Training Dynamics of Chain of Continuous Thought

이 논문은 연속적 사고 (continuous CoT) 를 사용하는 2 층 트랜스포머가 그래프 도달 가능성 문제를 해결하는 과정에서, 국소 탐색 능력을 반영하는 인덱스 매칭 로짓이 증가 후 유계 (bounded) 되어 탐색과 활용을 균형 있게 조절함으로써 여러 추론 경로의 중첩 (superposition) 메커니즘이 어떻게 학습되는지를 이론적으로 분석하고 실험적으로 검증합니다.

핵심

🧩 핵심 이야기: "한 번에 한 길만 가는 것 vs 모든 길을 동시에 탐색하는 것"

전통적인 AI 는 문제를 풀 때 **한 번에 하나의 길 (단어)**만 선택합니다. 마치 미로에서 한 발짝을 내디딜 때마다 "왼쪽? 오른쪽?" 하고 하나만 골라 전진하는 거죠. 만약 잘못된 길을 선택하면, 뒤로 돌아와서 (Backtracking) 다시 시작해야 합니다. 이는 시간이 많이 걸리고 비효율적입니다.

하지만 이 논문에서 연구한 '연속적인 사고 (Continuous CoT)' 방식은 다릅니다. AI 가 미로에 들어설 때, 모든 가능한 길을 동시에 '유령'처럼 그려놓고 그 위에 모든 가능성을 얹어놓습니다. 이를 **'중첩 (Superposition)'**이라고 부릅니다.

비유:

• 기존 방식: 한 번에 한 명씩 미로에 들어가는 탐험대. 잘못된 길로 가면 팀 전체가 다시 출발해야 함.
• 새로운 방식 (이 논문): 탐험대 전체가 투명한 유령이 되어 미로의 모든 갈림길을 동시에 걸어보는 것. 어느 길로 가든 다 볼 수 있음.

---

🎓 이 논문이 발견한 놀라운 사실

과거 연구자들은 "AI 가 이렇게 여러 길을 동시에 보는 능력을 어떻게 배울 수 있지?"라고 의아해했습니다. 보통 AI 는 하나만 정답인 데이터를 보고 학습하니까요.

하지만 이 논문은 **"AI 가 그 능력을 스스로 터득한다"**고 증명했습니다. 그 비결은 **'적당한 강도'**를 유지하는 데 있었습니다.

1. "지나치게 자신하면 안 된다" (Bounded Logit)

AI 가 미로의 갈림길에서 다음 단계를 예측할 때, 그 확신 (Logit) 의 강도가 중요합니다.

• 너무 약하면: AI 는 "어디로 가야 할지 모르겠다"며 무작위로 헤맨다. (탐색 부족)
• 너무 강하면: AI 는 "아, 이쪽이 확실해!"라고 너무 일찍 결론 내리고, 다른 가능성을 무시해 버린다. (탐색 부족)
• 적당하면 (이 논문의 발견): AI 는 **"아, 이쪽도 가능성 있고, 저쪽도 가능성 있네?"**라고 여러 갈림길에 비슷한 점수를 부여합니다.

이 **'적당한 강도'**가 유지될 때, AI 는 한 가지 길만 고집하지 않고 여러 가능성을 동시에 머릿속에 담아두는 (중첩) 능력을 자연스럽게 배우게 됩니다.

일상적인 비유:
식당 메뉴를 고를 때, "무조건 비빔밥이 최고야!"라고 너무 확신하면 (강도 과다), 다른 맛있는 메뉴를 놓칩니다. 반면, "비빔밥도 좋고, 냉면도 나쁘지 않네?"라고 여러 메뉴를 동시에 고려할 때 (적당한 강도), 가장 맛있는 조합을 찾을 확률이 높아집니다. AI 도 똑같이 학습합니다.

---

🚀 학습의 두 단계: "생각하기"와 "답하기"

이 논문은 AI 가 이 능력을 배우는 과정을 두 단계로 나누어 분석했습니다.

1. 생각하기 단계 (Thought Generation):

   • AI 는 미로에서 출발점부터 시작해 한 걸음씩 나아가며 "지금까지 갈 수 있는 모든 곳"을 동시에 기억합니다.
   • 이때 AI 는 "다음 단계는 어디일까?"를 고민하며, 잘못된 길도 일단은 유령으로 남겨둡니다. 이 과정에서 '적당한 강도'가 유지되면, 여러 경로가 겹쳐진 상태 (중첩) 가 만들어집니다.

2. 답하기 단계 (Prediction):

   • 이제 AI 는 "정답은 어디일까?"를 물어봅니다.
   • 앞서 만들어둔 '유령들의 지도 (중첩된 생각)'를 보고, 도착 가능한 곳과 불가능한 곳을 구분합니다.
   • 이때 AI 는 "도착 가능한 곳 (정답) 에는 더 높은 점수를 주고, 불가능한 곳에는 낮은 점수를 줍니다." 이 과정을 통해 최종 답을 맞춥니다.

---

💡 왜 이 연구가 중요한가요?

이 연구는 **"AI 가 복잡한 추론 능력을 어떻게 자연스럽게 얻는지"**에 대한 이론적인 근거를 제시했습니다.

• 이전까지: AI 가 복잡한 문제를 풀려면 엄청난 양의 데이터와 계산 능력이 필요하다고 생각했습니다.
• 이제: AI 가 여러 가능성을 동시에 고려하는 '중첩' 방식을 학습하면, 훨씬 더 효율적이고 똑똑하게 문제를 풀 수 있다는 것을 증명했습니다.

마치 한 명의 천재가 혼자 모든 일을 하는 것보다, 여러 명의 전문가가 동시에 아이디어를 내는 팀워크가 더 강력한 것과 같습니다. 이 논문은 AI 가 그 '팀워크 (중첩)'를 스스로 배우는 방법을 찾아낸 것입니다.

📝 한 줄 요약

"AI 가 복잡한 미로를 풀 때, '너무 확신하지 않고' 여러 길을 동시에 고려하는 능력을 자연스럽게 배운다면, 훨씬 더 똑똑하고 효율적으로 문제를 해결할 수 있다!"

이 발견은 앞으로 더 똑똑하고 빠른 AI 를 만드는 데 중요한 지도가 될 것입니다.

기술 요약

논문 요약: 연속적 사고 사슬 (Continuous CoT) 의 훈련 역학에서 나타나는 중첩 (Superposition) 의 출현

이 논문은 대규모 언어 모델 (LLM) 의 추론 능력을 향상시키는 **연속적 사고 사슬 (Chain of Continuous Thought, Continuous CoT)**의 내부 작동 원리를 이론적으로 규명하고, 훈련 과정에서 중첩 (Superposition) 메커니즘이 어떻게 자연스럽게 학습되는지를 분석합니다. 저자들은 방향성 그래프 도달 가능성 (Directed Graph Reachability) 문제를 대상으로 2 층 트랜스포머의 훈련 역학을 분석하여, 기존 연구에서 제안된 중첩 메커니즘이 경사 하강법 (Gradient-based training) 을 통해 자연스럽게 발현됨을 수학적으로 증명했습니다.

---

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 기존 CoT(Chain of Thought) 는 이산적인 토큰 공간에서 추론 경로를 생성하지만, 추론 비용이 높고 단일 경로를 선택해야 하는 한계가 있습니다. 최근 연구 (Hao et al., 2024; Zhu et al., 2025) 는 **연속적 사고 (Continuous CoT)**를 도입하여 추론 과정을 이산적 토큰이 아닌 연속적 잠재 공간 (Latent Space) 에서 수행함으로써, 모델이 여러 추론 경로를 동시에 유지 (중첩) 할 수 있음을 보였습니다.
• 문제: Zhu et al. (2025) 은 연속적 CoT 를 가진 트랜스포머가 그래프 도달 문제를 해결할 수 있는 매개변수 구성을 이론적으로 제시했으나, 이러한 복잡한 중첩 메커니즘이 실제 경사 하강법 (Gradient Descent) 훈련을 통해 어떻게 자연스럽게 학습되는지는 불명확했습니다.
• 핵심 질문: "경사 기반 훈련 방법이 이러한 중첩 구조를 자연스럽게 유도할 수 있는가?"

2. 방법론 (Methodology)

저자들은 방향성 그래프 도달 가능성 문제를 사용하여 2 층 트랜스포머의 훈련 역학을 두 단계로 나누어 분석했습니다.

1. 사고 생성 단계 (Thought Generation Stage):

   • 모델이 시작 노드에서 목표 노드까지의 경로를 찾기 위해 연속적 사고 토큰을 autoregressive 방식으로 생성하는 과정.
   • 로컬 서치 (Local Search) 능력 분석: 모델이 현재 탐색된 노드 집합 ($N_c$) 에서 다음 단계로 확장 가능한 노드 집합 ($N_{c+1}$) 을 식별하는 능력을 분석합니다.
   • 손실 함수: 실제 최단 경로를 예측하는 대신, 탐색 가능한 모든 노드를 포함하는 '임의의 경로'를 생성하도록 유도하는 COCONUT 손실 함수를 사용합니다. 이는 실제 CoT 데이터 (단 하나의 시연 예시) 와 일치하는 설정입니다.
   • 핵심 변수: 인덱스 매칭 로짓 (Index-matching Logit, $\mu$). 이는 모델의 로컬 서치 강도를 나타내는 매개변수입니다.

2. 예측 단계 (Prediction Stage):

   • 생성된 연속적 사고를 바탕으로 두 개의 후보 노드 중 도달 가능한 노드 ($c^*$) 를 선택하는 과정.
   • 신호 분석: 잔류 흐름 (Residual Carryover) 과 후보 노드 리프트 (Candidate Lift) 두 가지 신호가 어떻게 결합되어 최종 정답을 도출하는지 분석합니다.

3. 주요 기여 및 이론적 발견 (Key Contributions)

이 논문의 가장 중요한 기여는 중첩 (Superposition) 이 훈련 역학 과정에서 어떻게 자연스럽게 발현되는지에 대한 이론적 증명입니다.

• 유계된 로짓 (Bounded Logits) 의 발견:

  • 기존 이산적 CoT 연구에서는 트랜스포머의 어텐션 로짓이 무한대로 발산 (Logarithmic growth) 하는 경향이 있었습니다.
  • 반면, 연속적 CoT (COCONUT) 훈련 하에서는 인덱스 매칭 로짓 ($\mu$) 이 유계 (Bounded) 된다는 것을 증명했습니다.
  • 이유: COCONUT 손실 함수는 모델이 특정 단일 경로를 강하게 선택하도록 강요하지 않고, 여러 가능한 경로를 모두 고려하도록 유도합니다. 이로 인해 $\mu$가 특정 값 ($\mu^*$) 에 수렴하게 됩니다.

• 탐색 (Exploration) 과 활용 (Exploitation) 의 균형:

  • $\mu$가 너무 작으면: 모델은 그래프 구조를 활용하지 못해 무작위 추측에 가깝게 됩니다.
  • $\mu$가 너무 크면: 모델은 국소적 특징 (예: 노드의 진입 차수) 에만 의존해 하나의 경로에 과도하게 확신을 갖게 되어, 정답이 아닌 경로를 일찍 포기하게 됩니다.
  • $\mu$가 유계된 양수일 때: 모델은 국소적 구조를 활용하면서도 (Exploitation), 불확실한 상황에서는 여러 가능한 경로를 동등한 가중치로 유지하여 중첩 (Superposition) 상태를 형성합니다. 이는 불확실성 하에서 효과적인 탐색 (Exploration) 을 가능하게 합니다.

• 예측 단계의 일반화:

  • 훈련된 모델은 생성된 중첩된 사고를 활용하여, 훈련 데이터에 없던 새로운 그래프에서도 정답을 높은 정확도로 예측할 수 있음을 증명했습니다. 이는 모델이 단순히 경로를 외우는 것이 아니라, 추론 구조를 학습했음을 의미합니다.

4. 실험 결과 (Results)

저자들은 GPT-2 스타일의 2 층 트랜스포머를 사용하여 이론을 검증했습니다.

• 데이터셋: ProsQA 데이터셋을 기반으로 한 방향성 그래프 도달 문제 (노드 수 약 23 개, 엣지 수 약 36 개).
• 사고 생성 단계 결과:
  • COCONUT 손실 함수 사용 시: 어텐션 로짓 차이 (Frontier vs Non-frontier) 가 초기에는 증가하다가 약 60 에포크 이후 유계된 값에서 안정화되었습니다. 이는 이론적 예측 (Theorem 1) 과 일치합니다.
  • COCONUT-BFS 손실 함수 사용 시 (비교군): 로짓이 계속 증가하여 발산하는 경향을 보였습니다.
  • 길이 일반화 (Length Generalization): 2 단계까지 훈련된 모델이 3 단계, 4 단계의 사고 생성에서도 빠르게 적응하며 중첩 메커니즘을 재사용하는 것을 확인했습니다.
• 예측 단계 결과:
  • 잔류 흐름 ($\mu_A$) 과 후보 리프트 ($\mu_R$) 의 로짓이 훈련 초기에 급격히 증가하다가 안정화되는 것을 관찰했습니다.
  • 두 신호의 비율이 이론적으로 예측된 최적 방향 (Maximum-margin direction) 으로 수렴하여, 도달 가능한 노드가 가장 높은 확률을 갖도록 했습니다.
• 정확도: 최종 테스트 세트에서 **96.2%**의 정확도를 달성했습니다.

5. 의의 및 결론 (Significance)

• 메커니즘 규명: 이 연구는 "왜" 연속적 CoT 가 중첩을 통해 복잡한 추론 문제를 해결할 수 있는지에 대한 근본적인 이유를 훈련 역학 (Training Dynamics) 관점에서 설명했습니다. 즉, 중첩은 모델이 설계된 것이 아니라, 경사 하강법 훈련 과정에서 탐색과 활용의 균형을 맞추기 위해 자연스럽게 발현된 결과임을 보였습니다.
• 실용적 함의: 연속적 CoT 는 이산적 토큰의 제약을 넘어, 불확실성이 높은 상황에서 여러 가설을 동시에 유지하며 추론할 수 있게 합니다. 이는 복잡한 논리 추론, 수학 문제 해결, 그리고 더 긴 컨텍스트에서의 추론 능력 향상에 중요한 통찰을 제공합니다.
• 미래 전망: 본 연구는 연속적 잠재 공간에서의 추론 메커니즘에 대한 깊은 이해를 바탕으로, 더 효율적이고 신뢰할 수 있는 추론 모델 개발 및 확장 (Scaling) 을 위한 이론적 기반을 마련했습니다.

요약하자면, 이 논문은 연속적 CoT 를 통한 중첩 추론이 단순한 설계가 아니라, 훈련 과정에서 모델이 불확실성을 처리하고 최적의 경로를 찾기 위해 자연스럽게 학습하는 역동적인 과정임을 수학적으로 증명하고 실험적으로 검증한 획기적인 연구입니다.