How Transformers Learn to Plan via Multi-Token Prediction

이 논문은 다중 토큰 예측 (MTP) 이 단일 토큰 예측 (NTP) 보다 그래프 경로 찾기 및 논리 추론과 같은 계획 수립 작업에서 더 우수한 성능을 보이며, 이는 MTP 가 그래디언트 분리 특성을 통해 역방향 추론 과정을 유도하여 보다 견고하고 해석 가능한 추론 회로를 학습하게 하기 때문임을 실증적 및 이론적으로 규명합니다.

핵심

🚀 "미래를 내다보는" AI: 왜 한 번에 여러 단어를 예측하면 더 똑똑해질까?

이 논문은 최근 큰 화제가 된 **'멀티 토큰 예측 (Multi-Token Prediction, MTP)'**이라는 기술이 왜 기존 AI 보다 훨씬 뛰어난 '계획 (Planning)' 능력을 갖게 해주는지 그 비밀을 파헤친 연구입니다.

기존의 AI 는 마치 **"다음 단어 하나만 맞추기"**에 급급한 학생처럼 행동했습니다. 하지만 이 새로운 방식은 "앞으로 몇 단어를 미리 내다보고" 답을 준비하게 합니다. 그 결과, AI 는 복잡한 문제를 해결할 때 훨씬 더 똑똑하고 논리적인 사고를 하게 된다는 것이 이 논문의 핵심입니다.

---

🧩 1. 기존 방식 (NTP) 의 문제: "눈가림하고 치는" 학생

기존의 AI(Next-Token Prediction, NTP) 는 글을 쓸 때 지금까지 쓴 내용만 보고, 딱 다음 단어 하나만 예측합니다.

• 비유: 마치 미로 찾기를 하는데, 앞만 보고 한 걸음씩 나아가는 것과 같습니다.
• 문제점: 미로의 시작점에서 갈림길이 많다면, AI 는 "아까 왼쪽으로 갔으니 이번에도 왼쪽으로 가야겠지?"라고 과거의 패턴만 보고 무작정 따라갑니다. 이를 연구자들은 **'지혜로운 한스 (Clever Hans) 사기'**라고 부릅니다.
  • 지혜로운 한스: 과거에 정답을 맞춘 말처럼, AI 도 실제 문제 해결 능력이 없는데도, 과거의 정답 패턴을 외워서 정답인 척하는 것입니다.
  • 결과: 복잡한 미로 (계획이 필요한 문제) 에서는 AI 가 길을 잃고 헤매거나, 단순히 과거 데이터를 외운 척만 합니다.

🔮 2. 새로운 방식 (MTP): "미래를 미리 보는" 천재

이 논문에서 소개하는 **멀티 토큰 예측 (MTP)**은 AI 가 한 번에 앞으로 여러 단어 (예: 2~5 개) 를 동시에 예측하도록 훈련시킵니다.

• 비유: 미로에 들어가기 전에 **미로 전체 지도를 훑어보며, "목표 지점이 저기 있네? 그럼 거꾸로 생각하면 이 길로 가야겠다!"**라고 미리 계획을 세우는 것과 같습니다.
• 핵심 메커니즘: "역방향 추론 (Reverse Reasoning)"
  • MTP 를 훈련받은 AI 는 문제를 풀 때 목표 (End) 에서 시작점 (Start) 으로 거꾸로 생각하게 됩니다.
  • 예시: "목표가 B 지점이라면, B 로 가는 길은 A 지점을 거쳐야 해. A 로 가는 길은 시작점 S 에서 출발해야 해."
  • 이렇게 목표를 먼저 보고 경로를 역으로 추적하는 능력 덕분에, AI 는 복잡한 미로에서도 길을 잃지 않고 최적의 경로를 찾아냅니다.

🧪 3. 실험 결과: 왜 MTP 가 더 잘할까?

연구진은 AI 를 다양한 미로 찾기 (그래프 경로 찾기) 와 수학 퍼즐 (카운트다운, 논리 문제) 로 테스트했습니다.

1. 별 모양 미로 (Star Graph):
   • 기존 AI: 시작점에서 갈림길만 보고 "왼쪽이 정답일 거야"라고 추측하다가 틀립니다.
   • MTP AI: "목표 지점이 저기 있구나"라고 먼저 보고, "그럼 이 길로 가야겠다"라고 목표에서 시작점으로 거꾸로 길을 찾습니다. 정답률 100%!
2. 이진 트리 (Binary Tree):
   • 갈림길이 매 단계마다 생기는데, 과거 패턴만으로는 해결할 수 없습니다.
   • MTP AI는 여전히 목표를 먼저 보고 거꾸로 계획을 세워 압도적인 성적을 냈습니다.
3. 실제 문제 (Countdown, SAT):
   • 숫자 조합 퍼즐이나 논리 문제에서도 MTP 가 기존 AI 보다 훨씬 뛰어난 능력을 보여주었습니다.

🛠️ 4. 왜 이런 일이 일어날까? (과학적 비밀)

이론적으로 분석한 결과, MTP 가 **학습 신호 (Gradient)**를 더 깔끔하게 분리해 주기 때문입니다.

• 기존 방식 (NTP): 모든 레이어 (AI 의 두뇌 층) 가 뒤죽박죽 섞여 학습합니다. "다음 단어를 맞추기 위해" 모든 층이 혼란스럽게 정보를 주고받다 보니, 목표를 먼저 보는 능력이 자라날 틈이 없습니다.
• 새로운 방식 (MTP):
  • 1 층 (하단): "목표가 어디 있지?"를 먼저 파악하는 역할을 합니다. (목표에 집중)
  • 2 층 (상단): "그럼 그 목표에 도달하려면 중간에 어떤 단계를 거쳐야 하지?"를 역으로 계산합니다. (경로 복원)
  • 비유: MTP 는 AI 의 두뇌 층을 명확하게 역할 분담시켜 줍니다. 한 층은 "목표"를 보고, 다른 층은 "경로"를 찾는 식으로 말이죠. 이렇게 **학습 신호가 분리 (Gradient Decoupling)**되면서, AI 는 자연스럽게 역방향 추론이라는 강력한 전략을 터득하게 됩니다.

💡 5. 결론: "미래를 내다보는" 훈련이 AI 를 진화시킨다

이 연구는 단순히 "더 많은 단어를 예측하면 속도가 빨라진다"는 기술적 이야기를 넘어, AI 가 어떻게 '사고'를 배우는지에 대한 중요한 통찰을 줍니다.

• 핵심 메시지: AI 가 복잡한 문제를 해결하고 '계획'을 세우려면, 현재의 다음 단어를 맞추는 것을 넘어 미래의 여러 단어를 동시에 내다보는 훈련이 필수적입니다.
• 일상적인 비유:
  • 기존 AI: "지금 당장 다음 발걸음을 어디로?"라고 묻는 사람. (실수하기 쉬움)
  • MTP AI: "목적지는 저기인데, 거기에 도달하려면 3 걸음 뒤부터 어떻게 걸어야 할지 미리 계산하는 사람." (완벽한 계획)

이러한 발견은 앞으로 더 똑똑하고 논리적인 AI 를 만드는 데 중요한 길잡이가 될 것입니다. AI 가 단순히 말을 이어가는 것을 넘어, 진짜로 문제를 해결하는 '생각'을 할 수 있게 된 이유를 밝혀낸 것입니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 추론 능력, 특히 계획 (Planning) 능력은 복잡한 문제 해결에 필수적이지만, 그 발현 메커니즘은 아직 완전히 이해되지 않았습니다.

• 기존 접근법의 한계: 현재 언어 모델 훈련의 표준인 다음 토큰 예측 (Next-Token Prediction, NTP) 은 과거의 정답 컨텍스트를 기반으로 다음 토큰을 예측하는 'Teacher Forcing' 방식을 사용합니다. 이는 장기적인 의존성을 포착하는 데 어려움을 겪으며, 특히 Clever Hans 현상 (실제 문제 해결이 아닌, 이미 노출된 정답의 패턴을 단순히 따라 하는 것) 에 빠지기 쉽습니다.
• 핵심 질문: 왜 NTP 는 복잡한 계획 작업 (예: 그래프 경로 찾기, 수학 문제, 논리 문제) 에서 실패하는 반면, 최근 등장한 멀티 토큰 예측 (Multi-Token Prediction, MTP) 은 뛰어난 성능을 보이는 것일까요? MTP 가 추론 능력을 향상시키는 근본적인 메커니즘은 무엇인가?

2. 방법론 (Methodology)

이 논문은 MTP 가 계획 능력을 어떻게 촉진하는지 실험적 관찰과 이론적 분석을 결합하여 연구했습니다.

가. 실험적 설정 (Empirical Study)

• 작업: 합성 그래프 경로 찾기 (Star Graph, Binary Tree), Countdown (수학 퍼즐), Boolean Satisfiability (SAT) 문제 등 다양한 계획 작업 수행.
• 모델 아키텍처: 공유된 백본 (Backbone) 에 여러 개의 독립적인 출력 헤드를 가진 병렬 MTP 아키텍처 사용 (DeepSeek-V3 등 최신 모델과 유사).
• 비교: NTP(k=1) 와 다양한 lookahead(k>1) 를 가진 MTP 모델의 성능을 데이터 스케일링 및 파라미터 스케일링 조건에서 비교.
• 평가: 훈련은 MTP 로 수행하되, 추론 시에는 표준 NTP 방식 (한 번에 한 토큰 생성) 을 사용하여 학습된 추론 능력을 평가.

나. 이론적 분석 (Theoretical Analysis)

• 모델: 2 층 분리형 (Disentangled) Transformer를 사용하여 Star Graph(2 경로, 3 노드) 작업에 적용.
• 분석 대상: NTP 와 MTP 의 경사 하강 (Gradient Descent) 동역학 차이 분석.
• 핵심 가정: MTP 의 '얕은 헤 (Shallow Head)'가 초기 층에 제공하는 격리된 학습 신호를 분석하여, 모델이 어떻게 역방향 추론 (Reverse Reasoning) 경로를 학습하는지 증명.

3. 주요 기여 및 발견 (Key Contributions & Findings)

가. MTP 의 우월성 입증

• Star Graph: NTP 는 Star Graph 작업에서 약 50% 정확도 (무작위 추측 수준) 에 머무르지만, MTP 는 100% 정확도를 달성합니다. 이는 NTP 가 'Clever Hans' 속임수에 빠지는 것을 넘어, MTP 가 실제 계획 메커니즘을 학습함을 의미합니다.
• Binary Tree: 모든 단계에서 분기가 발생하는 Binary Tree 작업에서도 NTP 는 Clever Hans 속임수가 불가능함에도 불구하고 MTP 보다 성능이 낮았습니다. 이는 MTP 의 이점이 단순히 속임수 회피가 아님을 시사합니다.
• 실제 작업: Countdown 및 SAT 문제에서도 MTP 가 NTP 보다 일관되게 높은 정확도를 보였습니다.

나. 역방향 추론 메커니즘 (Reverse Reasoning Circuit)

• 발견: MTP 로 훈련된 모델은 역방향 추론 패턴을 학습합니다.
  1. 1 층 (Layer 1): 목표 노드 (End Node) 에 집중합니다.
  2. 2 층 (Layer 2): 목표 노드로 향하는 간선 (Edge) 을 따라 중간 노드를 역으로 추적하여 경로를 재구성합니다.
• 시각화: Attention 맵 분석 결과, MTP 모델은 시작 노드가 아닌 목표 노드를 먼저 주시하는 명확한 패턴을 보였습니다. 반면 NTP 모델은 시작 노드에 집중하거나 무작위적인 주의를 보였습니다.

다. 경사 해리 (Gradient Decoupling) 이론적 증명

• 핵심 메커니즘: MTP 의 성공 원인은 경사 해리 (Gradient Decoupling) 속성에 있습니다.
  • NTP: 깊은 층 (Layer 2) 의 초기화되지 않은 가중치를 통해만 경사가 전달되므로, 1 층이 목표 노드를 인식하는 패턴을 학습하기 어렵습니다. 경사가 혼재되어 최적화가 방해받습니다.
  • MTP: '얕은 헤 (Shallow Head)'가 1 층에 직접적인 학습 신호를 제공합니다. 이는 1 층이 목표 노드를 먼저 인식하도록 유도하고 (Phase I), 그 후 2 층이 이를 바탕으로 경로를 완성하도록 합니다 (Phase II).
• 수학적 증명: MTP 손실 함수는 1 층의 가중치를 목표 노드 (End Node) 를 가리키는 방향으로 수렴하게 만드는 정적점 (Stationary Point) 을 가지며, NTP 는 오히려 이 패턴을 억제하는 경사를 생성함을 증명했습니다.

4. 결과 (Results)

• 정량적 결과:
  • Star Graph: NTP(50%) vs MTP(100%).
  • Binary Tree: 데이터/모델 크기가 제한될 때 MTP 가 NTP 를 압도적으로 우세하게 이김.
  • Countdown/SAT: MTP 가 NTP 대비 일관되게 높은 테스트 정확도 달성 (예: 3-SAT 에서 NTP 10.4% vs 7-MTP 87.47%).
• 정성적 결과:
  • 표준 8 층 Transformer 실험에서도 MTP 모델은 100% 일반화 성능을 보이며, Attention 맵이 목표 노드 (End Node) 를 명확히 지시하는 것을 확인했습니다.
  • NTP 모델은 과적합 (Training 97% vs Test 20%) 을 보이며 시작 노드에만 집중하는 비효율적인 패턴을 학습했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 훈련 목적의 중요성: 추론 능력은 단순히 모델 크기나 데이터 양의 문제가 아니라, 훈련 목적 함수 (Training Objective) 에 의해 결정된다는 것을 보여줍니다.
• 계획의 본질: MTP 는 모델이 미래 단계를 미리 예측함으로써 전역적 계획 (Global Planning) 을 가능하게 하며, 이는 최적화 과정에서 해석 가능한 알고리즘 (역방향 추론) 을 자연스럽게 유도합니다.
• 미래 전망: 이 연구는 MTP 가 왜 DeepSeek-V3 등 최신 모델에서 채택되었는지에 대한 이론적 근거를 제공하며, 더 강력한 추론 능력을 가진 모델을 설계하기 위해 다중 토큰 예측과 경사 해리를 활용한 훈련 전략의 중요성을 강조합니다.

요약: 이 논문은 멀티 토큰 예측 (MTP) 이 단순히 예측 속도를 높이는 것을 넘어, 경사 해리 (Gradient Decoupling) 를 통해 Transformer 가 역방향 추론 (Reverse Reasoning) 메커니즘을 학습하게 함으로써 복잡한 계획 능력을 획득하게 한다는 것을 실험과 이론으로 증명했습니다.