이 논문은 대규모 언어 모델 (LLM) 이 명시적인 계획 (예: 사고의 사슬, Chain-of-Thought) 을 verbalize 하지 않고도 내부적으로 '잠재적 계획 (Latent Planning)'을 수행하는지, 그리고 그 능력이 모델의 규모 (Scale) 에 따라 어떻게 진화하는지를 연구한 ICLR 2026 컨퍼런스 논문입니다.

저자는 Michael Hanna (암스텔담 대학교) 와 Emmanuel Ameisen (Anthropic) 입니다.

1. 연구 배경 및 문제 정의 (Problem)

LLM 은 일관된 이야기 작성이나 기능적인 코드 생성과 같이 계획이 필요한 것처럼 보이는 작업을 명시적인 계획 없이 수행할 수 있습니다. 그러나 모델이 실제로 내부적으로 계획을 세우고 있는지, 그리고 그 메커니즘은 무엇인지에 대한 경험적 증거는 부족합니다.

• 기존 연구의 한계: 과거 연구는 주로 모델의 내부 표현에서 미래 토큰을 '추출 (decoding)'하는 관찰적 증거에 의존했습니다. 하지만 미래 토큰을 예측 가능하다는 것만으로는 계획이 존재한다고 보기 어렵습니다 (예: 고정된 패턴을 출력하는 모델도 미래 토큰을 예측할 수 있음).
• 핵심 질문: LLM 이 목표 토큰을 생성하기 위해 **인과적 (causal)**으로 내부 표현을 사용하는지, 그리고 그 표현이 목표에 맞는 문맥을 생성하도록 역방향으로 작용하는지 확인해야 합니다.

2. 방법론 (Methodology)

저자는 **잠재적 계획 (Latent Planning)**을 다음과 같이 정의하고 이를 검증하기 위해 **트랜스코더 (Transcoders)**와 특성 회로 (Feature Circuits) 기법을 활용했습니다.

2.1 잠재적 계획의 정의

LLM 이 길이 $n$의 입력을 받았을 때, 계획된 토큰 $t$에 대한 내부 표현을 가지고 다음 두 조건을 만족하면 잠재적 계획으로 간주합니다:

1. 전향적 계획 (Forward Planning): 해당 표현이 특정 위치 ($n+k$) 에서 토큰 $t$를 출력하게 인과적으로 만듭니다.
2. 역방향 계획 (Backward Planning): 해당 표현이 토큰 $t$를 허용하는 (licensing) 문맥을 생성하게 인과적으로 만듭니다. (목표에서 역으로 문맥을 구성함)

2.2 실험 도구: 트랜스코더 및 특성 회로

• 트랜스코더 (Transcoders): 모델의 MLP(다층 퍼셉트론) 층을 대체하는 보조 모델로, 밀집된 (dense) 활성화 값을 희소하고 단의미적 (monosemantic) 인 특성 (features) 으로 변환합니다. 이를 통해 모델이 어떤 개념을 표현하는지 해석하기 쉽게 만듭니다.
• 특성 회로 (Feature Circuits): 입력, 트랜스코더 특성, 그리고 로짓 (logit) 사이의 인과적 관계를 나타내는 가중치 방향 비순환 그래프 (DAG) 입니다. 이를 통해 특정 특성이 모델의 출력에 미치는 직접적인 인과 효과를 정량화하고 개입 (intervention) 할 수 있습니다.

2.3 실험 과제

Qwen-3 모델 패밀리 (0.6B, 1.7B, 4B, 8B, 14B, 32B) 를 대상으로 세 가지 과제를 수행했습니다:

1. 단순 문법 일치 과제 (Simple Planning Tasks):
   • a/an 과제: "Someone who handles financial records is → a/an (accountant)"와 같이, 미래에 나올 명사 (accountant) 에 따라 관사 (a/an) 를 선택해야 하는 과제.
   • is/are 과제: 복수/단수 명사에 따른 동사 선택.
   • el/la 과제: 스페인어 성 (gender) 일치 과제.
2. 운율 구 (Rhyming Couplets) 완성: 시의 첫 줄을 주고 두 번째 줄을 완성할 때, 마지막 단어가 운율 (rhyme) 을 맞추도록 계획하는지 확인.
3. 조종 (Steering) 실험: 계획된 단어를 강제로 유도하여 모델이 이를 위해 문맥을 조정하는지 (역방향 계획) 관찰.

3. 주요 결과 (Key Results)

3.1 규모에 따른 계획 능력의 진화

• 단순 과제 (a/an, is/are): 14B 이상의 모델은 minority class(예: 'an'이 필요한 경우) 에서 높은 정확도를 보이며 성공적으로 계획합니다. 반면, 4B8B 모델은 'nascent(초기 단계)' 계획 메커니즘을 가지고 있어 부분적으로 성공하지만, 0.6B1.7B 모델은 대부분 실패합니다.
• 운율 과제: 모델들은 운율 단어를 미리 인지하는 '전향적 계획'은 어느 정도 수행하지만, 운율을 맞추기 위해 앞선 문맥을 수정하는 '역방향 계획'은 대규모 모델에서도 드뭅니다.

3.2 계획 특성의 발견 및 인과적 검증

• 계획 특성 (Planning Features) 존재: 모델은 미래에 출력할 단어 (예: 'accountant') 를 나타내는 특성을 활성화합니다.
• 인과적 개입 효과:
  • Zero Ablation (특성 제거): 계획 특성을 0 으로 설정하면 모델의 성능이 떨어집니다 (특히 'an'이 필요한 경우).
  • Upweighting (특성 증폭): 계획 특성을 증폭하면 모델이 해당 단어를 출력할 확률이 높아지고, 올바른 관사 ('an') 를 선택할 확률도 높아집니다.
  • 직접 효과 vs 간접 효과: 계획 특성이 관사를 직접 선택하는 것이 아니라, "say 'a/an'"과 같은 중간 특성을 활성화하여 간접적으로 영향을 미친다는 것이 밝혀졌습니다.

3.3 역방향 계획의 한계

• 운율 과제에서 모델은 운율 단어를 미리 알고 있지만, 그 단어를 위해 앞선 문장을 수정하는 능력은 제한적입니다.
• 그러나 텍스트 내에서 특정 단어를 조종 (steering) 할 때, 더 큰 모델일수록 해당 단어가 자연스럽게 들어갈 수 있도록 문맥을 조정하는 경향 (역방향 계획) 을 보이며, 이 능력은 규모가 커질수록 향상됩니다.

3.4 'Nascent(초기 단계)' 회로의 특징

• 4B~8B 모델은 계획 특성을 가지고 있지만, 성공 시와 실패 시에 활성화되는 계획 특성의 수에 큰 차이가 있습니다. 즉, 회로가 완전히 형성되지 않아 활성화가 불안정합니다.
• 14B 모델은 성공/실패 모두에서 많은 계획 특성이 활성화되어 있으며, 회로가 더 안정적으로 작동합니다.

4. 주요 기여 (Key Contributions)

1. 잠재적 계획의 인과적 정의 및 프레임워크: 단순히 미래 토큰을 예측하는 것을 넘어, '전향적' 및 '역방향' 계획의 인과적 조건을 정의하고 이를 검증하는 체계적인 프레임워크를 제시했습니다.
2. 규모에 따른 계획 능력의 메커니즘적 분석: Qwen-3 모델 패밀리 (0.6B~14B) 를 대상으로 한 가장 대규모의 특성 회로 (Feature Circuit) 연구 중 하나로, 계획 능력이 규모와 함께 어떻게 점진적으로 등장 (emerge) 하는지 메커니즘 수준에서 규명했습니다.
3. 초기 계획 메커니즘의 발견: 대규모 모델이 완전히 계획하는 것뿐만 아니라, 중간 규모 모델에서도 'nascent'한 계획 메커니즘이 존재함을 발견했습니다.
4. AI 안전성 시사점: 모델이 외부 감시자에게 알려지지 않은 내부 계획을 세울 수 있는 'scheming(계략)'의 위험성을 평가하는 데 필요한 도구와 통찰을 제공합니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 LLM 이 단순히 다음 토큰을 예측하는 것을 넘어, 목표 지향적인 행동을 위해 내부적으로 계획을 수립할 수 있음을 인과적으로 증명했습니다. 특히, 계획 능력은 모델의 규모가 커짐에 따라 점진적으로 발전하며, 전향적 계획이 역방향 계획보다 먼저 발달한다는 사실을 발견했습니다.

• 안전성 관점: 현재 14B 이하의 모델에서는 복잡한 계획 능력이 아직 초기 단계 (nascent) 이므로, 복잡한 계략 (scheming) 을 수행할 가능성은 낮아 보입니다. 하지만 모델이 커질수록 이러한 능력이 강화되므로, 규모가 커지는 모델에 대한 지속적인 모니터링이 필요함을 강조합니다.
• 기술적 의의: 트랜스코더와 특성 회로를 활용한 메커니즘적 해석 (Mechanistic Interpretability) 이 모델의 복잡한 인지 능력 (계획) 을 이해하는 강력한 도구임을 입증했습니다.

결론적으로, 이 논문은 LLM 의 '생각'이 어떻게 규모에 따라 진화하는지에 대한 구체적인 메커니즘적 증거를 제시하며, 향후 더 복잡한 계획 과제를 가진 모델들의 안전성 평가에 중요한 기준을 마련했습니다.