기술 요약: PLaT (Planning with Latent Thoughts)

1. 문제 정의

현재 거대 언어 모델(LLM)의 사고 사슬(Chain-of-Thought, CoT) 추론은 두 가지 주요 병목 현상에 직면해 있습니다:

1. 추론 경로 붕괴 (Reasoning Path Collapse): 표준 CoT는 이산적인 토큰 공간에서 작동합니다. 매 생성 단계마다 모델은 어휘 사전에서 단 하나의 토큰을 선택해야 하며, 이는 유효한 대안적 추론 경로들을 효과적으로 가지치기(pruning)합니다. 이는 모델이 여러 전략의 중첩(superposition) 상태를 유지하는 것을 방지하며, 일단 최적이 아닌 토큰이 선택되면 돌이킬 수 없는 오류로 이어지는 경우가 많습니다.
2. 계산 비효율성: 긴 중간 텍스트 토큰 시퀀스를 생성하는 것은 높은 계산 비용을 초래합니다.

최근의 "잠재적 추론(latent reasoning)" 접근 방식들은 연속적인 은닉 상태(hidden states) 내에서 추론을 수행함으로써 이러한 문제를 완화하려고 시도합니다. 그러나 기존 방법들은 대개 불투명한 엔드 투 엔드(end-to-end) 매핑으로 작동하며, 추론 과정 중에 고정된 수의 잠재 단계를 사용하도록 사전에 정의되어야 합니다. 이들은 추론이 언제 완료되었는지 동적으로 결정하는 능력이 부족하며, 중간 상태에 대한 해석 가능성도 제한적입니다.

2. 방법론: PLaT 프레임워크

저자들은 **PLaT (Planning with Latent Thoughts)**를 제안합니다. 이 프레임워크는 추론 과정(생각)과 언어화(언어 표현)를 근본적으로 분리합니다. 핵심 가설은 추론이 연속적인 잠재 공간에서의 결정론적 궤적(deterministic trajectory)으로 일어나야 하며, 텍sal(text) 생성은 필요할 때만 수행되는 저차원 투영(low-dimensional projection) 역할을 해야 한다는 것입니다.

아키텍처

PLaT는 선형 프로젝터(linear projectors)를 통해 상호작용하는 두 개의 구별된 구성 요소로 이루어져 있습니다:

• 플래너 (The Planner): 고차원의 연속적 매니폴드(manifold) 내에서 자기회귀적(autoregressively)으로 작동합니다. 입력 질문과 이전 상태를 바탕으로 잠재 계획 상태($\tilde{S}$)의 시퀀스를 진화시킵니다. 분포에서 샘플링하는 이전 방식들과 달리, 플래너는 결정론적인 벡터를 생성합니다. 이는 의사결정이 필요할 때까지 여러 논리적 가능성에 대한 확률 밀도를 유지합니다.
• 디코더 (The Decoder): 텍스트 세계와의 인터페이스 역할을 합니다. 집계된 잠재 상태($S_k$)를 받아 이를 텍스트 세그먼트($y_k$)로 언어화합니다. 디코더는 잠재 상태로부터 정답 텍스트 추론 단계를 재구성하도록 훈련됩니다.

훈련 전략

1. 지도 미세 조정 (SFT): 전체 파이프라인은 정답 텍스트와 잠재 상태에 조건화된 모델의 예측 사이의 재구성 손실(Cross-Entropy)을 사용하여 최적화됩니다. 모델이 점 단위의 매핑을 암기하는 것을 방지하고 매니폴드 구조를 학습하도록 하기 위해, 훈련 중 누적된 상태에 가우시안 노이즈를 주입합니다. 또한, 마이크로 스텝(micro-steps) 전반에 걸쳐 정보를 집계하여 추론 궤적을 안정화하기 위해 지수 이동 평균(EMA) 메커니즘을 사용합니다.
2. 강화 학습 (RL): 탐색 정책을 정교화하기 위해 저자들은 GRPO(Group Relative Policy Optimization)를 채택합니다. 결정적으로, 잠재 매니폴드의 구조적 무결성을 유지하기 위해 플래너 파라미터는 고정(frozen)됩니다. 다양성은 디코더에서 온도 샘플링(temperature sampling)을 활성화함으로써 언어화 단계에서만 도입됩니다. 이를 통해 모델은 동일한 고정된 잠재 상태로부터 서로 다른 언어화 경로를 탐색하여, 정답 도출 가능성을 극대화하는 경로로 수렴할 수 있습니다.

추론: 레이지 디코딩 (Lazy Decoding)

PLaT는 **레이지 디코딩(Lazy Decoding)**이라는 효율적인 추론 프로토콜을 도입합니다. 플래너는 잠재 공간에서 작동하므로, 모델은 전체 텍ек를 생성하지 않고 상태의 궤적만을 생성합니다.

• 시스템은 잠재적인 텍스트의 첫 번째 토큰만을 디코딩하여 "의미론적 프로브(semantic probe)"를 수행합니다.
• 만약 해당 토큰이 정답 토큰이 아니라면, 모델은 이를 버리고 다음 잠재 상태로 진행합니다.
• 만약 토큰이 정답을 나타내면, 모델은 추론을 멈추고 최종 정답을 완전히 디코딩합니다.
  이 접근 방식은 모든 중간 단계에 대해 비용이 많이 드는 토큰 단위 생성을 건너뜀으로써 지연 시간을 크게 줄이는 동시에, 필요할 때 추론 체인을 검사할 수 있는 능력을 유지합니다.

3. 주요 결과

실험은 GPT-2 (small) 백본을 사용하여 수학 벤치마크(GSM8k, GSM-HARD, SVAMP, MultiArith)에서 수행되었습니다.

• 정밀도 vs. 다양성 트레이드오프 (Precision vs. Diversity Trade-off): PLaT는 베이스라인들과 비교하여 뚜렷한 행동 패턴을 보입니다.
  • 탐욕적 정확도 (Greedy Accuracy): PLaT는 일반적으로 베이스라인보다 낮은 탐욕적 정확도를 보입니다. 논문은 이를 추론을 압축된 잠재 공간으로 매핑하는 데서 발생하는 정보 손실과 작은 백본의 파라미터 한계 때문이라고 설명합니다.
  • Pass@k (다양성): PLaT는 추론 다양성 측면에서 우수한 확장성을 보여줍니다. Pass@128 지표에서 PLaT는 베이스라인을 크게 앞섭러 (예: GSM8k에서 Coconut의 66.7% 대비 PLaT 74.2%). 베이스라인의 다양성 곡선은 높은 $k$ 값에서 평탄해지는(포화되는) 경향이 있는 반면, PLaT는 더 가파른 상승 곡선을 유지하며, 이는 모델이 좁은 궤적에 과적합되기보다 더 넓고 견고한 솔루션 공간을 학습하고 있음을 나타냅니다.
• 효율성: PLaT는 중간 토큰 생성을 건너뜀으로써 명시적 CoT(Explicit CoT) 대비 상당한 속도 향상(약 56%의 지연 시간 감소)을 달고합니다. 불투명한 Coconut 방식보다는 약간 느리지만, PLaT는 Coconut이 갖지 못한 해석 가능성을 제공합니다.
• 잠재 상태 분석: 분기 계수(branching factor) 분석 결과, PLaT는 CoT에 비해 추론 과정 전반에 걸쳐 더 높은 분기 계수를 유지합니다. CoT는 초기에 경로를 공격적으로 가지치기하여 단일 궤적으로 붕괴되는 반면, PLaT는 더 넓은 범위의 잠재적 경로를 유지하며, 유효한 분기 수는 나중에 CoT를 능가하기도 합니다.

4. 기여 및 의의

본 논문은 다음과 같은 기여를 주장합니다:

1. 잠재적 추론의 재정의: PLaT는 암묵적인 패턴 매칭에서 연속적인 잠재 공간에서의 계획(planning)으로 패러다임을 전환하며, 추론과 언어화를 명시적으로 분리합니다.
2. 분리된 아키텍처: 플래너-디코더 아키텍처의 도입은 해석 가능한 중간 추론과 동적 추론 종료를 가능하게 하여, 기존 잠재 방식들의 "블랙박스" 특성과 고정된 단계의 한계를 해결합니다.
3. 경험적 트레이드오프 발견: 본 연구는 탐욕적 정밀도와 탐색 가능성 사이의 중요한 트레이드오프를 식별했습니다. 저자들은 PLaT가 넓고 탐색 가능한 솔루션 매니폴드를 학습하는 능력이, 단독 탐욕적 정확도가 낮더라도 추론 시점의 탐색 알고리즘(예: Tree-of-Thoughts 또는 rejection sampling)을 위한 더 우수한 기반이 된다고 주장합니다.

의의:
저자들은 PLaT가 미래의 "System 2" 추론 시스템을 위한 투명하고 확장 가능한 기반을 제공한다고 봅니다. 잠재 상태를 단순한 압축 아티팩트가 아닌 탐색 가능한 계획 궤적으로 취급함으로써, PLaT는 "황금 궤적(golden traces)"을 암기하는 것에서 벗어나 일반화 가능한 탐색 공간을 학습하는 데 초점을 맞춥니다. 이 접근 방식은 동적인 종료를 허용하며, 연속적인 추론 흐름을 방해하지 않고 내부 생각을 검사할 수 있는 메커니즘을 제공하여, 고급 추론 시점 스케일링 및 탐색 기반 강화 학습을 위한 길을 열어줍니다.