기술 요약: 잠재적 사고 흐름 (Latent Thought Flow, LTF)

문제 정의

대규모 언어 모델(LLM)은 복잡한 과제를 해결하기 위해 사고 사슬(Chain-of-Thought, CoT)과 같은 중간 추론 과정에 점점 더 의존하고 있습니다. 그러나 명시적인 CoT는 **언어적 공간 병목 현상(linguistic space bottleneck)**을 겪습니다. 즉, 모든 중간 사고가 이산적인 토큰으로 디코딩되어야 하므로 상당한 추론 오버헤드가 발생하며, 내부 연산이 잠재적으로 중복되는 텍스트 형태에 갇히게 됩니다. 이는 정확도와 효율성 사이의 본질적인 트레이드오프를 생성합니다.

잠재적 추론(latent reasoning)(연속적인 은닉 상태 공간에서 연산을 수행하는 것)은 이러한 병목 현상에 대한 해결책을 제시하지만, 기존 방법들은 주로 결정론적인 경로를 학습하거나 고정된 예산 하에서 보상 극대화를 최적화하는 데 그칩니다. 이러한 접근 방식은 정확성과 계산 비용이 모두 다른 추론 궤적에 확률 질량을 할당하는 원칙적인 메커니즘이 부족합니다. 결과적으로, 이들은 추론 근거의 장황함을 그대로 물려받거나, 몇 개의 높은 보상을 가진 모드(mode)로 붕괴되어 정확도와 효율성의 균형을 맞추는 데 실패하며, 잠재적 추론 매니폴드를 최적화하지 못하는 경우가 많습니다.

방법론: 잠재적 사고 흐름 (Latent Thought Flow, LTF)

저자들은 **잠재적 사고 흐름(LTF)**을 제안합니다. 이는 추론을 LLM의 잠재 공간 내에서의 **가변 길이 연속 궤적(variable-length continuous trajectories)**으로 모델링하는 프레임워크입니다. LTF는 답변의 품질과 계산 비용 사이의 균형을 맞추는 **보상 유도 사후 분포(reward-induced posterior)**를 일치시키도록 샘플러를 학습시킵니다.

핵심 구성 요소

1. 가변 길이 잠재 궤적 (Variable-Length Latent Trajectories):
   결정론적인 토큰 대신, LTF는 궤적 $\tau = (z_{1:T}, \perp)$를 샘플링합니다. 여기서 $z_t$는 연속적인 잠재 사고 상태이며, $\perp$는 적응형 정지 결정입니다. 모델은 최종 답변을 생성하기 전 내부적으로 "얼마나 많이" 추론할지를 학습합니다. 이 궤적은 잠재 추론 헤드에 의해 매개변수화된 가우시안 정책 $q_\phi$로부터 샘플링됩니다.

2. 보상 비례 타겟 분포 (Reward-Proportional Target Distribution):
   LTF는 답변 품질($V_{x,y}$)과 계산 비용($C(\tau)$, 일반적으로 궤적 길이)을 결합한 효용 함수 $R_{x,y}(\tau)$를 정의합니다. 목표는 궤적의 확률이 보상에 비례하도록 하는 샘플러를 학습하는 것입니다:
   $$p^*(\tau | x, y) \propto R_{x,y}(\tau)$$
   이는 모델이 간결하고 정확한 경로에는 확률 질량을 집중시키고, 중복되거나 오류가 있는 경로의 확률은 억제하도록 유도합니다.

3. 연속 GFlowNet 목적 함수 (Continuous GFlowNet Objective):
   이 분포를 학습하기 위해 LTF는 연속 GFlowNet을 구현합니다. 기대 보상을 최대화하는 강화 학습(RL)과 달리, GFlowNet은 종단 샘플이 보상에 비례하도록 하는 확률적 정책을 학습하여 다양하고 효용이 높은 솔루션을 보존합니다.

   • 과제: 잠재 사고는 연속적이므로, 이산적인 토큰 수준의 균형 방정식은 적용할 수 없습니다.
   • 해결책: LTF는 **부궤적 균형(Subtrajectory Balance)**을 연속 공간에 적응시킵니다. 모델이 임의의 중간 단계에서 멈추고, 답변을 디코딩하고, 보상을 받을 수 있도록 허용함으로써 모든 접두사(prefix) 상태에 대해 분석적으로 흐름을 계산합니다.

4. 엔트로피 가중 부궤적 균형 (Entropy-Weighted Subtrajectory Balance, EW-SubTB):
   희소한 답변 감독(supervision)을 처리하고 탐색을 가이드하기 위해, LTF는 엔트로피 인식 가중 메커니즘을 도입합니다. 이는 잠재 부궤적의 미분 엔트로피를 기준으로 부궤적 균형 잔차(residual)를 재가중합니다. 이를 통해 보상 비례 타겟 분포를 변경하지 않으면서도, 정보 확산이 풍부한 고엔트로피 영역에 더 강력한 감독이 적용되도록 보장합니다.

5. 참조 사전 규제 (Reference-Prior Regularizer):
   연속적인 잠재 공간에서의 무작위 탐색이 의미 없는 상태로 표류하는 것을 방지하기 위해, LTF는 교사(teacher)가 생성한 추론 흔적에서 유도된 참조 사전(reference prior)을 사용합니다. 이는 초기 탐색을 의미 있는 잠재 영역에 고정하며, 이후 GFlowNet 보상이 샘플러를 정확성과 효율성 방향으로 재형성하게 합니다.

주요 기여

• 추론을 흐름으로 공식화: 본 논문은 잠재적 추론을 결정론적 경로 최적화가 아닌, 가변 길이 연속 궤적에 대한 분포 매칭 문제로 재정의합니다.
• LLM을 위한 연속 GFlowNet: GFlowNet 이론을 LLM의 고차원 연속 잠재 공간으로 확장하여, 정확하면서도 효율적인 다양한 추론 경로를 보존할 수 있게 합니다.
• 새로운 학습 목적 함수: 엔트로피 가중 부궤적 균형과 참조 사전 규제의 도입은 연속 잠재 공간에서의 희소한 감독과 불안정한 탐색 문제를 해결합니다.
• 적응형 계산: 이 프레임워크는 모델이 계산 예산을 동적으로 할당하여, 쉬운 문제에는 짧은 궤적을, 어려운 문제에는 긴 궤적을 할당할 수 있게 합니다.

실험 결과

실험은 수학적 추론(GSM8K-Aug, ASDiv-Aug, DU, MATH) 및 전이 학습 과제에 대해 여러 LLM 백본(LLaMA-3.2 1B/3B, LLaMA-3.1 8B, DeepSeek-R1 Distill-Qwen 1.5B)을 대상으로 수행되었습니다.

• 명시적 CoT 대비 성능: LTF는 명시적 CoT 방식에 비해 정확도를 유지하거나 향상시키면서도 추론 길이(디코딩 오버헤드)를 크게 줄였습니다.
• 잠재 베이스라인 대비 성능: 강력한 잠재 추론 베이스라인인 CoLaR 및 ReGuLaR와 비교했을 때:
  • 미세 조정(Fine-tuning): LTF는 평균 정확도를 12.9% 향상시키는 동시에 추론 길이를 34.5% 단축했습니다.
  • 전이 학습(Transfer Learning): LTF는 평균 정확도를 6.0% 향상시키는 동시에 추론 길이를 19.9% 단축했습니다.
  • 구체적 이득: LLaMA-3.2 1B 기반의 GSM8K-Aug에서, LTF는 정확도를 34.58%(ReGuLaR)에서 37.09%로 높였으며 추론 단계를 3.69에서 3.34로 줄였습니다.
• 극한 압축: 극한의 압축 설정(예: MATH 데이터셋)에서도 LTF는 베이스라인을 지속적으로 능가하며, 과제 관련 의미 정보를 보존하는 탁월한 능력을 입증했습니다.
• 절제 연구(Ablation Studies): 절제 연구 결과, 엔트로피 가중 부궤적 균형이 길이 증가를 최소화하면서 정확도를 개선함을 확인했으며, GFlowNet 기반 목적 함수가 표준 RL 목적 함수(예: GRPO)보다 더 나은 정확도-효율성 트레이드오프를 제공함을 확인했습니다.

의의 및 주장

본 논문은 LTF가 LLM 추론의 새로운 **정확도-효율성 경계(accuracy–efficiency frontier)**를 구축한다고 주장합니다. 연속적인 잠재 공간으로 숙고(deliberation) 과정을 옮기고 보상 비례 샘플링 프레임워크를 사용함으로써, LTF는 명시적 추론의 언어적 병목 현상을 극복합니다.

저자들은 기존 잠재 추론 방법들의 비효율성이 **분포적 관점(distributional view)**의 부재에서 기인한다고 주장합니다. LTF는 궤적에 확률을 할당하는 원칙적인 방법을 제공하여, 모델이 정확성과 비용 사이의 균형을 동적으로 맞출 수 있게 합니다. 이 연구는 의미 있는 중간 연산이 반드시 언어적 단어로 표현될 필요는 없음을 보여주며, 자원이 제한된 추론 시나리오를 위한 확장 가능한 경로를 제시합니다.

한계점: 저자들은 현재 실험이 텍스트 과제(단어 및 기호)에 집중되어 있으며, 이 프레임워크를 다른 양상(시각, 음성)으로 확장하는 것은 향후 과제로 남아 있다고 언급했습니다. 이론적 일반화 또한 추가 탐색이 필요한 영역으로 명시되었습니다.