기술 요약: 잠재적 사고 사슬(Latent Chain-of-Thought)의 역량과 근본적 한계

문제 정의

대규모 언어 모델(LLM) 분야는 중간 단계를 이산적인 토큰으로 구체화하는 명시적 사고 사슬(Explicit CoT)에서, 중간 토큰을 생성하지 않고 연속적인 내부 상태 공간을 통해 정보를 처리하는 **잠재적 사고 사슬(Latent CoT)**로 이동해 왔습니다. 잠재적 CoT는 효율성과 다양한 추론 경로 탐색 능력을 약속하지만, 경험적 관찰 결과 상호 배타적인 성능의 이분법이라는 수수께집한 현상이 나타납니다:

• 명시적 CoT는 정밀한 기호 계산(예: GSM8K, 정확도 42.9%)에는 뛰어나지만, 유연한 탐색 및 전략적 계획(예: ProsQA, 77.5%)에는 어려움을 겪습니다.
• 잠재적 CoT는 탐색적 작업(ProsQA, 97.0%)에서는 우수한 성능을 달성하지만, 정밀도가 중요한 계산 작업(GSM8K, 34.1%)에서는 처참하게 실패합니다.
• 또한, 잠재적 CoT는 극도로 취약한 학습 특성을 보입니다. 커리큘럼 학습을 제거하면 성능이 급격히 붕괴됩니다(예: ProntoQA에서 99.8%에서 52.4%로 하락).

현재의 문헌은 왜 높은 탐색 성능이 실행 정밀도의 희생을 필요로 하는지, 혹은 왜 암시적 모델이 본질적으로 학습하기 어려운지에 대한 통일된 이론적 프레임워크가 부족합니다. 본 논문은 이러한 트레이드오프가 임의적인 아키텍처의 산물이 아니라, **의사결정 확실성(decisional certainty)**의 근본적인 결과라고 주장합니다.

방법론 및 이론적 프레임워크

저자들은 기호 지수($I_S$)(특정 추론 경로에 대한 모델의 확신 정도, 즉 가장 확률이 높은 토큰의 확률로 정의됨)를 중심으로 하는 이론적 프레임워크를 제안합니다. 분석은 세 가지 주요 이론적 기둥을 통해 진행됩니다:

1. 정보 병목 현상의 이중성 (Information Bottleneck Duality)

본 논문은 Coconut 커리큘럼 학습 목적 함수가 명시적 CoT 단계를 잠재 상태로 점진적으로 압축하는 과정이 조건부 정보 병목(Conditional Information Bottleneck, CIB) 문제를 해결하는 것과 수학적으로 동일함을 입증합니다.

• 정리 4.1은 Coconut 손실을 최소화하는 것이 과거 정보의 압축과 미래 단계에 대한 예측력 보존 사이의 균형을 맞추는 제약된 문제를 최적화하는 것과 동등함을 증명합니다.
• 이 이중성은 커리큘럼이 $\beta(k) \sim \frac{k}{M-k}$에 따라 트레이드오프 파라미터를 동적으로 조정하여, 학습이 진행됨에 따라 압축에서 예측으로 강조점을 전환함을 밝혀냅니다.

2. 탐색-실행 트레이드오프 (The Exploration-Execution Trade-off)

저자들은 기호 지수를 통해 탐색과 실행 사이의 근본적인 긴장을 규명합니다:

• 높은 확실성 (명시적 CoT): CoT는 고확실성 영역($I_S \approx 1$)에서 작동합니다. 정리 4.3은 확실성이 증가함에 따라 결정 분포의 엔트로피가 소멸하고, 이상적인 균등 탐색 사전 확률(uniform exploration prior)로부터의 KL 발산이 무한히 커짐을 보여줍니다. 이는 기호적 무결성(Symbolic Integrity)(정리 4.7)을 보장합니다. 즉, 이산적인 argmax 연산이 매 단계에서 내부 노이즈를 재설정하는 오류 수정 필터 역할을 하여 오차 누적을 방지합니다.
• 낮은 확실성 (잠재적 CoT): 잠재적 CoT는 저확실성 영역($I_S < 1$)에서 작동합니다. 정리 4.5는 CIB 목적 함수가 비퇴화(non-degenerate) 출력 분포를 강제하여 유한한 KL 발산 상한을 유지하고 견고한 탐색을 가능하게 함을 증명합니다. 그러나 정리 4.8은 이산화-재설정 메커니즘이 없을 경우, 하위 의사결정 섭동(sub-decisional perturbations, 노이즈)이 추론 단계에 따라 기하급수적으로 누적되어 기호적 정밀도를 파괴함을 보여줍니다.
• 통합 메커니즘: 정리 4.11과 정리 4.12는 기호 지수를 로짓 결정 마진(Logit Decision Margin, $\Delta l$) 및 KL 발산과 공식적으로 연결합니다. 높은 $I_S$는 큰 마진(노이즈에 대한 견고성)을 보장하지만 분포를 균등성으로부터 멀어지게 만듭니다(낮은 탐색성). 낮은 $I_S$는 광범위한 탐색을 허용하지만 작은 마진을 초래하여 시스템을 누적되는 오차에 취약하게 만듭니다.

3. 커리큘럼 학습의 필요성

본 논문은 모방 학습(Imitation Learning, IL) 프레임워크를 사용하여 잠재적 CoT의 학습 불안정성을 다룹니다.

• 학습의 역설: 잠재 상태에 직접 학습하는 것은 분포 불일치를 초래합니다. 커리큘럼이 없다면, 모델은 유효한 추론 궤적이라는 전문가 정책 대신 표면적인 패턴의 편향된 분포으로부터 "지름길(shortcut)" 표현을 학습하게 됩니다.
• 정리 5.1은 커리큘um 없이 학습하는 것은 실패할 수밖에 없음을 증명합니다. 모델은 데이터셋의 크기를 늘려도 좁힐 수 없는 성능 격차를 가진 하위 최적 정책(suboptimal policy)으로 수렴하기 때문입니다.
• 정리 5.2는 커리큘럼 학습이 이론적으로 필수적임을 확립합니다. 명시적 토큰으로 시작하여 이를 점진적으로 내재화하는 스캐폴딩 과정을 통해, 커리큘럼은 분포 차이를 메우고 모델이 최적의 전문가 정책으로 수렴하도록 보장합니다.

주요 결과

이론적 주장은 Coconut 커리큘럼으로 학습된 GPT-2 (124M) 아키텍처를 사용한 경험적 실험을 통해 검증되었습니다:

1. 의사결정 확실성 영역:

   • ProsQA (탐색적 작업)에서 잠재적 CoT는 낮은 기호 지수($I_S < 0.6$)를 유지하며, 여러 경로에 확률 질량을 분산시키는 능력을 확인했습니다.
   • GSM8K (계산적 작업)에서 잠재적 CoT는 명시적 CoT에서 보이는 높은 확률 집중($I_S \ll 1.0$)이 결여되어 있으며, 이는 오류 재설정 메커니즘의 부재를 확인시켜 줍니다.

2. 노이즈 견고성:

   • 명시적 CoT는 주입된 가우시안 노이즈에 대해 "계단 함수" 형태의 반응을 보입니다. 정확도는 노이즈가 로짓 결정 마진을 초과할 때까지 안정적으로 유지되다가 그 시점에서 급격히 떨어집니다.
   • 잠재적 CoT는 낮은 노이즈 수준부터 즉각적이고 단조적인 정확도 감소를 보이며, 이는 연속적 상태 역학에서의 오차 누적을 확인시켜 줍니다.
   • 작업별 민감도가 관찰되었습니다: 잠재적 CoT는 GSM8K에 비해 ProsQA에서 노이즈에 대해 더 높은 성능을 유지하는데, 이는 탐색적 작업이 정밀한 수치 계산보다 상태 편차를 더 잘 견디기 때문입니다.

3. 커리큘럼에 대한 절제 연구 (Ablation):

   • 커리큘럼을 제거하면 잠재적 CoT가 ProntoQA에서 성능이 붕괴(99.8%에서 52.4%로)되었으며, 이는 분포 불일치를 피하기 위한 점진적 내재화의 이론적 필요성을 입증합니다.

의의 및 주장

본 논문은 추론 아키텍처의 설계 패러다임을 이산적 대 연속적이라는 이분법적 선택에서 적응형 시스템으로 전환할 것을 주장합니다.

• 통합 이론: 본 연구는 명시적 CoT와 잠재적 CoT의 상보적인 실패 모드를 설명하는 최초의 통합적 이론을 제공하며, 의사결정 확실성(기호 지수로 정량화됨)을 지배 기제로 식별했습니다.
• 설계 원칙: 미래의 아키텍처는 정적으로 고정되어서는 안 된다고 주장합니다. 대신, 정밀한 실행을 위한 고확실성 몰입과 계획을 위한 저확실성 다양화 사이를 조절하며, 과업 요구에 따라 의사결정 확실성을 동적으로 조절해야 합니다.
• 학습의 필수성: 본 논문은 커리큘럼 학습이 단순한 휴리스틱적 이득이 아니라, 잠재적 CoT 모델의 수렴을 위한 이론적 요구 사항임을 확립하여 잠재적 CoT의 학습 취약성 문제를 해결했습니다.

탐색-실행 트레이드오프를 공식화함으로써, 본 연구는 엄격한 계산과 유연한 탐색 사이를 능숙하게 전환할 수 있는 에이전트 개발을 위한 토대를 마련했습니다.