How Do Latent Reasoning Methods Perform Under Weak and Strong Supervision?

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 체인 오브 씽킹 (CoT) 프롬프팅은 LLM 의 추론 능력을 향상시키지만, 이산적인 토큰 시퀀스에 의존한다는 한계가 있습니다. 이를 극복하기 위해 **잠재적 추론 **(Latent Reasoning)이 제안되었습니다. 이는 중간 추론 단계를 텍스트로 생성하지 않고, 숨겨진 상태 (latent state) 에서 연속적인 계산을 수행하는 방식입니다.
• 문제: 기존 연구들은 잠재적 추론의 성능을 개선하는 데 집중했으나, 그 **내부 메커니즘 **(Internal Mechanisms)은 완전히 규명되지 않았습니다.
  • 모델이 실제로 다단계 추론을 수행하는지, 아니면 다른 단서를 이용해 정답을 도출하는 **단축선 **(Shortcut)을 사용하는지 불분명합니다.
  • 잠재 공간에서 병렬적인 폭우선 탐색 (BFS-like exploration) 이 실제로 일어나는지, 아니면 특정 경로로만 수렴하는지 확인이 필요합니다.
  • 훈련 시 사용하는 **감독 신호의 강도 **(Supervision Strength)가 추론의 질과 다양성에 어떤 영향을 미치는지 명확하지 않습니다.

2. 방법론 (Methodology)

저자는 기존 잠재적 추론 방법들을 감독 신호의 강도에 따라 두 가지 범주로 분류하고, 이를 기반으로 실험을 설계했습니다.

2.1 방법 분류

1. **약한 감독 **(Weak Supervision)
   • Coconut, CODI: 잠재 상태가 최종 정답의 정확도나 최종 잠재 표현의 정렬을 통해 간접적으로 학습됩니다. 중간 추론 단계에 대한 명시적인 제약을 받지 않습니다.
2. **강한 감독 **(Strong Supervision)
   • SIM-CoT, CoLaR: 중간 잠재 상태를 텍스트 추론 단계나 토큰 수준의 정보와 명시적으로 정렬하도록 학습됩니다 (예: 재구성 손실, 토큰 압축).

2.2 실험 설계

• 데이터셋: 수학 문제 (GSM8K-Aug) 와 논리적 추론 (ProsQA) 을 사용합니다.
• 기저 모델: GPT-2 와 Llama-3.2-1B-Instruct 를 사용합니다.
• 주요 분석 기법:
  1. **잠재 단계 깊이 **(Latent Step Depth) 추론 단계 수를 0 부터 증가시키며 정확도 변화를 관찰하여 단축선 의존성을 확인합니다.
  2. **개입 분석 **(Interventional Analysis) 잠재 토큰에 큰 노이즈를 주입하여 모델이 잠재 추론에 의존하는지, 아니면 다른 단서로 정답을 내는지 확인합니다.
  3. **주의도 분석 **(Attention Analysis) 최종 답변 생성 시 입력 문장과 잠재 단계 중 어디에 집중하는지 분석합니다.
  4. BFS 가설 검증: 잠재 단계가 여러 추론 경로를 병렬로 유지하는지 확인하기 위해, 잠재 공간의 접두사 (prefix) 를 고정하고 텍스트 공간에서 확률적 디코딩 (Stochastic Decoding) 을 수행하여 결과의 다양성을 측정합니다.

3. 주요 기여 및 발견 (Key Contributions & Results)

3.1 보편적인 단축선 행동 (Shortcut Behavior)

• 발견: 많은 잠재적 추론 모델은 잠재 추론 단계가 전혀 없는 경우 (Depth=0) 에도 높은 정확도를 유지합니다.
• 증거:
  • ProsQA(단순 논리) 대부분의 방법 (CoLaR 제외) 은 잠재 단계 수와 무관하게 높은 정확도를 보이며, 노이즈 주입에도 영향을 거의 받지 않습니다. 이는 모델이 실제 추론 대신 표면적인 단서 (surface-level cues) 를 이용하고 있음을 시사합니다.
  • GSM8K(수학) 정확도는 일부 유지되지만, 노이즈 주입 시 CoT(명시적 추론) 는 정확도가 0 에 수렴하는 반면, 잠재적 추론 모델들은 여전히 20~30% 의 정확도를 유지합니다.
• 원인: 약한 감독을 받는 모델일수록 중간 상태에 대한 제약이 약해, 구조화된 추론을 우회하는 단축선을 학습하기 쉽습니다.

3.2 BFS(폭우선 탐색) 가설의 한계

• 가설: 잠재 표현은 여러 가능성을 동시에 인코딩하여 병렬 BFS 와 유사한 탐색을 수행할 것이라는 Coconut 의 주장.
• 검증 결과:
  • 다양성 존재: 잠재적 추론은 명시적 CoT 보다 더 다양한 후보 답안 (Pass@100) 을 생성합니다.
  • **암묵적 가지치기 **(Implicit Pruning) 그러나 잠재 단계가 깊어질수록 후보의 수가 지속적으로 감소합니다. 이는 진정한 BFS 가 아니라, 탐색 과정에서 특정 경로가 일찍 잘려나가는 암묵적 가지치기가 발생함을 의미합니다.
  • 집중 실패: 다양한 후보가 존재하더라도, 정답에 대한 확률 질량 (probability mass) 이 집중되지 않아 **다수결 투표 **(Majority Vote) 정확도는 오히려 명시적 CoT 보다 낮거나 비슷합니다.

3.3 감독 강도와 잠재적 탐색 간의 트레이드오프

• **강한 감독 **(Strong Supervision)
  • 장점: 단축선 행동을 억제하고 추론의 안정성을 높입니다 (예: CoLaR 은 노이즈에 매우 민감하게 반응함).
  • 단점: 잠재 공간에서 유지되는 후보 경로의 다양성이 크게 제한됩니다.
• **약한 감독 **(Weak Supervision)
  • 장점: 잠재 표현이 더 풍부한 다양성을 유지하며 다양한 가능성을 탐색합니다.
  • 단점: 단축선 행동 (Shortcut) 이 발생하기 쉽고, 정답을 효과적으로 선별하지 못해 최종 정확도가 낮아질 수 있습니다.

4. 의의 및 결론 (Significance & Conclusion)

이 연구는 잠재적 추론이 이상적인 "병렬 탐색" 메커니즘을 완벽하게 구현하지 못하고 있음을 실증적으로 증명했습니다.

1. 메커니즘 규명: 잠재적 추론 모델이 실제 추론을 수행하는 것이 아니라, 종종 입력의 표면적 특징을 이용해 정답을 유추하는 단축선을 사용한다는 점을 밝혔습니다.
2. BFS 의 한계: 잠재 공간이 여러 경로를 인코딩할 수는 있지만, 이는 진정한 BFS 가 아니라 암묵적인 가지치기를 동반한 탐색임을 보여주었습니다.
3. 설계 지침: 향후 더 강력하고 견고한 잠재적 추론 시스템을 설계하기 위해서는 **감독의 강도를 조절하여 단축선 행동을 억제하면서도, 잠재 공간의 다양성을 유지할 수 있는 균형 **(Trade-off)을 찾는 것이 필수적임을 강조합니다.

결론적으로, 단순히 잠재 공간을 사용하는 것만으로는 충분하지 않으며, 어떻게 중간 추론 상태를 효과적으로 제어하고 다양성을 유지할 것인가에 대한 새로운 접근법이 필요하다는 통찰을 제공합니다.