Regularized Latent Dynamics Prediction is a Strong Baseline For Behavioral Foundation Models

1. 문제 정의 (Problem Statement)

**행동 기반 모델 (Behavioral Foundation Models, BFMs)**은 사전 학습 단계에서 보상 신호 없이 상호작용 데이터를 학습하여, 추론 시 새로운 보상 함수에 대해 최적에 가까운 정책을 제로샷 (zero-shot) 으로 생성할 수 있는 에이전트입니다. BFMs 의 성능은 상태 표현 (state representation, $\phi$) 의 품질에 크게 의존합니다.

기존의 최첨단 BFMs 방법론들 (예: Forward-Backward, PSM 등) 은 **후속 측정 (Successor Measures)**을 예측하는 복잡한 목적 함수를 사용하여 상태 표현을 학습합니다. 그러나 이러한 접근 방식에는 다음과 같은 한계가 존재합니다:

1. 복잡한 학습 목표: 벨만 백업 (Bellman backups) 을 반복적으로 적용해야 하며, 이는 편향 (bias) 과 불안정성을 초래할 수 있습니다.
2. 데이터 커버리지 의존성: 학습된 정책이 데이터 분포 밖 (Out-of-Distribution, OOD) 의 행동을 선택할 경우, 잘못된 일반화와 표현의 붕괴 (degenerate representations) 를 유발합니다. 특히 데이터 커버리지가 낮은 (low-coverage) 환경에서 성능이 급격히 저하됩니다.
3. 필요성 의문: 이러한 복잡한 표현 학습 목표가 제로샷 RL 에 정말로 필요한지, 더 단순한 대안이 가능한지에 대한 의문이 제기되었습니다.

2. 방법론 (Methodology)

저자들은 **정규화된 잠재 역학 예측 (Regularized Latent Dynamics Prediction, RLDP)**이라는 새로운 접근법을 제안합니다. 이는 복잡한 후속 측정 추정을 우회하고, 단순한 잠재 공간 역학 예측을 기반으로 합니다.

2.1 잠재 역학 예측 (Latent Dynamics Prediction)

• 핵심 아이디어: 현재 상태 $s$와 행동 $a$를 입력받아 다음 상태의 잠재 표현 $\phi(s')$을 예측하는 모델을 학습합니다.
• 손실 함수 ($L_d$):
  $$L_d(\phi, g, w) = \mathbb{E} \left[ \sum_{t=1}^H \| h_t - \bar{\phi}(s_t) \|^2 \right]$$
  여기서 $h_t$는 잠재 역학 모델 $g$와 가중치 $w$를 통해 unroll 된 미래 잠재 상태이며, $\bar{\phi}$는 타겟 인코더입니다.
• 장점: 이 목표는 특정 정책에 의존하지 않으므로 (policy-independent), OOD 행동으로 인한 벨만 백업의 불안정성을 피할 수 있습니다.

2.2 특징 붕괴 문제와 해결 (Feature Collapse & Regularization)

• 문제점: 단순히 잠재 역학만 예측하면, 모델이 모든 상태를 동일한 벡터 (예: 영벡터) 로 매핑하여 손실을 0 으로 만드는 '특징 붕괴 (Feature Collapse)' 현상이 발생합니다. 이는 표현의 다양성을 떨어뜨려 다양한 보상 함수를 표현할 수 있는 범위 (span) 를 축소시킵니다.
• 해결책 (정규화): **직교 정규화 (Orthogonal Regularization)**를 도입하여 특징의 다양성을 유지합니다.
  • 모든 상태 표현 $\phi(s)$와 예측된 다음 상태 $g(\phi(s), a)^\top w$를 초구면 (hypersphere) 위에 투영합니다.
  • 임의의 두 상태 간의 코사인 유사도를 최소화하는 정규화 항 ($L_r$) 을 추가합니다.
    $$L_r(\phi) = \mathbb{E}_{s, s' \sim \rho} [\phi(s)^\top \phi(s')]$$
• 최종 손실 함수:
  $$L_{RLDP} = L_d + \lambda L_r$$
  여기서 $\lambda$는 정규화 강도를 조절합니다.

2.3 BFMs 학습 파이프라인

1. 표현 학습: 보상 없이 오프라인 데이터셋을 사용하여 위 RLDP 손실 함수로 상태 인코더 $\phi$를 학습합니다.
2. 후속 측정 추정 및 정책 학습: 학습된 고정된 $\phi$를 사용하여 후속 측정 (Successor Measures) 을 추정하고, 이를 기반으로 새로운 보상 함수 $r(s) = \phi(s)^\top z$에 대한 최적 정책 $\pi_z$를 제로샷으로 추출합니다.

3. 주요 기여 (Key Contributions)

1. RLDP 제안: 제로샷 RL 을 위한 상태 특징 학습을 위한 단순하고 효과적인 대안으로 '정규화된 잠재 역학 예측'을 제안했습니다. 잠재 역학 예측에서 발생하는 특징 붕괴 문제를 식별하고 직교 정규화를 통해 해결했습니다.
2. 광범위한 실험적 검증: 다양한 도메인 (Loocomotion, Pointmass, Humanoid) 과 설정 (오프라인, 온라인) 에서 RLDP 가 복잡한 최첨단 방법론 (FB, PSM, HILP 등) 과 경쟁력 있거나 더 나은 성능을 보임을 입증했습니다.
3. 저커버리지 (Low-Coverage) 환경에서의 우월성: 기존 방법론들이 OOD 행동으로 인해 실패하는 데이터 커버리지가 낮은 시나리오에서도 RLDP 가 견고하게 작동함을 보여주었습니다. 이는 벨만 백업 없이 잠재 역학만 학습하는 방식의 안정성을 입증합니다.

4. 실험 결과 (Results)

실험은 DeepMind Control Suite, SMPL Humanoid, D4RL (MuJoCo) 등 다양한 벤치마크에서 수행되었습니다.

• 오프라인 제로샷 RL (DeepMind Control Suite):
  • Walker, Cheetah, Quadruped, Pointmass 환경에서 RLDP 는 Random Features, FB, PSM, HILP 등 기존 방법론들과 비교하여 동등하거나 더 우수한 성능을 기록했습니다.
  • 특히 PSM 과 RLDP 가 가장 강력한 성능을 보였습니다.
• 온라인 제로샷 RL (SMPL Humanoid):
  • 358 차원의 관측 공간과 69 차원의 행동 공간을 가진 복잡한 Humanoid 환경에서, RLDP 는 45 가지 다양한 작업에서 경쟁력 있는 성능을 보였습니다. 일부 작업에서는 오프라인 학습 기반의 RLDP 가 온라인 오라클 (Oracle) 보다 더 좋은 성능을 보이기도 했습니다.
• 저커버리지 데이터셋 (D4RL):
  • HalfCheetah, Hopper, Walker2D 의 'Medium' 및 'Medium-Expert' 데이터셋에서 RLDP 는 6 개 작업 중 5 개에서 모든 베이스라인을 능가했습니다.
  • 기존 방법론들은 벨만 백업으로 인한 편향과 OOD 행동으로 인해 성능이 저하되었으나, RLDP 는 이러한 문제에 덜 민감하여 높은 정규화된 리턴을 달성했습니다.
• 애블레이션 연구 (Ablation Studies):
  • 정규화: $\lambda=0$ (정규화 없음) 일 때 성능이 급격히 떨어지고 특징 간 코사인 유사도가 증가하는 것을 확인했습니다. $\lambda > 0$일 때만 특징이 다양하게 분포하며 성능이 향상됨을 입증했습니다.
  • 아키텍처: 초구면 정규화 (Spherical Normalization) 와 행동 투영 (Action Projection) 이 모두 성능 안정화와 향상에 필수적임을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 행동 기반 모델 (BFMs) 을 위한 상태 표현 학습에 있어 복잡하고 계산 비용이 큰 후속 측정 추정 방법이 필수가 아님을 보여줍니다.

• 단순함과 효율성: 복잡한 재구성 작업이나 명시적인 벨만 백업 없이, 단순한 잠재 역학 예측과 직교 정규화만으로 강력하고 안정적인 표현을 학습할 수 있음을 증명했습니다.
• 실용성: 데이터 커버리지가 낮거나 OOD 행동이 발생할 수 있는 실제 로봇 제어 및 복잡한 환경에서도 견고하게 작동하므로, 실제 응용 분야 (로봇 조작, 드론 항법 등) 에 적용하기 위한 실용적인 unsupervised 학습 접근법으로 평가됩니다.
• 미래 방향: 이 연구는 BFMs 의 학습을 단순화하면서도 성능을 유지하거나 향상시킬 수 있는 새로운 패러다임을 제시하며, 향후 더 복잡한 실제 세계 임베디드 시스템 (Real-world Embodiments) 으로 확장될 가능성을 열었습니다.

요약하자면, RLDP는 복잡한 목적 함수에 의존하지 않고, 잠재 역학 예측 + 특징 다양성 유지라는 두 가지 간단한 원리를 통해 제로샷 RL 의 핵심인 상태 표현 학습 문제를 해결하는 강력한 베이스라인을 제시한 논문입니다.