기술 요약: 효율적인 오프라인 강화 학습을 위한 숏컷 궤적 계획 (Shortcut Trajectory Planning)

문제 정의

오프라인 강화 학습(Offline RL)은 행동 분포를 모델링하고 샘플링을 통해 의사결정을 수행하기 위해 확산 기반(diffusion-based) 궤적 플래너에 점점 더 많이 의존하고 있습니다. 이러한 방식들은 강력한 성능을 보여주지만, 반복적인 디노이징(denoising) 과정으로 인해 높은 추론 비용이 발생하며, 이는 실시간 또는 고주파 제어에 있어 계산적으로 매우 비쌉니다. 최근 일관성 모델(consistency models, 예: Consistency Planning, Consistency Trajectory Planning)에 기반한 대안들은 다단계 확산 과정을 일관성 기반 생성으로 대체하여 추론 단계를 줄이고 있습니다. 그러나 이러한 방법들은 일반적으로 2단계의 교사-학생 증류(teacher–student distillation) 파이프라인를 필요로 합니다. 이 접근 방식은 전체 학습 비용을 증가시키고 불안정성을 초래하는데, 최종 플래너의 성능이 교사 모델의 성공적인 학습과 그에 따른 학생 모델로의 성공적인 증류에 의존하기 때문입니다. 멀티모달 궤적 분포와 분포 변화(distributional shift) 문제가 이미 존재하는 오프라인 RL 환경에서, 이러한 불안정성은 특히 바람직하지 않습니다.

방법론

본 논문은 효율적인 궤적 생성기로서 숏컷 모델(Frans et al., 2025)을 통합한 숏컷 궤적 계획(Shortcut Trajectory Planning, STP) 프레임워크를 제안합니다. 증류에 의존하는 일관성 기반 플래너와 달리, STP는 단일 단계로 조건부 숏컷 궤적 모델을 학습합니다.

핵심 구성 요소

1. 숏컷 궤적 모델 (Shortcut Trajectory Model):

   • 아키텍처: 플래너는 $S_\theta(x_t, t, d | s_k)$로 매개변수화된 조건부 숏컷 모델입니다. 여기서 $x_t$는 노이즈가 섞인 미래 상태 시퀀스, $t$는 노이즈 레벨, $d$는 스텝 크기, $s_k$는 현재 상태를 의미합니다.
   • 학습 목표: 모델은 생성 궤적을 따라 유한 단계 업데이트를 예측하도록 학습됩니다. 학습 손실(loss)은 플로우 매칭 항(flow-matching term, 가장 미세한 스케일에서 모델을 정착시킴)과 재귀적 자기 일관성 항(recursive self-consistency term)을 결합합니다. 자기 일관성 제약 조건은 크기가 $2d$인 숏컷이 두 번의 연속적인 $d$ 크기 숏컷의 합성(composition)과 일치하도록 보장합니다. 이를 통해 모델은 교사 모델 없이도 단일 네트워크 내에서 1단계, 소단계(few-step), 다단계 생성을 모두 지원할 수 있습니다.
   • 궤적 표현: 모델은 "점핑 스텝(jumping-step)" 표현법을 사용하여, 계획 간격(stride) $M$에 따른 미래 상태의 부분 시퀀스 $(s_k, s_{k+M}, \dots, s_{k+(H-1)M})$를 모델링합니다. 이를 통해 압축된 생성 시퀀스로 더 긴 유효 호라이즌(horizon)을 모델링할 수 있습니다.

2. 크리틱 및 타당성 교정 (Critic and Feasibility Correction):

   • 크리틱 네트워크 $V_\alpha$는 디노이징된 궤적의 누적 할인 보상을 예측하도록 학습됩니다.
   • 크리틱이 물리적으로 불가능한 궤적(예: 장애물과 충돌하는 궤적)에 높은 점수를 부여할 수 있는 문제를 해결하기 위해, STP는 **타당성 인지 교정(feasibility-aware correction)**을 도입합니다. 최종 계획 선택 점수는 제약 조건 위반(예: 벽과의 충돌)을 측정하는 타당성 페널티 $\Psi$를 차감하여 조정됩니다.

3. 추론 과정 (Inference Process):

   • 샘플링: 플래너는 규정된 샘플링 예산(스텝 크기 $d = 1/K$) 하에서 숏컷 모델을 반복적으로 적용하여 후보 궤적을 생성합니다.
   • 웜 스타트 전략 (Warm-Start Strategy): 후속 환경 타임스텝에 대해, 플래너는 순수 노이즈에서 다시 시작하지 않습니다. 대신, 이전 단계의 디노이징된 궤적을 섭동(perturbing)하여 다음 궤적을 초기화합니다. 이는 시간적 일관성을 개선하고 중복 계산을 줄여줍니다.
   • 액션 추출: (타당성 교정 후) 가장 높은 점수를 받은 궤적이 선택됩니다. 첫 번째 스트라이드 전이 $(s_k, s_{k+M})$는 실행 가능한 액션 $a_k$를 복구하기 위해 스트이드 기반 역역학(inverse dynamics) 모델에 전달됩니다.

주요 기여

• 단일 단계 학습: STP는 증류 기반 생성 플래너에 필요한 복잡한 교사-학생 증류 파이프라인을 제거하여 학습 과정을 단순화하고 불안정성을 줄입니다.
• 조절 가능한 추론: 스텝 크기에 따라 조건화됨으로써, 숏컷 모델은 단일 네트워크 내에서 유연한 추론 예산(1단계부터 다단계까지)을 지원하여 계획 품질과 속도 사이의 균상(balance)을 맞춥니다.
• 타당성 인지 계획: 계획 선택 과정에 타당성 페널티를 통합함으로써, 생성형 플래닝의 흔한 실패 모드인 '높은 보상을 받지만 물리적으로 실현 불가능한 궤적'을 선택하는 것을 방지합니다.
• 웜 스타트 초기화: 웜 스타트 전략의 채택은 특히 장기 호라이즌 작업에서 시간적 일관성과 실행 부드러움을 향상시킵니다.

실험 결과

STP는 로코모션(Gym MuJoCo), 내비게이션(Maze2D, AntMaze), 조작(Kitchen), 숙련된 제어(Adroit)를 포함한 표준 D4RL 오프라인 RL 벤치마크에서 평가되었습니다.

• 성능: STP는 확산 기반(Diffuser, Diffusion-QL), 일관성 기반(CP, CTP) 및 기타 액터-크리틱 베이스라인과 비교하여 경쟁력 있거나 우수한 성능을 달s합니다.
  • 로코모션: STP는 평균 점수를 73.3(CTP)에서 73.9로 개선하여, 6개 데이터셋 중 5개에서 CTP를 능가했습니다.
  • 내비게이션: Maze2D에서 STP는 모든 비교 방법 중 가장 높은 평균 성능(183.8)을 달성했습니다. AntMaze에서는 평균 점수를 83.33(CTP)에서 85.33으로 높였습니다.
  • 조작: STP는 Kitchen과 Adroit 벤치마크 모두에서 최고의 평균 성능을 기록했습니다.
• 절제 연구 (Ablation Studies):
  • 웜 스타트: 웜 스타트 전략을 제거하면 Maze2D(평균 183.8에서 150.8로 하락)와 AntMaze(85.3에서 68.0으로 하락) 모두에서 성능이 크게 저하되어, 시간적 일관성에 대한 중요성이 확인되었습니다.
  • 타당성 페널티: 페널티는 복잡한 Maze2D-Large 작업에서 장애물과 충돌하는 궤적을 필터링함으로써 상당한 이득(181.9에서 215.1로 개선)을 주었으나, 더 단순한 작업에는 미미한 영향을 미쳤습니다.

의의 및 주장

본 논문은 숏컷 궤적 계획이 증류 기반 생성 플래너에 대한 실용적인 대안을 제공한다고 주장합니다. 복잡한 교사-학생 파이프라인을 단일 단계 숏컷 모델로 대체함으로써, STP는 빠른 저단계(low-step) 샘플링 능력을 유지하면서도 학습 파이프라인을 단순화합니다. 결과는 숏컷 모델이 오프라인 모델 기반 RL을 위한 효과적인 도구이며, 학습 복잡도, 추론 비용, 계획 품질 사이의 견고한 균형을 제공함을 시사합니다. 저자들은 단일 단계 학습, 효율적인 궤적 생성, 그리고 견고한 추론 시 선택(웜 스타트 및 타당성 교정 활용)의 조합이 효율적인 오프라인 강화 학습을 위한 유망한 방향임을 강조합니다.