기술 요약: 잠재 정책 장벽 (Latent Policy Barrier, LPB)

문제 정의

행동 복제(Behavior Cloning, BC)를 통해 학습된 시각-운동 정책(Visuomotor policies)은 본질적으로 **공변량 변화(Covariate shift)**에 취약합니다. 이 시나리오에서는 실행 중 전문가 궤적에서 발생하는 미세한 편차가 시간이 지남에 따라 누적되어, 에이전트를 분포 외(Out-of-distribution, OOD) 상태로 몰아넣고 결국 작업 실패를 초래합니다.

현재의 완화 전략들은 다음과 같은 상당한 한계점을 가집니다:

• 인간 참여형 수정 (예: DAgger): 광범위한 인간의 개입이 필요하며, 노동 집약적이고, 종종 정책의 품질을 저하시키는 하위 최적(Suboptimal)이거나 일관되지 않은 데모를 도입할 위험이 있습니다.
• 합성 데이터 증강: 강력한 작업 특정적 가정이나 불변성에 의존하며, 모방 정밀도를 해칠 수 있는 노이즈를 도입할 위험이 있습니다.
• 근본적인 트레이드오프: 정밀한 모방을 위한 고품질의 일관된 전문가 데이터의 필요성과, OOD 상태에 대한 강건성을 확보하기 위한 다양하고 종종 하위 최적인 데이터의 필요성 사이에 긴장이 존재합니다. 이러한 요구 사항들을 모두 충족하는 단일 데이터셋을 구축하는 것은 매우 어렵습니다.

방법론: 잠재 정책 장벽 (Latent Policy Barrier, LPB)

제어 이론의 제어 장벽 함수(Control Barrier Functions, CBFs)에서 영감을 받은 LPB는 **전문가 데모의 잠재 분포(Latent distribution)**를 안전한 상태(In-distribution)와 불안전한 상태(OOD)를 구분하는 암시적 장벽으로 취급하는 프레임워크를 제안합니다. 핵심 혁신은 정밀한 전문가 모방과 OOD 회복을 두 개의 별도 모듈로 **분리(Decoupling)**하는 것입니다.

1. 아키텍처 구성 요소

• 기본 확산 정책 ($\pi_\theta$): 제한된 양의 고품질 전문가 데모만을 사용하여 학습됩니다. 이 정책의 유일한 목표는 정밀한 모방입니다. 이는 로우(Raw) 관측값을 잠재 표현(Latent representation)으로 매핑하기 위해 시각 인코더 $h_\theta$를 활용합니다.
• 시각적 잠재 역학 모델 ($d_\phi$): 전문가 데모와 자동 생성된 롤아웃(Rollout) 데이터가 혼합된 더 넓은 범위의 데이터셋을 사용하여 학습됩니다.
  • 롤아웃 데이터 수집: 기본 정책의 중간 체크포인트들을 학습 중에 저장하여 환경 내에서 롤아웃합니다. 이를 통해 인간의 텔레오퍼레이션, 보상 주석, 또는 성공 라벨 없이도 편차를 포괄하는 다양한 상태-행동 쌍을 생성합니다.
  • 모델 구조: 역학 모델은 기본 정책과 공유되는 고정된(Frozen) 시각 인코더 $h_\theta$와 학습 가능한 역학 예측기 $f_\phi$(디코더 전용 트랜스포머로 구현)로 구성됩니다. 이는 현재의 잠재 상태와 후보 행동 시퀀스를 기반으로 미래의 잠재 관측값을 예측합니다.

2. 학습 단계

• 기본 정책: 전문가 데이터에 대한 행동 복제 손실(BC loss)을 통해 최적화됩니다.
• 역학 모델: 예측된 미래 잠재 상태와 실제(Ground-truth) 미래 잠재 상태 사이의 잠재 공간 평균 제곱 오차(MSE) 손실을 사용하여 학습됩니다. 고정된 인코더를 사용함으로써 정책의 결정 공간과 역학 모델의 예측 공간 사이의 일관성을 보장합니다.

3. 추론 시 최적화 (스티어링)

추론 시, LPB는 드리프트(Drift)를 방지하기 위해 기본 정책을 능동적으로 스티어링(Steering)합니다:

1. OOD 탐지: 시스템은 현재 인코딩된 관측값과 전문가 잠재 공간에서의 가장 가까운 이웃 사이의 $\ell_2$ 거리를 정의하는 **잠재 OOD 점수($\delta$)**를 계산합니다.
2. 임계값 설정: $\delta$가 사전 정의된 임계값 $\tau$ 미만이면, 기본 정책은 정상적으로 실행됩니다.
3. 그래디언트 가이드 (Gradient Guidance): $\delta > \tau$인 경우, 시스템은 확산 모델의 분류기 가이드(Classifier guidance)에서 영감을 얻은 수정 메커니즘을 호출합니다.
   • 시스템은 후보 행동들에 기반하여 미래 잠재 상태를 예측합니다.
   • 시스템은 행동 시퀀스에 대한 OOD 점수의 그래디언트를 계산합니다.
   • 이 그래디언트는 확산 디노이징 과정의 노이즈 예측을 정교화하는 데 사용되며, 이는 예측된 미래 상태를 전문가 매니폴드(Expert manifold) 쪽으로 다시 끌어당기는 효과를 줍니다.
   • 참고: 안정성을 보장하기 위해, 그래디언트 가이드는 샘플이 더 구조화된 마지막 $K_{guide}$ 디노이징 단계(예: 100단계 중 마지막 10단계) 동안에만 적용됩니다.

주요 기여

1. 분리된 학습 프레임워크: LPB는 정밀한 모방(기본 정책)과 강건성(역학 모델)의 학습을 분리하여, 정밀한 모방을 위해 적은 양의 고품질 전문가 데이터만을 사용하면서도 롤아웃 데이터를 통해 강건성을 확보할 수 있게 합니다.
2. 암시적 장벽 메커즘: 명시적인 분석적 안전 집합(Analytical safety sets)이나 시스템 역학을 요구하는 대신, LPB는 전문가 데이터 분포에 의해 정의된 잠재 공간 내의 암시적 장벽을 학습합니다.
3. 플러그 앤 플레이 호환성: 이 방법은 역학 모델을 롤아웃 데이터로 학습할 수 있다면, 기본 정책을 재학습하거나 파인튜닝할 필요 없이 기존의 사전 학습된 정책을 강화할 수 있습니다.
4. 데이터 효율성: 롤아웃 데이터를 활용함으로써 노동 집약적인 인간의 수정이나 주석에 대한 의존도를 낮춥니다.

실험 결과

저자들은 시뮬레이션 환경(Push-T, Robomimic, Libero-10)과 실제 로봇 작업(Cup Arrangement, Belt Assembly)에서 LPB를 평가했습니다.

• 샘플 효율성: 저데이터 환경(예: 전문가 데모의 20%만 사용)에서 LPB는 Expert BC, Mixed BC, Filtered BC, CQL, CCIL을 포함한 베이스라인들을 일관되게 능가했습니다. 이러한 개선은 Tool-Hang 및 Transport와 같은 장기 호라이즌(Long-horizon) 및 정밀도가 중요한 작업에서 가장 두드러졌습니다.
• 섭동에 대한 강건성: 추론 중 행동에 가우시안 노이즈를 주입했을 때, LPB는 베이스라인들과 비교하여 가장 높은 성공률을 유지하며 공변량 변화에 대한 우수한 회복력을 보여주었습니다.
• 실제 성능:
  • Cup Arrangement: LPB는 카메라가 컵이나 받침대를 모두 볼 수 없는 OOD 초기 포즈로부터 성공적으로 회복하여, 로봇을 물체를 드러내는 방향으로 스티어링한 반면, 기본 정책은 실패했습니다.
  • Belt Assembly: 높은 정밀도가 요구되는 접촉 중심 작업에서, LPB는 성공률을 기본 BC의 0.55에서 0.75로 향상시켰으며, 기본 정책을 실패하게 만드는 초기 편차로부터 성공적으로 회복했습니다.
• Ablation (소거 실험): 연구를 통해 역학 모델이 비록 하위 최적일지라도 롤아웃 데이터의 더 넓은 상태-행한 커버리지로부터 이득을 얻는다는 점과, 잠재 OOD 점수가 드리프트 탐지 및 수정을 위한 신뢰할 수 있는 신호 역할을 한다는 점을 확인했습니다.

의의 및 주장

이 논문은 LPB가 모방의 정밀도와 강건성 사이의 트레이드오프를 해결함으로써 신뢰할 수 있는 시각-운동 학습을 향한 실질적인 경로를 제공한다고 주장합니다. 행동 복정을 수동적인 모방자에서 능동적이고 자기 수정이 가능한 제어기로 변환함으로써, LPB는 다음을 가능하게 합니다:

• 제한된 전문가 데이터로부터의 신뢰할 수 있는 조작.
• 추가적인 인간의 수정이나 주석 없는 강건성 확보.
• 잠재 공간 내에서 정책을 전문가 매니폴드로 다시 유도함으로써 OOD 상태로부터의 회복 능력.

저자들은 LPB가 현재 단기적이고 국소적인 편차를 수정하며 작업 특정적인 역학 모델을 필요로 한다는 점을 언급하며 한계를 인정했습니다. 향차 연구로는 장기 호환성 추론, 제로샷 일반화를 위한 멀티태스크 역학 모델, 그리고 전문가 학습 데이터가 없는 시나리오를 위한 분포 없는 불확실성 정량화 등을 제시했습니다.