기술 요약: ReGuide

문제 정의

행동 복제(Behavior-cloned) 확산 정책(diffusion policies)은 다중 모드 행동 분포를 모델링하는 데 있어 표현력이 뛰어나지만, **공변량 변화(covariate shift)**에 취약합니다. 전문가 시연으로부터 벗어난 미세한 편차는 정책이 훈련 분포 외부의 관측치를 쿼리하게 만들어, 오류가 누적되고 결국 작업 실패로 이어지는 현상을 초래합니다. 이는 특히 장기 호라이즌(long-horizon) 조작 작업에서 두드러집니다.

기존 솔루션들은 상당한 트레이드오프에 직면해 있습니다:

• 훈련 분포 확장: DAgger와 같은 방법은 수정을 위한 지속적인 전문가의 접근을 요구하며, 데이터 증강(data augmentation)은 작업 구조나 국소 역학(local dynamics)에 대한 가정을 전제로 합니다.
• 테스트 타임 가이던스(Test-Time Guidance): 최근의 방법들(예: DynaGuide, Latent Policy Barrier)은 학습된 역학 모델의 그래디언트를 사용하여 추론 시점에 고정된 정책을 유도합니다. 그러나 이러한 접근 방식은 교정된 궤적을 실행 후 버리며, 회복된 데이터를 정책 개선을 위해 활용하지 못합니다.

방법론: ReGuide

ReGuide는 테스트 타임 가이던스를 재사용 가능한 온-폴리시(on-policy) 회복 데이터를 생성하는 메커니즘으로 변환하는 자기 개선(self-improving) 프레임워크입니다. 이는 세 가지 핵심 구성 요소로 이루어진 반복적인 롤아웃–수집–훈련(rollout–collect–train) 루프를 통해 작동합니다.

1. 단계 인식형 타겟 구축 (Phase-Aware Target Construction)

장기 호라이즌 작업에서의 전역적 타겟의 모호성을 해결하기 위해, ReGuide는 시연을 시간 순서대로 정렬된 **매크로 페이즈(macro-phases)**로 분해합니다.

• 특징 증강 (Feature Augmentation): 서로 다른 작업 단계에 속하는 시각적으로 유사한 상태들을 구별하기 위해, 잠재 상태(latent states)에 시간적 차이(시각 및 고유 수용 감각)를 증강합니다.
• 클러스터링 (Clustering): PCA를 통해 특징을 클러스터링하고 타임스텝에 따라 정렬하여 매크로 페이즈를 형성합니다.
• 타겟 세트 (Target Sets): 각 페이즈 $j$에 대해 대표적인 중심점(centroids) 집합 $P_j$를 구축합니다. 이는 페이즈 내의 다중 모드성을 보존하면서도, 단일 전역 매니폴드가 아닌 정밀하고 국소적인 가이던스 타겟을 제공합니다.

2. 페이즈 조건부 가이던스 (Phase-Conditioned Guidance, PCG)

ReGuide는 학습된 역학 모델을 사용하여 확산 디노이징(denoising) 과정을 가이드하지만, 데이터 품질을 보장하기 위해 특정 제약 조건을 적용합니다.

• 클린 액션 가이던스 (Clean-Action Guidance): 노이즈가 섞인 디노이징 반복 단계에 대해 미분하는 표준 가이던스와 달리, ReGuide는 Manifold Preserving Guided Diffusion (MPGD)을 적응시킵니다. 이는 역학 모델이 훈련된 분포와 일치하도록 **추정된 클린 액션($\hat{A}^0_t$)**을 통해 가이던스 그래디언트를 적용합니다.
• 이중 임계값 게이팅 (Two-Threshold Gating): 가이던스는 "편차는 있으나 회복 가능한(drifted-but-recoverable)" 영역에서만 적용됩니다.
  • 하한 임계값은 롤아웃이 이미 전문가 매니폴드에 근접해 있을 때 불필요한 개입을 방지합니다.
  • 상한 임계값은 롤아웃이 훈련 분포에서 너무 멀어져 외삽(extrapolative) 역학 그래디언트에 의존하게 되는 것을 방지합니다.
  • 이러한 임계값은 각 작업 단계의 국소 기하학에 적응하도록 페이즈별로 설정됩니다.
• 페이즈 전환 (Phase Switching): 시스템은 현재 페이즈 인덱스를 추적하며, 예측된 잠재 상태가 다음 페이즈의 타겟에 지속적으로 가까워질 때만 단계를 진행합니다.

3. 반복적 자기 개선 학습 (Iterative Self-Improvement Learning)

성공적으로 가이드된 롤아웃은 필터링되어 기존 데이터셋에 흡수되어 정책을 업데이트합니다. 이 프레임워크는 두 가지 상호 보완적인 업데이트 메커니즘을 지원합니다.

• ReGuide-FT (미세 조정): 기존 데이터셋과 새로운 가이드된 롤아웃의 혼합물에 대해 현재 체크포인트를 미세 조정합니다. 이는 계산 효율적이며 기존의 능력을 보존합니다.
• ReGuide-FS (처음부터 학습): 증강된 데이터셋을 바탕으로 새로운 정책을 처음부터 다시 훈련합니다. 이는 초기 체크포인트에 대한 의존성을 제거하며, 베이스 정책의 초기화 성능이 낮을 때 유용합니다.
• 구성 (Composition): 이들은 결합될 수 있습니다 (예: ReGuide-FS 수행 후 ReGuide-FT 수행). 이를 통해 두 방식의 강점을 결합할 수 있습니다.

주요 기여

1. 데이터 생성 메커니즘: ReGuide는 테스트 타임 가이던스를 단순한 교정 도구가 아니라, 정책이 어디에서 이탈하고 어떻게 회복하는지를 포착하는 고품질의 온-폴리시 회복 데이터를 생성하는 도구로 재정의합니다.
2. 페이즈 조건부 가이던스 (PCG): 타겟을 작업 페이즈에 국한시키고 가이던스를 신뢰할 수 있는 영역으로 제한하여 유효한 행동 모드의 붕괴를 방지하는 새로운 가이던스 전략입니다.
3. 클린 액션 미분: 가이던스를 노이즈 섞인 반복 단계가 아닌 추정된 클린 액션을 통해 미분하도록 적응시켜, 클린 데이터로 훈련된 역학 모델과의 호환성을 보장합니다.
4. 반복 루프: 추가적인 전문가 시연 없이도 정책을 반복적으로 개선할 수 있는 프레임워크로, 오직 스스로 생성한 데이터의 성능 천장에 의해서만 제한됩니다.

실험 결과

저데이터 환경(low-data regimes)에서 네 가지 Robomimic 조작 작업(Can, Square, Transport, Tool Hang)에 대해 평가되었습니다:

• 성능 향상: ReGuide는 베이스 정책의 성공률을 1.3–7.7배 향상시켰습니다.
  • Tool Hang 작업은 가장 극적인 개선(반복적 ReGuide-FT 적용 시 7.7배)을 보였으며, 베이스 성공률 3%에서 상승했습니다.
  • Can, Square, Transport 작업은 단일 반복 시 1.3–1.5배의 일관된 개선을 보였으며, 구성 또는 반복 시 추가적인 이득을 얻었습니다.
• LPB와의 비교: 테스트 타임 전용 설정(미세 조정 없음)에서, PCG는 모든 평가된 작업에서 Latent Policy Barrier (LPB) 베이스라인보다 우수한 성능을 보였습니다.
• 어블레이션 통찰 (Ablation Insights):
  • 가이드 유무 (Guided vs. Unguided): 이득은 단순히 추가된 롤아웃의 양이 아니라, 가이드된 회복 데이터의 품질에서 기인합니다.
  • 임계값 설정 (Thresholding): 이중 임계값 게이트가 매우 중요합니다. 상한 임계값을 제거하면 성능이 크게 저하됩니다.
  • 다중 모드성 (Multimodality): 중간 정도의 페이즈 타겟 수($M \approx 50$)가 최적입니다. 너무 적으면 모드가 붕괴되고, 너무 많으면 신호가 희석됩니다.
  • 반복 (Iteration): 두 번째 ReGuide-FT 반복은 첫 번째보다 일관되게 높은 성능을 보여, 자기 개선 루프의 실효성을 입증했습니다.

의의 및 주장

본 논문은 ReGuide가 실패하거나 교정된 궤적을 가치 있는 훈련 데이터로 전환함으로써, 공변량 변화 문제를 해결하는 실질적인 솔루션을 제공한다고 주장합니다. 가이드된 롤아웃을 재사용 가능한 온-폴리시 데이터로 취급함으로써, ReGuide는 지속적인 전문가 개입의 높은 비용 없이 정책이 반복적으로 스스로 개선될 수 있게 합니다.

저자들은 이 프레임워크의 범위가 **겸손하다(modest)**는 점을 강조합니다: 효율성을 위해 반복 과정 동안 고정된 역학 모델을 사용하며, 궤적 수준의 성공 필터링에 의존합니다. 또한, 이 방법이 시뮬레이션에서는 잘 작동하지만, 실제 로봇 검증, 적응형 페이즈 발견, 그리고 역학 모델의 불확실성 보정에 대한 향후 연구가 필요함을 인정합니다. 핵심 기여는 가이드된 회복 데이터가 가이드되지 않은 롤아웃보다 더 가치 있다는 점을 입증하여, 정책 자체의 교정된 경험에 의해 구동되는 폐쇄 루프(closed loop)의 정책 개선을 보여준 데 있습니다.