기술 요약: STEP - 시공간 일관성 예측을 활용한 온스타트 비주얼 모터 정책

1. 문제 제기

확산 정책 (Diffusion policies) 은 다중 모달 행동 분포를 모델링하고 장기 의존성을 포착하는 능력으로 인해 로봇 비주얼 모터 제어의 강력한 패러다임으로 부상했습니다. 그러나 반복적인 디노이징 (일반적으로 약 100 단계 필요) 에 대한 의존성은 상당한 추론 지연을 초래하여, 고주파수 실시간 폐루프 제어 시스템에는 부적합하게 만듭니다.

기존 가속화 방법들은 일반적으로 세 가지 범주로 나뉘며, 각각 한계가 있습니다:

1. 개선된 수치 솔버 (예: DDIM, DPM-Solver): 이들은 역 과정을 재구성하여 샘플링 단계를 줄이지만, 여전히 정책 네트워크의 반복적 평가를 필요로 하므로 고차원 제어에서 효율성이 제한됩니다.
2. 직접 예측/증류 (예: CP, BRIDGER): 이들은 반복적 디노이징을 직접 예측 또는 일관성 기반 정제로 대체합니다. 그러나 경량 예측기는 잠재 분포를 목표 행동으로 매핑할 때 행동 품질이나 강건성을 저하시키지 않고는 어려움을 겪는 경우가 많습니다.
3. 행동 재사용 (예: RTI-DP, Falcon): 이들은 이전 행동을 통해 확산 과정을 온스타트함으로써 시간적 연속성을 활용합니다. 시간적 부드러움에는 효과적이지만, 현재 상태 조건부 행동 분포와 정렬되지 않아 공간적 불일치와 잠재적 실행 정지를 초래하는 경우가 많습니다.

핵심 과제는 원래 확산 정책의 생성적 표현력을 훼손하지 않으면서, 목표 행동 매니폴드와 분포적으로 근접한 (공간적 일관성) 동시에 이전 제어 단계와 시간적으로 일관된 고품질 온스타트 초기화를 구축하는 것입니다.

2. 방법론: STEP

저자들은 확산 기반 제어를 가속화하기 위해 역 확산 과정을 목표 분포 근처에서 초기화하면서 시간적 부드러움을 유지하는 경량 프레임워크인 STEP(Spatiotemporal consistency prediction, 시공간 일관성 예측) 을 제안합니다.

2.1. 시공간 일관성 예측

STEP 은 교차 주의 (cross-attention) 메커니즘을 구현한 Transformer 로 구성된 경량 예측기 $f_\theta$를 도입합니다.

• 입력: 현재 관측치 $o_t$와 이전 행동 시퀀스 $A_{t-H}$.
• 출력: 예측된 행동 시퀀스 $\hat{A}_t$.
• 메커니즘: 예측기는 관측치와 과거 행동을 중간 확산 단계 $K' < K$ (여기서 $K$는 총 단계로 일반적으로 100) 에서의 온스타트 초기화 $\tilde{A}_{K'}$로 매핑합니다.
• 학습: 예측기는 조건부 기대값 $E[A_t | o_t, A_{t-H}]$을 근사하기 위해 평균 제곱 오차 (MSE) 손실을 사용하여 별도로 학습됩니다.
• 추론: 순수 가우시안 잡음에서 시작하는 대신, 확산 과정은 온스타트된 행동 $\tilde{A}_{K'} = \sigma \hat{A}_t + \sigma_t \epsilon_t$와 함께 단계 $K'$에서 시작합니다. 그 후 과정은 $K'$에서 0 으로 진행됩니다.

2.2. 속도 인식 섭동 주입

실제 작업에서 흔히 발생하는 실행 데드락 (연속된 행동이 최소한의 변동을 보여 정적 마찰로 인해 로봇이 정지하는 현상) 을 해결하기 위해 STEP 은 속도 인식 섭동 메커니즘을 사용합니다.

• 탐지: 시스템은 비연속 시간 단계 간의 행동 변동 $\Delta A_t$를 모니터링합니다. 변동이 임계값 $\epsilon_a$ 미만으로 떨어지면 실행 정체 (stagnation) 가 탐지됩니다.
• 주입: 정체가 탐지되면 시스템은 유계 구동 여기 (noise) 를 주입하고 예측된 행동을 스케일링합니다. 구체적으로, 온스타트 행동은 잡음 항 $\sigma_{stall} \epsilon_t$와 스케일링 인자 $\sigma_{scale} < 1$을 포함하도록 수정됩니다.
• 효과: 이는 로봇이 국소 최소값이나 제어 데드 존에 갇히는 것을 방지하면서도 정상 실행 중에는 제어 정밀도를 저하시키지 않습니다.

2.3. 이론적 분석: 국소 수축성

본 논문은 제안된 방법이 **국소 수축 사상 (locally contractive mapping)**을 유도함을 보여주는 이론적 분석을 제공합니다.

• 디노이징 네트워크가 리프시츠 연속 (Lipschitz continuous) 이고 잡음 일정이 특정 조건을 만족한다고 가정할 때, 역 확산 과정이 수축 사상 ($c_k < 1$) 임이 입증됩니다.
• 시공간 예측기가 온스타트 초기화가 수축 근방 내에 있도록 보장하기 때문에, 온스타트 행동과 최적 행동 간의 오차는 후속 디노이징 단계 동안 지수적으로 감소합니다. 이는 단계 수가 현저히 줄어든 경우에도 수렴을 보장합니다.

3. 주요 기여

1. 시공간 일관성 예측 메커니즘: 현재 상태와의 공간적 정렬과 이전 행동과의 시간적 부드러움을 모두 만족하는 온스타트 행동을 생성하는 경량 예측기. 이는 높은 성공률을 유지하면서 저지연 제어 (최소 2 단계) 를 가능하게 합니다.
2. 속도 인식 섭동 주입: 실행 정체가 탐지될 때만 적응적으로 구동 여기 (actuation excitation) 를 주입하는 메커니즘으로, 제어 정밀도를 희생하지 않으면서 실제 배포 환경에서의 데드락을 방지합니다.
3. 국소 수축성 분석: 온스타트 전략이 수축 사상을 유도하여 감소된 단계 확산 정제 중 행동 오차의 수렴을 보장한다는 이론적 증명.

4. 실험 결과

저자들은 9 개의 시뮬레이션 벤치마크 (RoboMimic, Push-T, ManiSkill2) 와 2 개의 실제 세계 작업 (PickNPlace, StackCube) 에서 STEP 을 평가했습니다.

• 시뮬레이션 성능:

  • RoboMimic 벤치마크에서 2 단계로 실행된 STEP 은 공간 일관성만 고려한 방법인 BRIDGER 보다 평균 21.6% 높은 성공률을 달성했으며, 시간적 일관성만 고려한 방법인 Falcon 보다 훨씬 우수한 성능을 보였습니다.
  • 표준 솔버인 DDIM과 비교하여, STEP 은 2 단계로 실제 세계 작업에서 27.5% 향상된 성공률을 보였습니다.
  • STEP 은 성공률과 추론 지연 측면에서 수치 솔버 (DDIM, DPM-Solver++) 및 증류 기반 방법 (CP, OneDP) 보다 일관되게 우수한 성능을 보였으며, 특히 접촉이 많은 까다로운 작업에서 두드러졌습니다.
  • 매개변수 효율성 측면에서 STEP 의 예측기는 0.98M 개의 매개변수만 필요로 하여 CP(255M) 나 OneDP(251M) 보다 훨씬 적으면서도 동등하거나 더 나은 성능을 달성했습니다.

• 실제 세계 성능:

  • 엣지 장치 (NVIDIA RTX 2050) 에 배포된 STEP 은 2 개의 디노이징 단계와 약 20ms의 추론 지연으로 PickNPlace 및 StackCube 작업에서 100% 성공률을 달성했습니다.
  • 이는 100 단계의 원본 DDPM 대비 105.7 배, 8 단계의 DDIM 대비 4.8 배의 속도 향상이며, 높은 성공률을 유지합니다.
  • 속도 인식 섭동 주입은 실행 정지를 방지함으로써 실제 세계 시나리오에서 평균 에피소드 실행 시간을 59% 단축시켰습니다.

5. 중요성과 주장

본 논문은 STEP 이 확산 기반 비주얼 모터 정책의 추론 지연과 성공률에 대한 **파레토 프론티어 (Pareto frontier)**를 진전시켰다고 주장합니다. 온스타트 초기화 동안 명시적으로 시공간 일관성을 강제함으로써, STEP 은 일반적으로 이러한 공격적인 가속화와 관련된 성능 저하 없이 2 개의 디노이징 단계만으로 확산 정책이 효과적으로 작동하도록 합니다.

저자들은 그들의 접근 방식이 원래 확산 모델을 재학습하거나 더 작은 네트워크로 증류할 필요가 없는 원칙적인 온스타트 전략으로 작용한다고 강조합니다. 대신, 이는 원래 정책의 생성적 표현력을 보존하면서 리소스가 제한된 실시간 시스템에 배포를 가능하게 하는 보완적 모듈로 기능합니다. 국소 수축성에 대한 이론적 보장은 이러한 저단계 추론 체제의 안정성에 대한 엄밀한 기초를 제공합니다.