Rewind-IL: Online Failure Detection and State Respawning for Imitation Learning

1. 문제 정의 (Problem)

로봇 공학에서 모방 학습 (Imitation Learning, IL) 은 전문가 시연 데이터를 통해 복잡한 시각 - 운동 (visuomotor) 조작 기술을 습득하는 데 성공적으로 적용되어 왔습니다. 특히 액션 청킹 (Action-Chunking) 방식을 사용하는 정책 (예: ACT, Diffusion Policy) 은 단일 시간 단계가 아닌 미래의 일련의 동작을 예측하여 장기적 (long-horizon) 작업 수행 능력을 크게 향상시켰습니다.

그러나 이러한 정책들은 배포 시 취약성 (brittleness) 을 보입니다.

• 실패 시 복구 불가: 작은 실행 오차, 관측 변화, 또는 물체 이동 등으로 인해 로봇이 시연 데이터의 분포 (manifold) 를 벗어나면, 정책은 여전히 국소적으로 타당한 동작을 생성하지만 작업 진행은 멈추는 상태에 빠집니다.
• 기존 방법의 한계: 기존 런타임 모니터링 기법들은 대부분 실패를 감지하는 데 그치거나, 실패 데이터가 필요하거나, benign 한 특징의 변화 (feature drift) 를 과도하게 실패로 오인 (over-trigger) 하는 문제가 있습니다. 또한 실패 감지 후 로봇을 어떻게 복구할지에 대한 메커니즘이 부재합니다.

핵심 질문: 언제 개입해야 하는가 (When to intervene)? 그리고 어디로 되돌려야 하는가 (Where to return)?

2. 방법론 (Methodology: Rewind-IL)

저자들은 Rewind-IL을 제안합니다. 이는 추가적인 학습 (training-free) 이 필요 없는 온라인 안전 장치 (safeguard) 프레임워크로, 실패 감지와 상태 복구 (State Respawning) 를 분리하여 처리합니다.

A. 제로샷 실패 감지: TIDE (Temporal Inter-chunk Discrepancy Estimate)

• 원리: 액션 청킹 정책은 중첩된 (overlapping) 청크 예측 간의 일관성을 가정합니다. TIDE 는 현재 시간 단계에서 예측된 새로운 액션 청크와, 이전 시간 단계에서 예측했던 계획 (plan) 간의 불일치 (discrepancy) 를 측정합니다.
• 신호: 로봇이 정상적인 상태 (demonstration manifold) 에 있을 때는 예측이 일관되지만, 상태가 벗어나면 급격한 불일치가 발생합니다.
• 보정 (Calibration): 성공적인 시연 데이터만 사용하여 분할 컨포멀 예측 (Split Conformal Prediction) 을 통해 임계값을 설정합니다. 이를 통해 실패 데이터 없이도 통계적으로 유의미한 실패 감지 임계값을 도출할 수 있습니다.

B. 의미 기반 상태 복구 (State Respawning)

• 오프라인 체크포인트 구축:
  • VLM 활용: 비전 - 언어 모델 (VLM) 이 학습용 시연 비디오를 분석하여 의미 있는 복구 지점 (예: 잡기 완료, 하위 작업 전환점) 을 자동으로 식별합니다.
  • 잠재 특징 추출: 정책의 인코더를 고정 (frozen) 하고 해당 시점의 관찰 (observation) 에 대한 잠재 특징 벡터 (latent feature) 를 추출합니다.
  • 템플릿 생성: 커널 밀도 추정 (KDE) 을 사용하여 각 슬롯 (slot) 별 가장 대표적인 특징 템플릿을 선택하여 데이터베이스를 구축합니다.
• 온라인 복구 프로세스:
  • 실패가 감지되면, 현재 로봇 상태의 특징과 오프라인 체크포인트 데이터베이스 간의 코사인 유사도를 계산합니다.
  • 가장 유사도가 높았던 시점 (peak similarity) 의 액션 스냅샷을 찾아 로봇을 해당 상태로 되돌립니다 (Respawn).
  • 정책의 메모리 (temporal ensembler) 를 초기화하고 깨끗한 상태에서 추론을 재개합니다.

3. 주요 기여 (Key Contributions)

1. Rewind-IL 프레임워크: 액션 청킹 기반 생성형 모방 학습 정책에 대한 효율적인 실패 감지 및 복구 온라인 안전 장치를 제안했습니다.
2. TIDE 및 컨포멀 예측: 정책의 자기 일관성 (self-consistency) 을 기반으로 한 제로샷 실패 감지 신호 (TIDE) 와 이를 보정하는 컨포멀 예측 기법을 개발했습니다.
3. VLM 기반 체크포인트 파이프라인: 실패 데이터 없이도 의미 있는 복구 목표 지점을 자동으로 선정하는 오프라인 파이프라인을 제시했습니다.
4. 실험적 검증: 실제 로봇 (이중 암) 과 시뮬레이션 환경에서 장기 조작 작업을 수행하며, 자연 발생 실패 및 적대적 교란 (adversarial disturbance) 하에서도 성공률을 크게 향상시켰음을 입증했습니다. 또한 Flow-Matching 기반 정책으로도 확장 가능함을 보였습니다.

4. 실험 결과 (Results)

• 실패 감지 성능:
  • TIDE 는 6 가지 실제 작업에서 평균 95% 의 균형 정확도 (Balanced Accuracy) 를 기록했습니다.
  • 기존 방법들 (FAIL-Detect, RND, Mahalanobis 등) 은 정상적인 특징 변화를 실패로 오인하는 과감지 (over-triggering) 문제가 심각했으나, TIDE 는 이를 효과적으로 피했습니다 (예: 접는 수건 작업에서 TNR 0.92).
• 작업 성공률 향상:
  • 실제 환경: 교란이 없는 경우 ACT 대비 성공률 520%p 향상, 교란 (Perturbation) 조건에서는 ACT 단독 (성공률 1525%) 대비 Rewind-IL 적용 시 75~85% 까지 성공률을 회복했습니다.
  • 시뮬레이션 (RoboCasa): 모든 작업에서 15~20%p의 성공률 향상을 보였습니다.
• Flow-Matching 정책 적용:
  • ACT 의 디코더를 Flow-Matching (FM) 으로 변경한 정책에서도 TIDE 는 99% 의 감지 정확도를 보였으며, Rewind-IL 을 적용 시 성공률이 75~90% 로 크게 개선되었습니다.
• 계산 오버헤드:
  • 전체 파이프라인 (TIDE 계산, 유사도 매칭, 슬롯 관리) 의 실행 시간은 약 0.2ms 미만으로, 실시간 제어 (30Hz) 에 전혀 부담이 되지 않습니다.

5. 의의 및 결론 (Significance)

Rewind-IL 은 모방 학습 로봇의 배포 신뢰성을 높이는 실용적인 솔루션을 제공합니다.

• 학습 불필요: 추가적인 학습이나 실패 데이터 수집 없이 기존 정책과 시연 데이터만으로 작동합니다.
• 의미 기반 복구: 단순한 기하학적 초기화가 아니라, VLM 이 검증한 의미 있는 중간 상태로 복귀하여 작업의 맥락을 유지합니다.
• 일반화: 다양한 아키텍처 (ACT, Flow-Matching) 에 적용 가능하며, 외부 교란에도 강건하게 대응할 수 있음을 입증했습니다.

이 연구는 로봇이 실패했을 때 단순히 멈추는 것이 아니라, 스스로를 안전한 상태로 되돌려 작업을 재개할 수 있게 함으로써 장기적 자율 조작의 실용성을 한 단계 끌어올렸습니다.