Referring-Aware Visuomotor Policy Learning for Closed-Loop Manipulation

1. 문제 정의 (Problem Definition)

기존의 시모터 (Visuomotor) 정책 학습 모델들은 대량의 전문가 시연 데이터 (Expert Demonstrations) 를 기반으로 모방 학습 (Imitation Learning) 을 수행하여 다양한 작업을 수행할 수 있습니다. 그러나 이러한 모델들은 다음과 같은 근본적인 한계를 가지고 있습니다.

• 분포 외 (OOD) 상황에서의 취약성: 학습된 분포에서 벗어난 상태 (예: 예상치 못한 장애물, 실행 오류로 인한 편차) 에 직면하면, 모델은 오류를 복구하거나 경로를 재계획하지 못하고 작업에 실패합니다.
• 복잡한 환경 적응의 부재: 기존의 OOD 문제 해결을 위한 접근법 (대규모 오류 데이터 수집, 수동 보상 함수 설계, 고수준 추론 플랜너와의 결합 등) 은 데이터 수집 비용이 너무 크거나, 동적 환경에서 일반화되지 않거나, 실시간 반응 속도가 느린 문제가 있습니다.

핵심 질문: 전문가 시연 데이터만 사용하여 학습했을 때, 동적 환경에서 발생하는 분포 외 (OOD) 상황이나 외부의 지시 (Referring Information) 에 대해 어떻게 정책 모델의 강건성 (Robustness) 을 높일 수 있는가?

2. 제안 방법론: ReV (Referring-Aware Visuomotor Policy)

저자들은 ReV라는 새로운 폐쇄 루프 (Closed-loop) 프레임워크를 제안합니다. 이는 인간이나 고수준 추론 플랜너 (예: LLM 기반) 로부터 제공되는 희소 참조 점 (Sparse Referring Points) 을 실시간으로 수용하여 작업을 재계획하고 오류를 복구할 수 있는 모델입니다.

2.1. 핵심 아키텍처: 결합된 확산 헤드 (Coupled Diffusion Heads)

ReV 는 단일 확산 모델이 아닌, 두 단계로 나뉜 결합된 확산 헤드 구조를 사용합니다.

1. 전역 확산 헤드 (Global Diffusion Head, GDH):
   • 현재 관측치와 이전 실행된 행동 앵커 (Action Anchors) 를 기반으로 희소하지만 전역적으로 일관된 행동 앵커 시퀀스를 생성합니다.
   • 이는 장기적인 작업 구조와 의도를 파악하는 역할을 합니다.
2. 국부 확산 헤드 (Local Diffusion Head, LDH):
   • GDH 가 생성한 인접한 두 개의 앵커 사이를 시간 의존적 (Temporal-dependent) 인터폴레이션 전략으로 채워 넣습니다.
   • 이를 통해 매끄럽고 세밀한 (Fine-grained) 전체 궤적을 생성합니다.
   • 폐쇄 루프 추론: 매 실행 단계마다 모델을 반복 호출하여 최신 관측치와 실행 이력을 반영하고 궤적을 동적으로 재계획합니다.

2.2. 참조 인식 설계 (Referring-Aware Design)

외부에서 제공된 3D 참조 점 ($P$) 을 궤적에 통합하기 위한 두 가지 핵심 모듈이 있습니다.

1. 시간 위치 예측 모듈 (Temporal-Position Prediction):
   • 전체 궤적 내에서 참조 점 $P$가 도달해야 할 최적의 시간적 위치 (Temporal Position) 를 분류 문제로 예측합니다.
   • Transformer 인코더를 사용하여 과거 앵커와 미래 예측 앵커를 기반으로 확률 분포를 생성합니다.
2. 궤적 조향 전략 (Trajectory-Steering Strategy):
   • 예측된 시간 위치에 해당하는 참조 점을 부분적으로 제약된 행동 (Partially Constrained Action) 으로 변환합니다. (예: 위치는 고정, 회전은 자유)
   • 확산 과정 (Denoising) 중 마스크된 디노이징 (Masked Denoising) 기법을 적용하여, 생성된 궤적이 반드시 해당 참조 점을 통과하도록 유도합니다.
   • 이는 GDH 의 앵커 생성 단계와 LDH 의 인터폴레이션 단계 모두에 적용됩니다.

2.3. 학습 전략

• 데이터 증강: 추가적인 오류 데이터 수집 없이, 기존 전문가 시연 데이터에 타겟팅된 교란 (Perturbations) 을 가하여 합성 참조 행동 ($P_a$) 을 생성합니다.
• 손실 함수: 시간 위치 예측을 위한 분류 손실 (Cross-Entropy) 과 확산 헤드를 위한 MSE 손실을 결합하여 학습합니다.
• 장점: 별도의 미세 조정 (Fine-tuning) 이나 추가 데이터 없이, 오직 시연 데이터만으로도 OOD 상황에 대응할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 참조 인식 시모터 정책 (ReV): 모방 학습 프레임워크 내에서 외부 지시 (참조 점) 를 통합하여 OOD 상황과 동적 장애물을 처리하는 새로운 폐쇄 루프 정책 모델 제안.
2. 결합 확산 헤드 아키텍처: 전역적 일관성을 유지하는 희소 앵커 생성 (GDH) 과 시간 의존적 인터폴레이션을 통한 세밀한 궤적 생성 (LDH) 을 결합하여, 긴 시간 범위의 작업 실행 패턴을 효과적으로 학습.
3. 실시간 궤적 재계획: 외부 참조 점에 기반한 실시간 궤적 수정을 통해, 추가 데이터 수집 없이도 복잡한 시뮬레이션 및 실세계 작업에서 높은 성공률을 달성.

4. 실험 결과 (Results)

저자는 시뮬레이션 (RoboFactory, Adroit, DexArt, MetaWorld) 과 실세계 (Dual-arm 로봇) 환경에서 광범위한 실험을 수행했습니다.

• 정량적 평가:
  • Region Penetration Rate (RePR): 제안된 ReV 는 모든 시나리오에서 100% 의 비율로 지정된 참조 점을 통과했습니다. 반면, 기존 방법들 (ACT, DP3, CDP 등) 은 참조 점을 무시하고 목표 지점으로만 이동하여 RePR 이 매우 낮았습니다.
  • 성공률 (Success Rate): 참조 점 통과 및 작업 완료 모두를 성공 조건으로 했을 때, ReV 는 기존 SOTA 모델들을 압도적으로 능가했습니다 (예: Lift Barrier 작업에서 100% 성공).
  • OOD 일반화: 전문가 분포에서 벗어난 참조 점 (OOD-yet-feasible) 에 대해서도 ReV 는 높은 성공률을 유지하며 강건성을 입증했습니다.
• 실세계 적용:
  • 실제 로봇 팔 (ORBBEC PiPER) 을 이용한 실험에서도 ReV 는 장애물 회피, 물체 이동, 정밀 조작 등 다양한 작업에서 기존 방법보다 월등히 우수한 성능을 보였습니다.
• Ablation Study:
  • 결합된 확산 헤드 아키텍처가 단일 확산 모델이나 슬라이딩 윈도우 기반 모델보다 장기적 일관성 확보에 필수적임을 입증했습니다.
  • 학습 가능한 LDH 가 고정된 인터폴레이션이나 최적화 기반 방법보다 비균일한 밀도 보정에 효과적임을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 로봇 조작의 강건성과 적응성을 높이는 중요한 전환점을 제시합니다.

• 데이터 효율성: 대규모 오류 데이터나 복잡한 보상 함수 설계 없이, 기존 시연 데이터만으로 OOD 상황을 처리할 수 있는 방법을 제시했습니다.
• 실시간 상호작용: 인간이나 고수준 AI 가 실시간으로 "이곳을 경유하라"는 지시를 내리면, 로봇이 즉시 이를 반영하여 경로를 수정할 수 있어 안전하고 유연한 인간 - 로봇 협업이 가능해집니다.
• 미래 전망: ReV 는 VLM(시각 - 언어 모델) 이나 월드 모델과 결합하여 더 복잡하고 추론이 필요한 작업을 수행하는 데 활용될 수 있는 잠재력을 가지고 있습니다.

요약하자면, ReV 는 외부 지시를 실시간으로 수용하여 오류를 복구하고 경로를 재계획하는 능동적인 로봇 제어 정책을 구현함으로써, 동적 환경에서의 로봇 조작 신뢰성을 획기적으로 향상시킨 연구입니다.