Warm-Starting Collision-Free Model Predictive Control With Object-Centric Diffusion

기술 요약: 객체 중심 확산 모델을 이용한 웜 스타트 방식의 충돌 회피 모델 예측 제어

문제 정의
복잡하고 비볼록(non-convex)한 환경에서의 로봇 조작은 충돌이 없으면서도 동시에 동역학적 타당성(dynamically feasible)을 갖춘 동작을 생성해야 합니다. 고전적인 궤적 최적화 및 모델 예측 제어(MPC)는 물리적 제약을 강제할 수 있지만, 초기값에 매우 민감하며 복잡한 장면에서 지역 최적해(local minima)에 빠지는 경우가 빈번합니다. 반대로, 확산 모델(diffusion models)과 같은 학습 기반 접근 방식은 실행 가능한 궤적의 다중 모드 분포(multi-modal distribution)를 포착하는 데 탁월하지만, 역사적으로 장면 구조에 따라 조건을 부여하는 일반적이고 효율적인 메커니즘이 부족했습니다. 또한, 기존의 확산 기반 방법들은 물리적 하드웨어에 배포될 때 동역학적 타당성이나 안전 제약을 엄격하게 준수하지 못하는 개루프(open-loop) 궤적을 생성하는 경우가 많았습니다.

방법론
저자들은 조건부 확산 모델을 통한 궤적 생성과 제약 기반 MPC 솔버를 통한 정교화(refinement)를 결부터 하는 하이브리드 2단계 프레임워크를 제안합니다. 이 아키텍처는 세 가지 통합된 구성 요소로 이루어져 있습니다:

1. 객체 중심 장면 표현: 확산 모델에 환경 정보를 조건화하기 위해, 저자들은 Slot Attention 기반 인코더를 도입했습니다. 이 모듈은 작업 공간의 단일 뷰 RGB 이미지를 처리하여, 각각의 별개 객체나 장애물을 나타내는 압축된 형태의 잠재적 "슬롯(slots)" 세트를 추출합니다. 이 객체 중심 표현은 고차원의 포인트 클라우드나 이미지 없이도 필수적인 충돌 기하 구조를 포착하는 순열 불변(permutation-invariant)의 저차원 조건 신호를 제공합니다.
2. 조건부 확산 웜 스타트(Warm-Start): Diffusion Transformer (DiT)는 로봇의 초기 상태, 목표 말단 장치(end-effector) 위치, 그리고 장면의 잠재적 슬롯 표현을 조건으로 하여 궤적 시퀀스를 노이즈 제거하도록 학습됩니다. 이 모델은 실행 가능한 모션 시퀀스에 대한 사전 확률(prior)을 학습하여, 장애물을 우회하는 다양한 궤적 제안을 생성합니다.
3. 최적 제어를 통한 MPC 정교화: 확산 모델에서 샘플링된 궤적은 재귀적 수평선(receding-horizon) MPC 솔버를 위한 "웜 스타트" 역할을 합니다. 솔버는 목표 추적, 상태 정규화(확산 사전 확률으로부터의 편차에 패널티 부여), 제어 노력으로 구성된 비용 함수를 최소화하는 최적 제어 문제(OCP)를 정식화합니다. 결정적으로, OCP는 강체 역학 및 부호 거리(signed-distance) 충돌 회피를 포함한 엄격한 제약을 강제합니다. 이 단계는 생성된 사전 확률을 동역학적으로 타당하고 엄격하게 충돌이 없는 궤적으로 투영합니다.

주요 기여

• 하이브리드 아키텍처: 본 논문은 객체 중심 확산 사전 확률과 풀-다이내믹스(full-dynamics) MPC를 결합함으로써, 순수 최적화의 초기값 민감도와 순수 학습 기반 방식의 안전성 한계를 극복하고 엄격한 시간 제한 내에서 신뢰할 수 있는 동작 생성을 달 수 있음을 입증했습니다.
• 객체 중심 조건화: 저자들은 장면 인코딩을 위한 Slot Attention 메커니즘을 제안하고 검증하였으며, 이것이 이미지 기반, 점유 격자(occupancy grid) 또는 구성 공간(configuration-space) 표현보다 더 압축적이고 일반화 가능한 조건 신호를 제공함을 보여주었습니다.
• 실시간 폐루프 제어: 저수준 컨트롤러에 의해 추적되는 개루프 궤적을 생성하는 기존 연구들과 달리, 이 방식은 100Hz에서 물리적 로봇에 대해 폐루프 재계획(closed-loop replanning)을 수행하며, 동역학 및 안전 제약을 엄격하게 준수합니다.
• 체계적인 데이터 생성: 샘플링 기반 플래닝(RRT)과 제약 궤적 최적화를 결리하여 매끄럽고 실행 가능한 전문가 궤적을 생성하는 고품질 학습 데이터 파이프라인을 도입했습니다.

실험 결과
본 방법은 다양한 장애물 구성이 있는 세 가지 벤치마크 환경(테이블, 서랍, 선반)에서 Franka Emika Panda 로봇 팔을 대상으로 평가되었습니다.

• 성능: 제안된 방법은 세 환경에서 각각 82%, 79%, 83%의 성공률을 달성하여, 순수 OCP 베이스라인(<10% 성공률) 및 MPD(Motion-Planning Diffusion)와 같은 다른 학습 기반 방법들을 크게 앞질렀습니다. 또한 RRT-Connect, cuRobo와 같은 고전적 플래너 및 PRESTO 확산 베이스라인보다 궤적 비용 및 계산 시간 측면에서 우수한 성능을 보였습니다.
• 지연 시간(Latency): 시스템은 72ms 미만의 실행 시간을 가지며, 이는 실시간 제어에 적합합니다.
• 절제 연구(Ablation Studies): 실험을 통해 Slot Attention 표현이 이미지 기반 또는 점유 격자 조건화보다 특히 저계산 환경에서 더 우수함을 확인했습니다. 또한, OCP 정교화 과정이 존재할 경우 확산 과정 중의 비용-기울기 가이드(cost-gradient guidance)가 한계 효용을 보인다는 것을 발견하여, 최종 파이프라인에서는 이를 제외했습니다.
• 실제 로봇 검증: 물리적 로봇을 이용한 실험을 통해 AprilTag로 탐지된 장애물을 반응적으로 회피하고, 장애물이 동적으로 제거될 때 동작을 재최적화하는 시스템의 능력을 확인했습니다.

의의
본 논문은 이 접근 방식이 복잡하고 비볼록한 환경에서 견고한 실물 로봇 성능을 낼 수 있는 완전한 로보틱스 파이프라인을 구축한다고 주장합니다. 확산 모델의 전역적 추론을 사용하여 MPC의 국소 최적화를 가이드함으로써, 이 방법은 두 구성 요소가 단독으로는 달성할 수 없는 안전성, 효율성 및 성공률의 균형을 달성합니다. 본 연구는 충돌 인지 조작을 위해 생성적 사전 확률(generative priors)과 모델 기반 제어를 결합하는 것의 실질적인 타당성을 강조하며, 계산 효율적이면서도 물리적 안전 제약을 엄격히 준수하는 솔루션을 제공합니다.