Diffusion Policy for Coordinated Control of a Nonholonomic Mobile Base and Dual Arms in Door Opening and Passing

기술 요약: 비홀로노믹 모바일 베이스와 듀얼 암의 협동 제어를 통한 문 열기 및 통과를 위한 확산 정책

문제 제기
본 논문은 비홀로노믹 모바일 베이스에 장착된 듀얼 암 로봇이 무겁고 자동 닫힘 (댐핑) 기능이 있는 당김 문을 열고 통과할 수 있도록 하는 복잡한 과제를 다룹니다. 이 작업은 장기 계획, 보행과 조작 간의 긴밀한 협동, 그리고 접촉이 풍부한 상호작용을 특징으로 합니다. 구체적으로 로봇은 손잡이를 회전시키고, 문 틈을 넓히며, 자동 닫힘 메커니즘에 대항하여 문을 고정하고, 필요에 따라 암을 전환한 후, 여유 공간을 유지하면서 개구부를 통과해야 합니다.

전통적인 모델 기반 접근법은 수동으로 정의된 단계 (예: 회전 후 당기기) 간 전환을 위한 상태 머신과 수동 제작된 궤적에 의존합니다. 이러한 방법들은 견고성이 부족하며, 광범위한 엔지니어링 없이는 다양한 실제 조건으로 일반화되지 못합니다. 최근 학습 기반 방법 (행동 복제, 강화 학습) 은 대안을 제시하지만, 종종 추상화된 상태 표현에 의존하거나 여러 하위 모듈이 필요하거나 단순화된 시나리오 (예: 댐핑이 없는 밀기 문) 로 제한됩니다. 기존에 시각 및 고유 감각 입력만을 사용하여 완전한 댐핑 당김 문 통과 작업을 위해 비홀로노믹 베이스와 듀얼 암을 동시에 협동시킨 시각 - 행동 모델은 존재하지 않았습니다.

방법론
저자들은 원시 관찰 (RGB 이미지 및 고유 감각 데이터) 을 직접 연속적인 동작으로 매핑하는 엔드 투 엔드 확산 기반 시각 - 운동 제어 정책 ($\pi_\theta(a|s)$) 을 제안합니다.

• 데이터 수집:

  • 하드웨어: 전문가 시연 데이터는 원격 조작 키트가 장착된 RealMan 듀얼 암 플랫폼을 사용하여 수집되었으며, 관절 위치와 다중 뷰 RGB 이미지가 기록되었습니다.
  • 시뮬레이션: 다양한 참조 궤적을 생성하기 위해 단계 기반 운동 계획기가 개발되었습니다. 이 시스템은 듀얼 암 조작을 위한 역기구학 (IK) 과 비홀로노믹 베이스 운동을 위한 모델 예측 제어 (MPC) 를 결합합니다. 작업 공간 스케줄러는 로봇을 주요 프레임 (도달, 비틀기, 당기기, 고정) 을 통해 안내합니다.
  • 무작위화: 견고성을 보장하기 위해 훈련 데이터에는 조명 조건, 문/손잡이 색상, 그리고 문에 대한 로봇의 초기 베이스 포즈에 대한 도메인 무작위화가 포함됩니다.

• 정책 아키텍처:

  • 입력: 정책은 세 개의 독립적인 ResNet-18 인코더 (카메라 뷰당 하나씩) 에서의 잠재 벡터와 고유 감각 상태 데이터를 연결한 최근 관찰 ($T_o = 3$) 스택을 조건으로 합니다.
  • 백본: FiLM (Feature-wise Linear Modulation) 조건부 기능을 갖춘 1D U-Net 이 확산 백본으로 사용됩니다.
  • 출력: 모델은 미래 동작 시퀀스 ($T_p = 16$ 단계) 를 예측합니다. 실행 중 로봇은 새로운 관찰에 기반하여 재계획하기 전에 첫 $T_a = 8$ 단계를 수행합니다.
  • 추론: 정책은 가우스 노이즈 벡터를 동작 시퀀스로 탈노이즈화하여 작동합니다. 100 단계의 탈노이즈로 훈련되었지만, 저자들은 성능 손실 없이 최소 10 단계로 추론이 가능함을 발견하여 지연 시간을 크게 줄였습니다.

• 최적화: 온보드 Jetson AGX Orin 에서 실시간 제어를 달성하기 위해 저자들은 양자화와 함께 저랭크 적응 (LoRA) 을 적용하고 시스템의 전력 구성을 최적화하여 주파수 스로틀링을 방지했습니다.

주요 기여

1. 단계 기반 궤적 생성: 훈련을 위한 다양한 참조 궤적 생성을 자동화하기 위해 IK 와 MPC 를 무작위화된 테스트 시나리오와 결합하는 파이프라인.
2. 엔드 투 엔드 확산 제어기: 장기 작업을 처리하기 위해 모델 복잡성과 추론 시간을 균형 있게 조절하는 확산 정책에 기반한 통합 이미지 - 동작 협동 제어기의 개발.
3. 실제 세계 검증: 물리적 듀얼 암 모바일 매니퓰레이터에 대한 실험적 검증을 통해 시각과 고유 감각만을 사용하여 협동된 문 열기 작업을 수행하고 외부 교란으로부터 복구하는 정책의 능력을 입증.

결과

• 시뮬레이션: 확산 정책은 시뮬레이션에서 댐핑 당김 문을 열고 통과하는 데 100% 성공률 (10/10) 을 달성했습니다.
  • 애블레이션 연구: 각 카메라 뷰에 대해 별도의 인코더를 사용하는 것이 결정적이었으며, 통합 인코더를 사용하면 성공률이 0/10 으로 감소했습니다. 탈노이즈 단계를 30 또는 10 으로 줄여도 높은 성능을 유지했으나, 더 줄이면 결과가 저하되었습니다.
  • 베이스라인: 제안된 확산 정책은 베이스라인보다 우수했습니다. ACT(Transformer 를 사용한 동작 청킹) 는 8/10 의 성공률을 보였으나 100% 에 도달하지 못했는데, 이는 무작위화된 환경에서 지배적인 시각 패턴에 과적합되었기 때문으로 추정됩니다. SmolVLA 는 완전히 실패 (0/10) 했는데, 이는 더 작은 매니퓰레이터 데이터셋으로 사전 훈련되었기 때문입니다.
• 하드웨어 배포: 정책은 RealMan 플랫폼에서 전체 작업 시퀀스를 성공적으로 실행했습니다.
  • 교란 복구: 주요 발견 사항은 정책의 외부 교란에 대한 견고성이었습니다. 문 열기 시퀀스 중 문이 수동으로 다시 닫혔을 때, 로봇은 시각 피드백을 통해 변화를 감지하고 현재 운동을 정지한 후 자세를 재조정하여 열기 시퀀스를 다시 시작했으며, 실패하거나 이탈하지 않았습니다.
  • 지연 시간: 모델 및 하드웨어 최적화를 통해 실시간 베이스 제어 및 통과에 충분한 저지연 실행을 달성했습니다.

의의 및 주장
본 논문은 확산 기반 정책이 지각, 조작, 항법 간의 긴밀한 협동이 필요한 복잡한 실제 세계 조작 작업을 위한 유망한 패러다임을 제공한다고 주장합니다. 특정 문 유형에 대한 광범위한 엔지니어링이 필요하거나 취약한 상태 머신에 의존하는 전통적인 방법과 달리, 이 접근법은 시연으로부터 직접 통합된 정책을 학습합니다. 저자들은 결과 시스템이 어려운 댐핑 당김 문 시나리오에서 높은 성공률을 달성할 뿐만 아니라, 실제 세계 배포에 중요한 능력을 보여준다고 강조합니다. 즉, 외부 교란을 감지하고 자율적으로 복구하는 능력입니다. 명시적인 교란 모델링 없이 달성된 이러한 회복 탄력성은 제안된 방법을 교란 후 복구 메커니즘이 부족한 전통적인 모델 기반 접근법 및 기타 학습 기반 프레임워크와 구별 짓는 요소입니다.