기술 요약: DynaMimicGen (D-MG)

문제 정의

강건한 로봇 조작 정책을 학습하기 위한 모방 학습(Imitation Learning, IL)은 일반적으로 대규모의 다양한 데이터셋을 필요로 한다. 이러한 데이터를 수집하는 것은 시간과 노동력이 많이 소요되며, 동적인 환경에서는 실질적으로 불가능한 경우가 많다. 기존의 IL 방식은 광범이한 인간의 시연 없이 다양한 장면 구성, 객체 인스턴스, 또는 로봇 플랫폼 전반에 걸쳐 일반화하는 데 어려움을 겪는다. 기존의 데이터 생성 프레임워크(예: MimicGen, DexMimicGen)는 주로 정적 가정을 기반으로 하며, 경직된 SE(3) 변환과 선형 보간법에 의존한다. 이러한 접근 방식은 실행 중 객체의 포즈가 변하거나 환경이 비정상 상태(non-stationary)인 동적 작업 설정에 효과적으로 일반화하지 못한다. 핵심 과제는 최소한의 인간 감독을 통해 딥러닝 정책이 동적이고 진화하는 환경에서 효과적으로 일반화할 수 있도록 대규모 로봇 데이터셋을 합성하는 방법이다.

방법론: DynaMimcaGen (D-MG)

DynaMimicGen (D-MG)은 최소한의 인간 시연(필요에 따라 단 하나만으로도 가능)을 절대 좌표계의 Cartesian 엔드 이펙터 공간으로 표현된 다양하고 현실적인 로봇 궤적으로 변환하는 확장 가능한 프레임워크이다. 이 프레임워크는 다음과 같은 파이프라인을 통해 작동한다:

1. 작업 분할(Task Segmentation): 시스템은 작업이 알려진 일련의 객체 중심 하위 작업(예: 객체의 프레임에 상대적인 그립, 타겟에 상대적인 배치)으로 구성된다고 가정한다. 소스 시연은 자동화된 지표나 수동 주석을 사용하여 이러한 하위 작업에 대응하는 연속적인 세그먼트로 파싱된다.
2. 동적 운동 프리미티브(Dynamic Movement Primitives, DMPs): 각 하위 작업 세그먼트에 대해, D-MG는 전용 DMP를 학습시킨다. DMP는 학습 가능한 포싱 항(forcing term)을 가진 비선형 2차 동역학 시스템으로 시연을 인코딩한다. 이 공식은 목표로의 수렴을 보장하는 동시에 유연한 궤적 형태를 허용한다.
3. 적응 및 일반화:
   • 정적 적응(Static Adaptation): 새로운 장면에 대한 데이터를 생성하기 위해, D-MG는 시연된 객체 포즈와 새로운 객체 포즈 사이의 상대적 변환을 계산한다. D-MG는 DMP의 시작 및 목표 구성을 이에 맞춰 조정하여, 궤적이 새로운 장면의 기하학적 구조와 일치하도록 보장한다.
   • 동적 적응(Dynamic Adaptation): 이전 방식들과 달리, D-MG는 궤적 합성 및 실행 중에 객체의 포즈를 지속적으로 모니터링한다. 객체의 위치나 방향이 변경되면(예: 섭동에 의해), DMP 공식은 이러한 변화에 대응하기 위해 실시간으로 궤적을 온라인으로 조절할 수 있게 해준다.
4. 데이터 합성: 프레임워크는 실행 중 구조화된 환경적 섭동(예: 타겟 객체의 무작위 변위)을 적용함으로써 잠재적으로 무제한의 궤적 세트를 생성한다. 성공적인 궤적은 합성 데이터셋을 형성하기 위해 유지되며, 실패한 롤아웃은 폐기된다.

액션 공간은 절대 엔드 이펙터 포즈 명령과 이진 그리퍼 개폐 명령의 조합으로 정의된다. 생성된 데이터셋은 Diffusion Policy 및 행동 복제(RNN 기반)를 사용하여 정책을 학습하는 데 사용된다.

주요 기여

본 논문은 세 가지 주요 기여를 식별한다:

• 최소한의 입력을 통한 확장 가능한 데이터 생성: D-MG는 매우 희소한 인간 입력(종종 단 하나의 시연)으로부터 대규모 로봇 조의 조작 데이터셋을 생성할 수 있는 프레임워크를 도입한다. DMP를 활용함으로써, D-MG는 시연된 동작을 새로운 장면에 일반화하여 방대한 인간 데이터 수집의 필요성을 획기적으로 줄인다.
• 동적 작업 설정에서의 데이터 생성: 준정적(quasi-static) 환경을 가정하는 이전 방식들과 대조적으로, D-MG는 동적이고 진화하는 환경에서 데이터 생성을 가능하게 한다. D-MG는 DMP의 적응력을 활용하여 작업 실행 중 객체의 위치나 방향 변화에 실시간으로 대응하도록 동작 계획을 조정한다. 주목할 점은, 이러한 강건함이 인간의 시연이 정적인 장면에서 수집되었음에도 불구하고 달성된다는 것이다.
• 모방 학습을 위한 고품질 데이터: 저자들은 D-MG가 원래의 시연에서 볼 수 없었던 다양한 장면 구성에 대해 숙련된 에이전트를 학습시키는 고품질 데이터를 생성함을 입증한다. 이 방법은 객체의 포즈, 로봇 상태 또는 장면 기하학적 구조의 변화에 적응하는 매끄럽고 현실적이며 작업 일관성이 있는 Cartesian 궤적을 생성한다.

실험 결과

저자들은 세 가지 작업 카테고리인 기본 조작(Stack), 접촉이 풍부한 상호작용(Square), 그리고 장기 호흡의 순차적 조작(MugCleanup)에 대해 D-MG를 평가하였다.

• 데이터 생성율 (Data Generation Rates, DGR): 준정적 설정에서, D-MG는 MG가 10개의 시연을 요구하는 것과 대조적으로 단 1~2개의 시연만을 사용하여 MG와 대등하거나 더 우수한 데이터 생성율을 달와냈다. 예를 들어, Stack 작업에서 MG는 10개가 필요했던 반면, D-MG는 하나의 시연으로 약 95%의 DGR를 달성했다. MG가 온라인 수정 메커니즘의 부재로 인해 적용될 수 없는 동적 설정에서도, D-MG는 높은 성공률(예: 섭동 하의 Stack에서 68.7%)을 유지했다.
• 정책 성능: D-MG 생성 데이터셋으로 학습된 에이전트는 MG 생성 데이터 또는 원래의 소스 시연으로 학습된 에이전트보다 일관되게 우수한 성능을 보였다.
  • Stack 작업에서, D-MG 데이터로 학습된 Diffusion Policy 에이전트의 성공률은 D0 분포에서 83.33%에 도달했으며, 이는 MG의 74.00% 및 소스 시연 자체의 1.33%와 비교된다.
  • 접촉이 풍부한 Square 작업에서, D-MG는 Diffusion Policy 성공률을 D0 분포에서 75.33%(MG)에서 86.67%(D-MG)로 향상시켰다.
• 어블레이션 연구 (Ablation Studies): 동적 섭동 메커니즘을 제거하면 정책 성능이 크게 감소하였으며, 이는 D-MG의 온라인 적응에 의해 도입된 구조적 가변성이 강건한 학습에 결정적임을 확인시켜 준다. 이러한 이점은 이미지 기반(고차원) 설정에서 가장 두드러졌으나, 저차원 상태 관측에서도 긍적인 효과가 관찰되었다.
• 실세계 검증: 프레임워크는 물리적인 Franka Emika Panda 로봇에서 검증되었으며, 리프팅, 스태킹, 클린업과 같은 작업을 성공적으로 수행하여 실질적인 적용 가능성을 입증했다.

의의 및 주장

본 논문은 D-MG가 보다 확장 가능하고 효율적인 데이터 기반 로봇 학습을 향한 단계라고 주장한다. 광범위한 인간 시연의 필요성을 제거하고 동적 설정에서의 일반화를 가능하게 함으로써, D-MG는 수동 데이터 수집에 대한 강력한 대안을 제공한다. 저자들은 자신들의 방법이 인간의 시연과 효과적인 다운스트림 정책 학습 사이의 간극을 메워, 로봇이 최소한의 입력으로부터 작업을 자율적으로 일반화할 수 있게 한다고 주장한다. 이 연구는 합성 방법이 동적인 환경 변화를 처리할 수 있다면, 희소한 전문가 입력으로부터 거대하고 이질적인 데이터를 합성함으로써 모방 학습의 확장성이 나타날 수 있음을 강조한다.