기술 요약: DeformGen

문제 정의

모방 학습(Imitation Learning)과 시각-운동 정책(Visuomotor Policy) 학습은 강체 로봇 조작 분야에서 상당한 성공을 거두었으나, 이를 **변형 가능한 물체 조작(Deformable Object Manipulation)**으로 확장하는 것은 다양하고 풍부한 데모 데이터를 수집하는 데 드는 높은 비용과 어려움으로 인해 병목 현상이 되고 있습니다. 유클리드 거리(Euclidean distance)가 강체 변환 하에서 불변한다는 **등변성 가정(Equivariant Assumption)**에 의존하는 기존의 데이터 증강 패러다임은 변형 가능한 설정에서는 근본적으로 실패합니다.

저자들은 "강체 방식의 레시피"를 깨뜨리는 두 가지 핵심 과제를 식별했습니다:

1. 상태 공간(State-Space) 과제: 변형 가능한 물체는 높은 자유도(DoF)와 동적인 내부 제약 조건을 가집니다. 6-DoF 포즈만으로 충분한 강체와 달리, 변형 가능한 물체는 풍부한 형태 및 위상 변화를 보입니다. 단순한 기하학적 섭동(Geometric Perturbation)은 물리적으로 불가능한 상태(예: 입자의 분리 또는 불가능한 형태)를 초라하게 만듭니다. 이는 유효한 구성이 고차원 상태 공간 내의 제약된 매니폴드(Manifold) 위에 존재하기 때문입니다.
2. 궤적 전이(Trajectory-Transfer) 과제: 변형 가능한 물체의 재질 입자들은 등변적이지 않습니다. 즉, 입자들이 함께 강체처럼 움직이지 않습니다. 데모 궤적에 전역적인 강체 변환을 적용하면 엔드 이펙터(End-effector)가 물체의 국소 기하 구조와 어긋나게 됩니다(예: 접힌 천의 특정 지점을 잡는 데 실패함). 또한 이는 국소적인 변형을 보상할 수 없으므로 접촉 불일치를 초래합니다.

방법론: DeformGen

DeformGen은 물리적으로 유효한 변형 상태를 합성하고, 변형을 인지하는 방식으로 조작 궤적을 전이하도록 설계된 역학 기반 토폴로지 증강 프레임워크입니다. 이는 두 가지 주요 구성 요소로 이루어져 있습니다.

1. 역학 기반 토폴로지 상태 증강

상태 공간 과제를 해결하기 위해, DeformGen은 유효한 물리적 매니폴드를 벗어나는 단순한 기하학적 섭동을 피합니다. 대신, 순방향 시뮬레이션(Forward-simulation) 접근 방식을 채택합니다:

• 프로세스: 알려진 유효 상태($s_0 \in S_{real}$)에서 시작하여, 시스템은 물체에 국소적인 외력($f$)을 가합니다.
• 시뮬레이션: 물리 시뮬레이터($\Phi_{sim}$)가 타임 스텝($\Delta t$) 동안 역학을 순방향 시뮬레이션하여 새로운 상태를 생성합니다: $s_{aug} = \Phi_{sim}(s_0, f, \Delta t)$.
• 근거: 상태가 시뮬레이터 자체의 역학을 통해 진화하기 때문에, 결과 상태는 사후 수정 없이도 물리적으로 타당한 부분 공간($S_{real}$) 내에 머물게 됩니다. 이 방법은 강체 변환으로는 포착할 수 없는 다양한 토폴로지 변화(굽힘, 뒤틀림, 접힘 등)를 생성합니다.

2. 궤적 전이를 위한 변형 필드 워핑(Deformation-Field Warping)

궤적 전이 과제를 해결하기 위해, DeformGen은 강체 변환 대신 연속적인 변형 필드를 사용하여 증강된 상태에 대한 유효한 조작 궤적을 합성합니다.

• 변위 계산: 시스템은 소스 물체 상태와 타겟(증강된) 상태 사이의 입자별 변위($\delta_i$)를 계산합니다.
• 필드 구축: 이러한 변위는 K-최근접 이웃(KNN) 역거리 보간법을 사용하여 작업 공간 상의 연속적인 공간 함수(변형 필드 $D(x)$)로 리프팅됩니다.
• 궤적 워핑:
  • 위치(Position): 소스 궤적의 각 웨이포인트 $x_t$에 대해, $K$개의 인접 입자들의 변위를 집계하여 위치 오프셋을 계산합니다. 시간 의존적 감쇠 인자($\alpha_t$)를 사용하여 궤적이 초기에는 국소적 변형을 따르고 점진적으로 원래 경로로 복귀하도록 합니다.
  • 방향(Orientation): 원래의 로컬 벡터를 변형된 벡터로 매핑하기 위해 최소 제곱 적합(Least squares fitting)을 통해 국소 자코비안 행렬($J_t$)을 추정합니다. 유도된 회전은 $SO(3)$ 매니폴드에 투영되며, 최종 방향은 원래 회전과 유도된 회전 사이의 **구면 선형 보간(SLERP)**을 통해 계산됩니다.
• 적응: 파지 포즈(Grasp poses)에는 작은 $K$를 사용(국소 기하 구조에 집중)하고, 조작 단계에는 큰 $K$(전체 포인트)를 사용하여(전역적 변형 포착) 적응합니다.

주요 기여

1. 문제 정식화: 본 연구는 변형 가능한 조작을 위한 효과적인 증강이 강체 스타일의 증강의 한계를 넘어, 물리적으로 유효한 상태 합성과 변형 인지적 궤적 전이를 결과물로 요구함을 공식적으로 규명했습니다.
2. 역학 일관적 파이프라인: 저자들은 국소적 섭동, 물리적 롤아웃(Rollout), 안정화를 통해 토폴로지 일관성을 가진 변형 자산을 생성하는 새로운 파이프라인을 제안합니다. 이는 엔드 이펙터가 변형된 기하 구조와 정렬되도록 보장하며 동시에 조작 궤적을 합성합니다.
3. 실증적 검증: 고충실도 벤치마크에 대한 광범적인 실험을 통해, DeformGen이 단일 데모만으로 학습하거나 강체 스타일 증강 베이스라인을 사용하는 것보다 정책 학습을 유의미하게 개선함을 입증했습니다.

실험 결과

프레임워크는 로프 라우팅(Rope routing), 장난감 패킹(Toy packing), **천 접기(Cloth folding)**의 세 가지 변형 가능 조작 작업에 대해 네 가지 정책 아키텍처(ACT, Diffusion Policy, SmolVLA, $\pi_0$)를 사용하여 평가되었습니다.

• 성능 향상: DeformGen은 대부분의 정책 아키텍처에서 가장 높은 평균 성공률을 달ach했습니다. 예를 들어, 로프 라우팅 작업에서 DeformGen은 $\pi_0$를 사용하여 최대 **99.0%*의 성공률을 기록했는데, 이는 단일 소스 학습(0%) 및 강체 스타일 증강(SoftMimicGen, 56.0%)과 극명히 대비됩니다.
• 절제 연구(Ablation) 통찰:
  • 상태 다양성: DeformGen(토폴로지 상태 증강)과 SoftMimicGen*(강체 상태 증강)을 비교했을 때, 변형 가능한 구성의 더 넓은 커버리지가 일반화에 결정적임을 보여주었습니다.
  • 궤적 전이: DeformGen을 국소 강체 전이를 사용하는 변형 모델(DeformGen*)과 비교하여, 변형 필드 워핑이 궤적을 국소 기하 구조에 더 잘 정렬시킴으로써 보완적인 이득을 제공함을 입증했습니다.
• 일반화: DeformGen으로 학습된 정책은 궤적 합성 자체가 유효한 데모를 생성하는 데 실패했던 미학습 테스트 상태에도 성공적으로 일반화되었으며, 이는 단순한 암기가 아닌 전이 가능한 조작 전략을 학습했음을 시사합니다.
• 강체 시나리오: 강체 전용 테스트 시나리오에서도 DeformGen은 경쟁력을 유지했으며, 이는 토폴로지적으로 다양한 데이터로 학습하는 것이 더 단순한 작업의 성능을 크게 저해하지 않음을 나타냅니다.

의의 및 주장

본 논문은 DeformGen이 단일 데모를 다양하고 물리적으로 유효한 상태 및 그에 대응하는 궤적으로 증강함으로써, 변형 가능한 조작을 위한 데이터 획득의 비용 효율적인 솔루션을 제공한다고 주장합니다.

저자들은 결과가 변형 가능한 물체를 위한 증강 방식에 대한 근본적인 변화를 시사한다고 단언합니다. 즉, 효과적인 증강은 역학적으로 일관되어야 하며(물리적 제약을 준수하는 상태 생성), 변형을 인지해야 합니다(국소 기하 구조에 적응하는 궤적 전이). 이러한 접근 방식은 변형 가능한 물체의 고차원 상태 공간과 비등변성(Non-equivariant) 특성을 포착하지 못하는 강체 스타일 증강의 한계를 극복합니다. 본 연구는 이러한 데이터를 합성하는 것이 더 높은 성공률과 미학습 변형 구성에 대한 더 나은 일반화 성능을 가진 정책을 도출함을 입증합니다.