기술 요약: RE4 – 조작 모드를 이용한 변환 인지형 객체 상호작용 모방

1. 문제 정의

본 논문은 로봇 공학의 객체 상호작용 태스크를 위한 모방 학습(imitation learning) 문제를 다룹니다. 최근의 엔드 투 엔드 생성 모델(예: 확산 모델 및 플로우 매칭 모델)은 접촉이 빈번한 조작(contact-rich manipulation)에서 최첨단 성능을 달究했으나, 다음과 같은 세 가지 결정적인 단점을 가집니다:

1. 해석 가능성 부족: 이들은 "블랙박스"로 기능하여 의사결정 과정을 이해하기 어렵습니다.
2. 높은 계산 비용: 반복적인 디노이징 단계와 상당한 학습 자원을 요구합니다.
3. 데이터 비효율성: 데이터가 희소하거나 데몬스트레이션(demonstrations)이 전체 상태 공간을 커버하지 못하는 경우 어려움을 겪는 경우가 많습니다.

기존의 검색 기반 방법들은 조작의 불연속적인 특성, 구체적으로는 서로 다른 조작 모드(예: 로봇이 자유롭게 움직이는 transit과 로봇이 객체를 잡고 있는 transfer) 사이의 전환을 고려하지 못하는 경우가 많습니다. 또한, 범용적인 6-DoF 객체 포즈 추정은 계산 비용이 많이 들며, 항상 사용 가능한 것은 아닌 CAD 모델을 필요로 하는 경우가 많습니다. 저자들은 조작의 원리적 이론을 재검토함으로써 성능, 해석 가능성, 그리고 경량화된 학습 사이의 균형을 맞추는 프레임워크를 제안합니다.

2. 방법론: RE4 프레임워크

저자들은 모든 단계를 현재의 조작 모드($m \in \{M_{transit}, M_{transfer}\}$)에 따라 조건화하는 모듈형, 재귀적 지평(receding-horizon) 프레임워크인 RE4(Retrieve, Reframe, Replan, Replay)를 제격합니다. 이 프레임워크는 데몬스트레이션이 고정된 세계 좌표계가 아닌 객체의 포즈를 기준으로 상대적으로 이동(transport)될 수 있다는 원리에 따라 작동합니다.

핵심 구성 요소

루프는 다음 네 가지 주요 단계로 구성됩니다:

1. Retrieve (검색):

   • 시스템은 현재 상태와 가장 가까운 데몬스트레이션 프레임($j^*$)을 식별합니다.
   • 모드 필터링: 하드 필터를 통해 현재 조작 모드(transit 또는 transfer)와 일치하는 데몬스트레이션 프레임만 고려되도록 보장합니다.
   • 2단계 조회: 먼저 각 데몬스트레이션 내에서 말단 장치(end-effector)와 객체 사이의 거리를 최소화한 후, 객체 포즈 거리만을 최소화하는 데몬스트레이션을 선택합니다.

2. Reframe (재구성):

   • 이 단계는 **객체 중심 변환(object-centric transformation)**을 수행합니다. 이는 검색된 데몬스트레이션 청크(chunk)를 현재 객체의 프레임으로 이동시킵니다.
   • 말단 장치와 객체 사이의 상대적 포즈($T_{o \to x}$)를 보존합니다.
   • Transit 모드: 객체는 세계에 고정되어 있으며, 에이전트는 객체 위로 변환됩니다.
   • Transfer 모드: 객체가 잡혀 있는 상태이며, 에이전트는 그립(grasp) 변환을 보존하며 데몬스트레이터의 그립 구성 위로 변환됩니다.

3. Replan (재계획):

   • 모션 플래너가 현재 로봇 상태에서 재구성된 데몬스트레이션 청크의 진입점($x_{near}$)까지의 경로를 생성합니다.
   • 제약 조건: 플래너는 현재 모드를 준수합니다. Transit에서는 객체 포즈를 고정합니다(Push-T를 위한 RRT 사용). Transfer에서는 그립 변환을 보존합니다.
   • 이 단계는 모드 제약을 위반하지 않으면서 현재 상태와 검색된 데몬스트레이션 사이의 간극을 메웁니다.

4. Replay (재생):

   • 시스템은 재계획된 경로와 그 뒤를 잇는 재구성된 데몬스트레이션 청크를 실행합니다.
   • 루프는 태스크가 해결되거나 단계 예산이 소진될 때까지 반복됩니다.

포즈 추정 전략

핵심 구성 요소는 관측으로부터 타겟 객체의 포즈($o$)를 추정하는 것입니다.

• 자기 지도 학습 (Self-Supervised Learning): 정답(ground truth)이나 CAD 모델이 필요한 범용 6-DoF 추정기를 훈련시키는 대신, RE4는 오직 데몬스트레이션 데이터만을 사용하여 경량화된, 모델 프리(model-free) 자기 지도 학습을 사용합니다.
• Prehensile vs. Non-prehensile:
  • Prehensile 태스크(잡기): 포즈 추정기는 데몬스트레이션 전반에 걸친 그립 앵커(grasp anchor)의 일관성을 사용하여 자기 지도 방식으로 학습됩니다.
  • Non-prehensile 태스크(예: 밀기): 그립 앵커가 존재하지 않는 경우, 저자들은 태스크 메타데이터에 기반한 경량화된 태스크 특화 추정기를 사용합니다. 이는 더 어렵지만 RE4의 상대적 포즈 요구 사항을 충족하기에는 충분함을 인정합니다.

3. 주요 기여

1. 프레임워크 구성: 객체 상호작용을 모방하기 위해 조작 모드에 조건화된 네 가지 해석 가능한 빌딩 블록—Retrieve, Reframe, Replan, Replay—을 식별하고 통합하였습니다.
2. 성능 및 효율성: RE4가 성능 면에서 최첨단 베이스라인(Diffusion Policy, Geometry-aware Imitation)과 대등하거나 이를 능가하면서도, 훨씬 적은 학습 비용을 요구하며 완전한 해석 가능성을 제공함을 입증하였습니다.
3. 희소 영역에서의 강건성: RE4가 희소한 관측(상태 공간의 낮은 커버리지) 및 희소한 데몬스트레이션(제한된 훈련 데이터) 시나리오에서 블랙박스 학습 베이스라인보다 훨씬 더 강력하다는 것을 보여주는 평가를 수행했습니다.
4. 경량 포즈 추정: 일반적인 6-DoF 추정기의 오버헤드를 피하고, 데몬스트레이션 데이터와 자기 지도 학습에만 의존하는 새로운 객체 포즈 추정 방식을 제시했습니다.

4. 실험 결과

프레임워크는 상태 기반 및 이미지 기반 관측을 모두 포함하는 Push-T(평면 밀기) 및 Robomimic(Lift, Can, Square) 벤치마크에서 평가되었습니다.

• 성능: RE4는 Diffusion Policy(DDPM/DDIM) 및 Streaming Flow Policy와 대등하거나 더 나은 성공률 및 커버리지 지표를 달성했습니다.
  • 이미지 기반 Push-T: RE4는 0.883의 커버리지를 달성하여 최상의 확산 샘플러(0.826)를 앞질렀습니다.
  • Robomimic Square: RE4는 0.85의 성공률을 달성하여 DDIM(0.79)보다 높은 성능을 보였습니다.
• Ablation Study (절제 연구): Reframe과 Replan 단계를 제거하면(Retrieve와 Replay만 남긴 RE2 모델), 성능이 급격히 하락(예: Push-T에서 ~0.30까지)하여, 모드 인지형 변환과 브릿징(bridging)이 필수적임을 확인했습니다.
• 희소 데이터 강건성:
  • 희소 관측 테스트(데몬스트레이션에서 멀리 떨어진 75개의 초기화 상태)에서, RE4는 높은 성능을 유지한 반면 확산 정책들은 크게 고전했습니다.
  • 희소 데몬스트레이션 테스트(206개 궤적 중 50개로만 훈련)에서, RE4는 상당한 성능 저하를 겪은 베이스라인들에 비해 더 작은 성능 감소를 보였습니다.

5. 의의 및 주장

본 논문은 단순하고 해석 가능한 빌딩 블록이 조작 이론으로부터 도출될 때, 복잡한 생성 모델이 반드시 고성능을 위해 필수적인 것은 아니라는 점을 시사하며, 효과적으로 객체 상호작용 기술을 학습할 수 있음을 주장합니다.

• 해석 가능성: 확산 모델과 달리, RE4의 의사결정 과정은 투명합니다. 어떤 데몬스트레이션이 검색되었는지, 어떻게 변환되었는지, 왜 특정 재계획이 선택되었는지를 정확히 추적할 수 있습니다.
• 데이터 효율성: 객체 포즈와 조작 모드에 의해 유도되는 원리적인 데몬스트레이션 재사용이 데이터가 부족할 때도 매우 효과적임을 입증했습니다.
• 범위의 한계: 저자들은 현재 작업이 접촉 기반 어포던스(affordance)에 집중하고 있으며, 명시적인 모드 열거 없이는 변형 가능한 객체나 복잡한 다중 객체 상호작용을 아직 처리하지 못한다는 한계를 인정합니다. 그들은 자신들의 자기 지도 포즈 추정기의 성공이, 일반적인 포즈 추정과 분리된 태스크 특화적 접근 방식이 가능하다는 것을 보여준다고 보고 있습니다.

요약하자면, RE4는 블랙박스 생성 모델의 표현력에만 의존하는 대신, 조작 모드의 기저 토폴로지를 활용함으로써 해석 가능하고, 강건하며, 데이터 효율적인 모방 학습을 향한 경로를 제시합니다.