MirrorDuo: Reflection-Consistent Visuomotor Learning from Mirrored Demonstration Pairs

기술 요약: MirrorDuo

문제 정의

이미지 기반 행동 복제(Behavior Cloning, BC)는 로봇의 기술 습득을 위한 확장 가능한 경로를 제공하지만, 특히 작업 공간 레이아웃의 공간적 변화나 비대칭적인 장면 구성에 대한 일반화 측면에서 상당한 데이터 효율성 제약에 직면해 있습니다. 3D 입력(예: 포인트 클라우드)을 활용하는 방법들은 SE(3) 강체 변환 불변성을 활용하여 변환된 데모를 합성할 수 있지만, 이러한 변환을 2D RGB 이미지에 적용하면 일관되지 않은 결과를 초출하는 경우가 많습니다. 3인칭 이미지의 SO(2) 회전과 같이 2D에서 대칭을 근사하려는 기존의 시도들은 도메인 내 설정에 국한되며 더 넓은 일반화를 지원하지 못합니다. 또한, 반사 대칭(reflection symmetry)—많은 조작 작업(예: 좌우 피크 앤 플레이 변형)의 자연스러운 속성)—은 시각적 아티팩트(예: 로봇 손목의 비대칭성, 배경 텍스처)가 존재할 때 미러링된 이미지와 6-DoF 엔드 이펙터 동작 사이의 의미론적 일관성을 유지하기 어렵다는 이유로 이미지 기반 정책에서 여전히 미개척 영역으로 남아 있습니다.

방법론: MirrorDuo

저자들은 시각적 모터 학습에 반사 대칭을 통합하기 위한 일반적인 정식화인 MirrorDuo를 제안합니다. 핵심 혁신은 RGB 관측값(eye-in-hand 및 3인칭 모두)과 고유 수용 감각 상태(proprioceptive states), 그리고 전체 6-DoF 엔드 이펙터 동작에 대해 공동으로 작동하여, 모든 원래 데모에 대해 의미론적 및 물리적으로 일관된 미러링된 대응물을 생성하는 반사 기반 변환입니다.

주요 기술 구성 요소

1. 포즈 공간 미러링 (Pose Space Mirroring):

   • 이미지 미러링(수평 뒤집기)과의 일관성을 보장하기 위해, 저자들은 포즈 공간에서의 미러링 연산을 정의합니다. 카메라 프레임 내의 엔드 이펙터 포즈 $X_H$에 대해, 미러링된 포즈 $X^*_H$는 $X^*_H = X_C E X^{-1}_C X_H E$를 통해 유도됩니다 (여기서 $E = \text{diag}([-1, 1, 1, 1])$).
   • 카메라 외부 파라미터 독립성 (Camera Extrinsics Independence): 종종 가용하지 않은 카메라 외부 파라미터($X_C$)에 대한 의존성을 피하기 위해, 이 방법은 포즈를 로컬 좌표계(델타 포즈 $\Delta X_H$ 또는 상대 포즈 $\delta X_H$)로 재매개변수화합니다. 이를 통해 미러링 연산을 $\Delta X^*_H = E \Delta X_H E$로 표현할 수 있어, 데이터셋에 무관한(dataset-agnostic) 접근이 가능해집니다.
   • SO(3) 불연속성 처리: SO(3)에서의 반사는 회전의 급격한 변화를 초래할 수 있습니다. 로봇이 미러링된 기술을 거의 동일한 구성에서 시작하도록 보장하기 위해, 이 방법은 초기 포즈의 평균 툴 축을 세계 X-축에 매핑하는 일정한 정렬 회전 $Q$를 강제하여 불연속성을 완화합니다.

2. 통합 미러링 연산자 ($M$):

   • 이 방법은 이미지를 수평으로 뒤집는 $M_I$와 벡터화된 포즈 및 동작에 부호 패턴 벡터 $\rho$를 원소별로 곱하는 연산을 적용하는 통합 연산자 $M$을 정의합니다. 이를 통해 원래의 튜플 $(o_t, a_t)$와 미러링된 튜플 $(M(o_t), M(a_t))$로 구성된 쌍을 생성합니다.

3. 두 가지 상보적 응용:

   • MirrorAug (데이터 증강): 배치 샘플링 중에 훈련 데이터의 일부를 미러링된 대응물로 교체하는 전략입니다. 이는 네트워크 아키텍처를 수정하지 않고도 미러링된 구성을 포함하도록 훈련 분포를 확장합니다.
   • MirrorDiffusion (구조적 사전 지식): 반사 불변성을 갖는 디퓨전 정책으로, 미러 변환이 잠재 디퓨전 과정 내에 유도 편향(inductive bias)으로 삽ert됩니다. 정책 네트워크는 노이즈 예측 함수가 반사 변환과 교환 가능하도록($\pi(M(o)) = M(\pi(o))$) E(n)-불변 스테어러블 CNN(Steerable CNN)을 활용합니다.

4. 시각적 비대칭성 처리:

   • 저자들은 미러링이 시각적 OOD(Out-of-Distribution) 아티팩트(예: 거울에 비친 오른손잡이 로봇이 왼손잡이처럼 보이는 현상, 비대칭적인 테이블 텍스처)를 유발한다는 점을 인정합니다.
   • 이를 완화하기 위해, 이 접근 방식은 Random Overlay(배경 증강) 및 사전 훈련된 시각적 백본(ImageNet 기반 ResNet-18)을 MirrorDuo와 결 조합하여 작업과 무관한 변동성에 대한 강건성을 높입니다.

주요 기여

• 반사 일관적 정식화: 2D 이미지, 3D 고유 수용 감각, 6-DoF 동작 간에 일관된 미러링 데모 쌍을 생성하여, 효과적으로 "하나를 수집하면 하나를 공짜로 얻는(collect one, get one for free)" 효과를 달하는 새로운 방법론을 제시합니다.
• 이중 유용성: 이 프레임워크는 데이터 증강 전략(MirrorAug)과 불변 정책 학습을 위한 구조적 사전 지식(MirrorDiffusion) 모두로 기능하며, 행동 복제(BC) 및 디퓨전 정책과 같은 표준 파이프라인에 적응 가능합니다.
• 미지의 미러 환경에 대한 일반화: 이 방법은 타겟 배치에 단 0개 또는 5개의 데모만으로도 미러링된 작업 공간으로의 효율적인 기술 전이를 가능하게 하며, 이는 낮은 데이터 환경에서 표준 베이스라인을 크게 상회합니다.
• 비대칭성에 대한 강건성: 본 논문은 경량화된 시각적 일반화 기술과 결합될 때, 반사 대칭이 상당한 시각적 비대칭성(로봇 설계, 배경 텍스처)이 존재하는 상황에서도 활용될 수 있음을 입증합니다.

실험 결과

저자들은 MimicGen 데이터셋(시뮬레이션)과 두 가지 작업(한쪽 면의 인형 집기 및 양쪽 면의 블록 쌓기)이 있는 실제 Franka Emika 셋업에서 MirrorDuo를 평가했습니다.

• 한쪽 면 전이 (시뮬레이션 및 실제):

  • 데모가 작업 공간의 한쪽에 국한된 설정에서, 원래 데이터로 훈련된 표준 정책은 미러링된 반대편으로 일반화하는 데 실패했습니다(일부 베이스라인의 성공률 약 0%).
  • MirrorAug를 시각적 일반화(Random Overlay + 사전 훈련된 가중치)와 결합했을 때, 단 5개의 반대편 데모만으로도 미러링된 측면에서 도메인 내 성능에 근접한 성능을 달-성했습니다.
  • MirrorDiffusion(불변 모델)은 역방정 과정 중 노이즈 주입이 전역 대칭을 깨뜨림으로써 제로샷 전이에 실패했으나, 최소한의 반대편 데이터를 통해 성능을 회복했습니다.

• 양측 데이터 효율성:

  • 데모가 양쪽 모두에 분포되어 있을 때, MirrorDuo는 데이터 효율성을 크게 향고시켰습니다.
  • 저-중간 데이터 규모(50~200개 데모)에서, MirrorAug와 MirrorDiffusion은 베이스라인 대비 일관된 성능 향상(예: Square D0에서 +31%)을 보였습니다.
  • 고데이터 규모에서는 성능 향상이 정체되었으며, 일부 복잡한 장기 실행(long-horizon) 작업에서는 거의 동일한 작업들로부터 오는 상충되는 관측 분포로 인해 결정 경계가 파편화되어 약간의 성능 저하가 관찰되었습니다.

• 실제 환경 검증:

  • 실제 인형 작업에서, Diffusion Policy (M, O, P) (MirrorAug + Overlay + Pretrained)는 단 5개의 미러링된 데모만으로 미러링된 설정에서 83.3%의 성공률을 기록하며 도메인 내 성능과 일치하는 결과를 보였습니다.
  • 한쪽 데이터로 훈련된 표준 Diffusion Policy는 미러링된 설정에서 3.3%의 성공률만을 기록했습니다.
  • 저자들은 MirrorDiffusion이 이론적으로는 우아하지만, 도전적인 시각적 조건 하에서 더 우수한 성능을 보이고 더 빠른 훈련 수렴을 제공하는, 시각적 일반화 기술이 결합된 표준 MirrorAug 기반 Diffusion Policy가 더 실용적이라는 점을 언급했습니다.

의의 및 주장

본 논문은 MirrorDuo가 확장 가능하고 일반화 가능한 로봇 학습을 위한 강력하고 미개척된 유도 편향으로서 반사 대칭을 확립한다고 주장합니다. 원래 도메인과 미러링된 도메인 사이의 중첩을 활용함으로써, 이 접근 방식은 로봇이 최소한의 추가 데이터만으로 미지의 작업 공간 구성에 일반화할 수 있게 합니다.

저자들은 3D 반사를 2D 시각적 관측값으로 투영하는 과정이 복잡성(시각적 비대칭성)을 유발한다는 점을 강조하면서도, 이러한 과제들이 효과적으로 관리될 수 있음을 보여줍니다. 이 연구는 반사 일관적 학습이 이미지 기반 파이프라인과 매우 잘 호환된다는 것을 입증하며, 다양한 실제 환경에서 견고한 배포를 용이하게 하는 실질적인 해결책을 제공합니다. 결론적으로, 반사 대칭을 경량 시각적 일반화 기술과 결적으로 결합하면 로봇과 환경 모두의 시각적 비대칭성을 허용할 수 있어, 다양한 실제 설정에서의 견고한 배포를 촉진할 수 있습니다.