기술 요약: 양손 모바일 매니퓰레이션을 위한 형태적 등변성 흐름 매칭

문제 정의

양손 로봇이 관여하는 모바일 매니퓰레이션 (MoMa) 은 고차원 시스템의 조율된 제어를 요구합니다. 모방 학습 (IL), 특히 행동 복제 (BC) 는 이러한 작업을 해결하는 표준 접근법이지만, 종종 낮은 샘플 효율성과 낮은 일반화 성능으로 고통받으며, 방대한 양의 전문가 시연 데이터가 필요합니다. 양손 시스템에서 중요하지만 자주 간과되는 귀납적 편향은 양측 형태적 대칭성입니다. 대부분의 양손 로봇은 인간과 마찬가지로 시상면 (sagittal plane) 을 기준으로 반사 대칭성을 가집니다. 현재의 IL 방법들은 이 사전 지식을 무시하여, 한 구성에서 작업을 해결하는 정책이 본질적으로 그 거울 상의 대응 작업을 해결해야 한다는 사실을 활용하지 못합니다. 본 논문은 양손 MoMa 의 샘플 효율성, 일반화 및 최적성을 향상시키기 위해 이 대칭성을 공식화하는 과제를 다룹니다.

방법론

저자들은 정책 학습 문제를 흐름 매칭 (Flow Matching, FM) 프레임워크 내의 대칭성 제약 최적화 문제로 규정합니다.

1. 문제 공식화

작업은 부분 관측 마르코프 결정 과정 (POMDP) 으로 모델링됩니다. 핵심 가설은 POMDP 가 로봇의 형태에 의해 유도된 고유한 반사 대칭성 ($g_r$) 을 허용한다는 것입니다. 이 대칭성은 상태 ($S$), 행동 ($A$), 관측 ($O$) 공간에 작용합니다. 저자들은 최적 정책 $\pi_\theta$ 가 $C_2$-불변성 제약을 만족해야 한다고 주장합니다:
$$\pi_\theta(a|x) = \pi_\theta(g_r \triangleright_A a | g_r \triangleright_X x)$$
이는 입력 관측이 반사될 때, 출력 행동 분포도 그에 따라 반사되어야 함을 의미하며, 결과적으로 양손 사용 가능한 정책이 도출됩니다.

2. 등변성을 갖춘 흐름 매칭

저자들은 정책이 속도장 $v_\theta$ 에 의해 지배되는 연속 시간 상미분 방정식 (ODE) 을 적분하는 것으로 모델링되는 흐름 매칭을 활용합니다. 목표는 사전 분포 (가우시안 노이즈) 를 전문가 행동 분포로 변환하는 속도장을 학습하는 것입니다.

대칭성 제약을 강제하기 위해 속도장 $v_\theta$ 는 $G$-등변성을 가져야 합니다. 논문은 FM 목적 함수 내에서 이를 강제하기 위한 세 가지 구별된 전략을 제안합니다:

• 데이터 증강 (SymAug): 반사된 관측 - 행동 쌍을 추가하여 훈련 데이터셋을 증강합니다. 이는 훈련 중 모델이 거울 상 예제에 노출되도록 하여 제약을 완화합니다.
• 등변성 일관성 손실 (EquivReg): 훈련 손실에 정규화 항을 추가합니다. 이 항은 반사된 입력에 대한 속도장의 출력과 원래 입력에 대한 속도장 출력의 반사 간의 거리를 최소화함으로써 등변성에서의 편차를 패널티합니다.
• 명시적 등변성 네트워크 (EquivNet): 속도장 $v_\theta$ 는 새로운 $G$-등변성 Transformer를 사용하여 매개변수화됩니다. 이 아키텍처에서 모든 모듈은 임의의 콤팩트 군 $G$(특히 반사를 위한 $C_2$) 에 대해 등변성 있도록 설계되어, 분포 밖 (out-of-distribution) 을 포함한 모든 입력에 대해 등변성 제약이 유지되도록 보장합니다.

주요 기여

1. FM 내 대칭성 공식화: 논문은 흐름 매칭 프레임워크 내에서 IL 을 위한 반사 대칭성 유도 등변성을 공식화하고, 이러한 제약을 강제하기 위한 두 가지 주요 전략 (등변성 신경망을 통한 방법 또는 정규화를 통한 방법) 을 입증합니다.
2. 새로운 아키텍처: 저자들은 임의의 유한 군을 처리할 수 있는 $G$-등변성 트랜스포머를 도입하여, 구체적으로 양손 사용 가능한 양손 제어를 가능하게 하도록 맞춤화했습니다.
3. 실증적 검증: 연구는 형태적 대칭성을 활용함으로써 샘플 효율성과 일반화를 향상시키고, 훈련 분포에 없던 거울 상 작업으로의 제로샷 전이를 가능하게 함을 입증합니다.

실험 결과

제안된 방법들은 Push-T 벤치마크, TIAGo++ 로봇을 사용한 시뮬레이션 양손 MoMa 작업 (상자 들어 올리기, 캐비닛 열기, 도달하기), 그리고 실제 TIAGo++ 작업에서 평가되었습니다.

• 샘플 효율성: 공유 데이터 regime(원본 및 반사된 시연 모두 사용 가능) 에서, 대칭성 정보를 활용한 정책 (SymAug, EquivReg, EquivNet) 은 대칭성 무관 베이스라인 (FM-BL) 보다 일관되게 우수한 성능을 보였습니다. 평균적으로 2 배의 샘플 효율성 향상을 달성했습니다.
• 제로샷 일반화: 원본 구성으로 훈련된 정책은 추가 훈련 없이 거울 상 구성 ($g_r$) 으로 성공적으로 전이되었습니다.
  • 시뮬레이션: 상자 들어 올리기 작업에서 베이스라인은 거울 상 작업에서 0% 성공률을 보인 반면, 대칭성 인식 방법은 약 66–72% 의 성공률을 달성했습니다. 캐비닛 열기 작업에서는 거울 상 성공률이 베이스라인의 0% 에서 약 83–88% 로 상승했습니다.
  • 실제 환경: 실제 TIAGo++ 로봇에서 픽 - 앤 - 플레이스 작업을 수행할 때, 왼쪽 팔 (원본) 로 훈련된 정책은 제로샷 설정에서 오른쪽 팔 (거울 상) 로 테스트 시 100% 성공률을 달성했습니다.
• 최적성 및 난이도 확장: 논문은 단순한 데이터 증강보다 EquivReg 와 EquivNet 을 통해 대칭성 제약을 최적성 제약으로 강제하는 것이 상자 들어 올리기와 같은 까다로운 작업에서 더 나은 결과를 낳았다고 지적합니다. furthermore, 베이스라인 대비 성능 향상은 작업 난이도 (예: 더 넓은 목표 분포) 가 증가함에 따라 커졌으며, 이는 대칭성 사전 지식이 복잡성에 따라 잘 확장됨을 시사합니다.

중요성 및 주장

본 논문은 형태적 대칭성이 양손 사용 가능한 생성 정책 학습을 위한 효과적이고 일반화 가능하며 확장 가능한 귀납적 편향이라고 주장합니다. 학습 알고리즘에 양측 대칭성의 물리적 현실을 명시적으로 통합함으로써, 저자들은 로봇이 추가 데이터 수집 없이도 더 효율적으로 학습하고 보이지 않는 거울 상 시나리오로 일반화할 수 있음을 입증합니다.

이 연구는 종종 SE(3) 등변성이나 보행에 초점을 맞춘 이전의 대칭성 기반 IL 과 구별되며, 구체적으로 양손 모바일 매니퓰레이션을 대상으로 하고 명시적 등변성 아키텍처를 갖춘 흐름 매칭을 활용합니다. 저자들은 대칭성을 단순한 데이터 증강으로 취급하는 것보다 등변성 네트워크를 통한 하드 제약이나 강력한 정규화제로 취급하는 것이 우월하다고 결론지으며, 더 능력 있고 데이터 효율적인 서비스 로봇을 향한 견고한 길을 제시합니다.