기술 요약: AnyMug – 관찰-행동 정규화를 통한 포즈 불가지론적 로봇 기능적 파지

1. 문제 정의

본 논문은 머그컵 손잡이를 잡는 작업을 구체적으로 겨냥한 **기능적 로봇 파지(functional robotic grasping)**의 과제를 다룹니다. 일반적인 파지와 달리, 기능적 파지는 후속 작업(예: 따르기)을 가능하게 하기 위해 물체의 특정 부분(손잡이)과 상호작용해야 합니다. 이 작업은 다음과 같은 이유로 까다롭습니다:

• 기하학적 가변성: 손잡이는 가늘고 곡선 형태이며, 서로 다른 머그컵 인스턴스 간에 상당한 차이가 있습니다.
• 포즈 민감도: 머그컵은 다양한 위치, 손잡이 방향, 그리고 두 가지 뚜렷한 포즈 범주인 직립(upright) 및 역립(inverted) 상태로 나타날 수 있습니다.
• 기존 방법의 한계:
  • 그립 포즈 탐지 (Open-loop): 6-DoF 또는 7-DoF 파지 포즈를 예측하는 방식은, 특히 얇은 손잡이 구조에서 추정 오차에 매우 민밀합니다.
  • 학습된 시각-운동 정책 (Closed-loop): 표준 정책은 모든 가능한 배치에 대해 시각적 외형과 행동 방향 사이의 결합된 가변성을 암묵적으로 처리해야 하므로, 일반화 능력이 제한되고 배치에 의존적인 중복 전략을 학습해야 합니다.

목표는 다양한 머그컵 기하학 및 포즈 범주에 걸쳐 일반화하면서도 손잡이와 정밀한 접촉을 유지할 수 있는 단일 폐루프(closed-loop) 정책을 학습하는 것입니다.

2. 방법론: AnyMug 프레임워크

저자들은 Isaac Sim에서 전체 학습을 진행하고 실제 Franka Panda 로봇에 제로샷(zero-shot)으로 배포되는 AnyMug 강화 학습 프레임워크를 제안합니다. 핵심 혁신은 **관찰-행동 정규화(Observation-Action Canonicalization)**입니다.

2.1 관찰-행동 정규화

AnyMug는 가변적인 입력을 처리하도록 정책을 훈련하는 대신, 센서 입력과 제어 출력을 공유된 **머그 중심의 정규 좌표계(mug-centric canonical frame)**로 변환합니다.

• 관찰 정규화:
  • 원시 탑뷰 깊이 이미지($D_t$)를 처리하여 머그 중심과 손잡이 중심를 식별합니다.
  • 아핀 워프(affine warp)를 적용하여 (1) 이미지를 중앙에 맞추고, (2) 손잡이를 고정된 정규 방향(예: 왼쪽을 향함)으로 회전시킵니다.
  • 그 결과, 물리적 배치와 상관없이 머그가 항상 동일한 위치와 방향으로 나타나는 정규 깊이 이미지($D^c_t$)를 얻게 됩니다.
• 행동 정규화:
  • 정책은 정규 좌표계 내에서 이동 변위($\Delta p^c$), 회전 변위($\Delta \omega^c$), 그리퍼 명령($u_g$)으로 구성된 7D 엔드 이펙터 행동($a^c_t$)을 예측합니다.
  • 실행 전, 공간 성분(spatial components)의 행동은 손잡이의 회전 각도($\theta_t$)의 역회전을 사용하여 월드 좌표계로 다시 회전됩니다. 그리퍼 명령은 변경되지 않습니다.
  • 이를 통해 정책은 모든 머그 배치와 손잡이 방향에서 재사용될 수 있는 단일 "파지 전략"을 학습할 수 있습니다.

2.2 손잡이 인지 보상 함수 (Handle-Aware Reward Function)

정책이 단순히 일반적인 접근이 아닌 정밀한 기능적 파지를 학습하도록 하기 위해, 조밀하고 손잡이를 인지하는 보상 함수가 사용됩니다:

• 접근 보상 ($r_{pos}$): 그리퍼가 손잡이 중심에 도달하도록 유도합니다.
• 방향 보상 ($r_{rot}$): 그리퍼가 머그에 대한 목표 방향과 일치하도록 유도합니다.
• 손가락 대립 보상 ($r_{opp}$): 매우 중요한 작업 특화 항으로, 손가락이 닫히기 전 두 손가락 끝이 손잡이의 반대편 양측에 위치하도록 보상합니다. 이 항은 근접성에 의해 게이팅되어 손가락이 손잡이에 가까울 때만 작동합니다.
• 행동 페널티 ($r_{act}$): 매끄러운 궤적을 장려하기 위해 크고 급격한 움직임에 페널티를 부여합니다.

2.3 학습 전략

• 알고리즘: PPO (Proximal Policy Optimization).
• 포즈 커리큘럼: 학습은 직립 머그(70%)에 편향된 상태에서 시작하여 안정적인 접근 동작을 확립한 후, 직립과 역립 머그가 균형을 이룬 분포(50/50)로 전환됩니다.
• 도메인 랜덤화: 머그 위치, 손잡이 요(yaw), 머그 기하학을 랜덤화합니다. 결정적으로, 실세계 인식 오차를 시뮬레이션하기 위해 최첨단 포즈 추정기(CPPF++)로부터 캘리브레이션된 가우시안 노이즈를 포즈 추정에 추가합니다.

3. 주요 기여

1. 관찰-행동 정규화: 본 논문은 깊이 관찰과 엔드 이펙터 행동이 모두 공유된 머그 중심 프레임으로 표현되는 정규화된 문제로 머그 파지를 정식화합니다. 이는 지각과 제어 모두에서 포즈로 인한 가변성을 줄여, 단일 정책이 공유된 전략을 재사용할 수 있게 합니다.
2. 폐루프 손잡이 인지 파지: 저자들은 정규화된 시각-고유수용성 피드백과 특화된 보상 함수를 사용하여 단일 RL 정책을 학습시킵니다. 이를 통해 명시적인 모션 플래닝 없이도 다양한 기하학 및 포즈에 걸쳐 정밀한 접근, 정렬 및 폐쇄 타이밍을 구현합니다.
3. 종합적 평가: 본 프레임워크는 시뮬레이션 및 하드웨어에서 모션 플래닝 및 확산 기반(diffusion-based) 베이스라인과 벤치마킹되었습니다. 연구에는 정규화, 보상 형성(reward shaping), 커리큘럼 학습의 기여도를 격리하는 절제 실험(ablation studies)이 포함됩니다.

4. 실험 결과

4.1 시뮬레이션 성능

무작위 배치가 적용된 미학습 머그 인스턴스에 대해 평가되었습니다:

• 성공률 (SR): AnyMug는 직립 머그에서 93.18%, 역립 머그에서 **94.19%**를 달성했습니다.
• 비교:
  • 모션 플래닝 (Open-loop): 포즈 추정 노이즈가 증가함에 따라 성능이 급격히 저하되었으며 ($\sigma=0.030$m에서 약 60% SR), 이는 오픈 루프 실행의 민감성을 보여줍니다.
  • 확산 정책 (Diffusion Policy, DP): 약 36% SR을 기록했으며, 주로 빈 파지(empty grasp)와 타임아웃으로 인해 실패했습니다. 이는 데모만으로는 정밀한 정렬을 학습하기 어렵다는 것을 나타냅니다.
  • 등변성 베이스라인 (EquiDiff, EquiBot): 표준 DP보다는 개선되었으나 AnyMug보다는 현저히 낮았습니다 (각각 54% 및 ~12-19% SR). 이는 등변성(equivariance)만으로는 미세한 손잡이 기하학적 추론에 충분하지 않음을 시사합니다.

4.2 실세계 제로샷 전이 (Zero-Shot Transfer)

실제 Franka Panda 로봇에 미세 조정 없이 배포되어, 물리적으로 구별되는 5개의 미학습 머그를 대상으로 테스트되었습니다:

• 성공률: 직립 및 역립 카테고리 모두에서 **80%**의 성공률을 달성했습니다 (각각 10회 시도 중 8회 성공).
• 실패 모드: 실패는 "팁/낙하(tip/fall)"와 "빈 파지(empty grasp)"로 나뉘었으며, 이는 정책이 일반적으로 안전하게 접근하지만 실세계 인식 노이즈 하에서 정렬에 어려움을 겪음을 나타냅니다.
• 베이스라인:
  • 모션 플래닝: 직립 70%, 역립 60% SR.
  • 확산 정책 (DP): 직립 20%, 역립 10% SR.
• 결론: AnyMug는 오픈 루프 및 표준 학습 기반 모델에 비해 실세계 인식 오차에 대해 우수한 강건성을 입증했습니다.

4.3 절제 실험 (Ablation Studies)

• 손가락 대립 보상: 이 항을 제거하면 성공률이 **0%**가 되고 100% 빈 파지가 발생하여, 기능적 파지에 필수적임을 증명했습니다.
• 정규화: 관찰-행동 정규화를 제거하면 성공률이 직립 약 31%, 역립 약 41%로 급락하여 (~93%에서), 이것이 일반화의 핵심 요소임을 확인했습니다.

5. 의의 및 주장

본 논문은 AnyMug가 물체의 포즈로부터 작업 전략을 분리함으로써 포즈 불가지론적 기능적 파지 문제를 성공적으로 해결한다고 주장합니다. 입력(깊이)과 출력(행동)을 모두 정규화함으로써, 시스템은 인스턴스와 포즈 전반에 걸쳐 일반화할 수 있는 단일 재사용 가능 폐루프 정책을 학습합니다.

저자들은 다음을 강조합니다:

• 정규화가 핵심이다: 이는 정책이 배치에 의존적인 모터 명령을 학습할 필요를 없애주어 일반화 성능을 크게 향상시킵니다.
• 폐루프 피드백이 필수적이다: 오픈 루프 방식과 달리, AnyMug의 폐루프 특성은 잔류 포즈 추정 오차와 접촉 변동을 보상합니다.
• 심투리얼(Sim-to-Real) 전이: 본 프레임워크는 실세계 미세 조정 없이도 분석적 플래너 및 최첨단 학습 기반 모델을 능가하는 강력한 제로샷 전이를 달로합니다.

인정된 한계점:

• 현재 작업은 머그 오브젝트와 두 가지 포즈 범주로 제한됩니다.
• 명확한 탑다운 깊이 관찰을 가정하며, 손잡이 방향 추정이 실패할 수 있는 혼잡한 장면, 심한 폐쇄(occlusion), 또는 반사 표면이 있는 환경에서는 성능이 저하될 수 있습니다.
• 더 넓은 오브젝트 클래스, 추가적인 포즈 모드(예: 기울어진 상태), 그리고 따르기와 같은 다운스트림 작업으로 프레임워크를 확장하기 위한 향후 연구가 필요합니다.