Rotation-Aware Point-Cloud Embeddings for Vision-Based In-Hand Reorientation

기술 요약: 시각 기반 인핸드 재배향을 위한 회전 인식 포인트 클라우드 임베딩

문제 정의
본 논문은 포인트 클라우드 목표(goal)를 사용하는 정교한 인핸드 재배향(dexterous in-hand reorientation) 문제를 다룹니다. 포인트 클라우드는 객체별 포즈 프레임이나 6D 포즈 추정이 필요 없이 원하는 3D 기하 구조를 지정할 수 있는 자연스러운 방법이지만, 가공되지 않은 포인트 클라우드 목표 조건화(goal conditioning)는 정책 학습에 적합하지 않습니다. 근본적인 어려움은 포인트 클라우드의 특성에서 기인합니다. 즉, 포인트 클라우드는 순서가 없고, 독립적으로 샘플링되며, 가시성에 의존적입니다. 결과적으로 현재 관측값과 목표 클라우드 사이의 불일치는 객체의 회전을 순열(permutation), 리샘플링 및 불안정한 대응 구조와 뒤섞어 버립니다.

기존 방식들은 다음과 같은 외부 구조를 추가하여 이 문제를 우회하려고 시도했습니다:

• 명시적인 포즈 또는 상대적 포즈 입력 (예: Geometry-Dex).
• 점의 움직임을 나타내는 조밀한 플로우(flow) 특징 (예: HACMan).
• 그라운드 트루스 상태(ground-truth state)에 접근할 수 있는 특권 있는 교사(privileged teacher)로부터의 지식 증류(distillation).

이러한 방법들은 취약한 테스트 타임 연산(포즈 추정, 레지스트레이션)에 의존하거나 전문가의 감독을 필요로 합니다. 저자들은 일반적인 포인트 클라우드 인코더(재구성이나 형상 식별을 위해 훈련된)가 재배향에 필요한 특정 회전 신호를 버리면서, 제어에 용이하도록 작업 관련 상태를 조직화하는 데 실패한다고 주장합니다.

방법론
제안된 솔루션은 회전 인식 포인트 클라우드 임베딩으로, 임베딩 간의 유클리드 잠재 거리를 **SO(3) 지오데식 오차(geodesic error)**에 맞게 보정합니다. 이를 통해 모델 프리 강화학습(RL) 정책이 명시적인 포즈, 플로우 또는 교사 감독 없이도 현재 및 목표 포인트 클라우드 임베딩으로부터 직접 학습할 수 있게 합니다.

1. 포즈 인식 인코더 ($\phi$):

   • 아키텍처: 색상이 포함된 포인트 클라우드($P \in \mathbb{R}^{N \times 6}$)를 128차원 임베딩으로 매핑하는 PointNet++ 기반 인코더입니다.
   • 훈련 목적 함수: 인코더는 시암(Siamese) 스타일로 메트릭 학습 목적 함수를 사용하여 훈련됩니다. 동일한 객체의 두 클라우드가 각각 방향 $q_1$과 $q_2$를 가질 때, 임베딩 간의 유클리드 거리는 SO(3) 지오데식 회전 오차에 대해 회귀됩니다:
     $$L_{metric} = \mathbb{E}[(\|\phi(P_1) - \phi(P_2)\|_2 - 2 \arccos |\langle q_1, q_2 \rangle|)^2]$$
   • 커리큘럼: 훈련에는 YCB 데이터셋의 텍스처 메시를 활용한 폐쇄(occlusion) 커리큘럼이 사용되며, 부분적인 관측을 시뮬레이션하기 위해 점을 점진적으로 제거합니다. 미세 조정 단계에서는 정책 학습 조건과 일치시키기 위해 손 모양의 폐쇄가 포함된 IsaacLab 데이터셋을 사용합니다.

2. 정책 학습 (인핸드 재배향):

   • 프레임워크: 이 작업은 PPO를 사용하여 비대칭 액터-크리틱(asymmetric actor-critic) 아키텍처로 해결되는 목표 증강 마르코프 결정 과정(MDP)으로 정식화됩니다.
   • 관측값 (Actor): 정책은 다음을 수신합니다:
     • 학습된 현재 및 목표 포인트 클라우드 임베딩 ($z_{obj}, z_{goal}$).
     • 고유 수용 감각(proprioception) (관절 위치, 속도, 손가락 끝 포즈).
     • 이동 정보(translation information)를 보완하기 위한 기하학적 메타데이터 (현재 및 목표 클라우드의 중심점).
   • 크리틱 (Critic): 크리틱은 빠른 수렴을 위해 특권 있는 상태 정보(그라운드 트루스 포즈, 속도, 접촉력)에 접근할 수 있습니다.
   • 보상: 보상 함수는 인핸드 위치 드리프트와 회전 오차(SO(3) 상의 지오데식 거리로 측정)를 최소화하며, 액션 정규화 및 성공 보너스를 포함합니다.

주요 기여

• 제어를 위한 표현 학습: 본 논문은 표현(representation) 자체가 포인트 클라우드 목표 조건화를 표준 정책 학습에 사용할 수 있도록 만들어, 포즈 추정기나 조밀한 플우 필드와 같은 외부 스캐폴딩(scaffolding)의 필요성을 제거함을 입증합니다.
• SO(3) 보정 임베딩: 인코더가 회전 축과 크기에 따라 잠재 공간을 조직하도록 명시적으로 훈련함으로써, 임베딩의 차이가 목표에 도달하기 위해 필요한 회전을 직접 반영하는 매끄러운 제어 신호를 생성합니다.
• 모델 프리 RL의 성공: 제안된 방법은 액션 감독이나 교사 행동 없이도 지식 증류 기반의 베이스라인 및 특권 상태 방법과 성능이 일치하는 안정적인 학습이 가능함을 보여줍니다.
• 진단적 증거: 본 논문은 일반적인 자기 지도 학습 사전 훈련(예: Point-MAE)이 형상 식별에는 충분할지라도, 회전 축과 크기에 따라 잠재 공간을 조직하는 데 실패하여 재배향 작업에는 부적합하다는 증거를 제시합니다.

결과
실험은 Shadow Hand와 네 가지 YCB 객체(Peach, Rubik's Cube, Pear, Tuna Can)를 사용하여 시뮬레이션 환경에서 수행되었습니다.

• 성능: 제안된 방법은 테스트된 모든 객체에 대해 100% 성공률을 달-성하였으며, 이는 "교사(Teacher, 특권 상태)" 및 "증류된 학생(Distilled Student)" 베이스라인의 성능과 일치합니다.
• 효율성: 제안된 방법이 성공적이긴 했으나, 목표에 도달하는 데 평균적으로 더 많은 타임스텝이 소요되었습니다 (예: Peach의 경우 85.29 스텝 vs 25.40 스텝). 저자들은 이를 모델 프리 학습의 특성(단계별 액션이 아닌 보상으로부터 최적화) 때문으로 보고하며, 더 긴 훈련을 통해 속도를 개선할 수 있다고 언급했습니다.
• 베이스라인 비교:
  • 포즈 추정기(예: FoundationPose) 또는 레지스트레이션(Open3D)에 의존하는 방법들은 현저히 낮은 성공률(예: Rubik's Cube와 Pear의 경우 33-58%)과 훨씬 높은 실패 시간을 보였으며, 이는 배포 시 이러한 중간 모듈의 취약성을 강조합니다.
  • 시뮬레이션 상태를 사용하는 플로우 기반 방법은 좋은 성능을 보였으나, 레지스트레이션에 의려한 방법은 크게 실패했습니다.
  • 일반 인코더: 미세 조정된 Point-MAE 인코더를 사용하는 정책은 학습에 완전히 실패하였으며, 이는 일반적인 형상 특징이 필요한 회전 인식 신호를 제공하지 못함을 확인시켜 줍니다.
• 표현 분석: 잠재 공간 시각화(표면 플롯 및 t-SNE)를 통해 제안된 인코더가 회전 축과 크기에 따라 임베딩을 조직하며, 액션 감독 없이도 지식 증류 기반 학생이 학습한 것과 유사한 구조화된 경관(landscape)을 생성함을 확인했습니다.

의의 및 주장
본 논문은 포인트 클라우드 목표가 포즈나 플로우를 계산하는 외부 모듈에 의존하는 대신, 표현 자체가 작업에 필요한 회전 기하 구조를 인코딩할 때 실용적인 정교한 제어가 가능해진다고 주장합니다.

• 본 연구는 시각적 표현이 특정 변환 그룹(이 경우 SO(3))에 맞게 명시적으로 구조화되어 있다면, 포즈 추정 및 레지스트레이션이라는 "스캐폴딩"이 반드시 필요하지 않음을 시사합니다.
• 일반적인 시각 사전 훈련의 한계를 지적합니다: 형상 정체성을 보존하는 것만으로는 정밀한 기하학적 비교가 필요한 제어 작업에 충분하지 않으며, 표현은 특정 변환 그룹(이 경우 SO(3))에 맞춰 명시적으로 구조화되어야 합니다.
• 저자들은 평가가 시뮬레이션에서 수행되었으나, 폐쇄 커리큘럼, 포인트 지터링(jittering), 도메인 랜덤화를 사용하여 실제 로봇 배포 시 예상되는 섭동에 대한 표현의 견고성을 입증했다고 언급하며, 향후 실제 로봇 검증의 필요성을 제시합니다.

한계점
저자들은 현재의 임베딩이 주로 회전 관련 상태를 보존하며 객체의 형상을 보존하도록 명시적으로 제한되지 않았음을 인정하며, 이는 다양한 객체에 대해 단일 일반 정책을 학습하는 데 한계가 될 수 있다고 밝힙니다. 향후 연구로는 형상을 함께 보존하면서 제어 친화적인 비교를 가능하게 하는 임베딩과, 일반적인 조작을 위해 메트릭 목적 함수를 전체 SE(3) 그룹으로 확장하는 것을 제안합니다.