Hyperbolic Multiview Pretraining for Robotic Manipulation

이 논문은 로봇 조작 작업의 견고한 공간 인식 능력을 향상시키기 위해 유클리드 공간의 한계를 극복하는 쌍곡선 다중 뷰 사전 학습 프레임워크인 HyperMVP 와 대규모 3D 데이터셋 3D-MOV 를 제안하고, 이를 통해 다양한 시나리오에서 기존 기법보다 우수한 성능을 입증합니다.

핵심

1. 문제: 로봇은 왜 자꾸 실수할까요? (평평한 세계의 한계)

지금까지 로봇을 가르칠 때는 마치 평평한 종이 (유클리드 공간) 위에 사물을 그려 넣는 방식이었습니다.

• 비유: 평평한 종이 위에 나무를 그리면, 나무의 가지가 어떻게 뻗어 있는지, 뿌리가 어떻게 연결되는지 복잡한 구조를 표현하기 어렵습니다. 로봇도 마찬가지로, "이 물체는 저 물체보다 더 복잡하다"거나 "이것은 저것의 일부다" 같은 계층적이고 복잡한 관계를 이해하는 데 어려움을 겪었습니다.
• 결과: 로봇은 훈련된 상황에서는 잘하지만, 조명이나 물체 색상이 조금만 바뀌어도 (실제 세상처럼) 당황해서 일을 못 합니다.

2. 해결책: 구부러진 거울을 사용하세요 (하이퍼볼릭 공간)

이 연구팀은 로봇에게 **평평한 종이 대신 '구부러진 거울' (하이퍼볼릭 공간)**을 보여주기로 했습니다.

• 비유: 구부러진 거울은 가장자리로 갈수록 공간이 훨씬 더 넓게 펼쳐집니다. 마치 나무의 가지가 뻗어 나가거나, 도서관의 책장 구조처럼 복잡한 관계를 자연스럽게 담을 수 있는 공간입니다.
• 효과: 로봇은 이 구부러진 거울을 통해 사물들의 '구조'와 '관계'를 훨씬 더 명확하게 파악하게 됩니다. 단순히 모양만 보는 게 아니라, 사물이 어떻게 연결되어 있는지 깊이 이해하게 되는 것입니다.

3. 학습 방법: 5 개의 눈으로 세상을 보는 마법 (멀티뷰 & 자기 학습)

로봇이 이 새로운 세상을 배우는 과정은 다음과 같습니다.

• 3D-MOV 데이터셋 (거대한 도서관):
  연구팀은 로봇에게 배우게 할 책 (데이터) 을 엄청나게 많이 준비했습니다. 단순히 물체 하나만 있는 게 아니라, 실제 방 (인테리어), 책상 위, 사람들로 붐비는 공간 등 다양한 3D 장면 20 만 개를 모았습니다.

  • 비유: 로봇에게 "사과" 하나만 보여준 게 아니라, "과일 가게 전체", "주방", "식당" 등 다양한 상황을 보여주며 학습시킨 것입니다.

• 5 개의 시점 (오르토그래픽 뷰):
  로봇은 물체를 볼 때 위, 아래, 앞, 뒤, 왼쪽, 오른쪽 등 5 개의 다른 각도에서 동시에 봅니다.

  • 비유: 우리가 물건을 볼 때 한쪽 눈으로만 보는 게 아니라, 두 눈으로 그리고 머리 위와 아래까지 다각도로 보면서 입체감을 느끼는 것과 같습니다.

• 마스크된 학습 (눈 가리고 맞추기):
  로봇은 학습할 때 이미지의 일부 (패치) 를 가리고 (마스크), 가려진 부분을 스스로 추론하도록 훈련합니다.

  • 비유: 퍼즐을 할 때 일부 조각을 숨겨두고, 나머지 조각을 보고 숨겨진 조각이 어떤 모양일지 맞춰보게 하는 것입니다. 이 과정을 통해 로봇은 사물의 전체적인 구조를 머릿속에 완벽하게 그려내게 됩니다.

4. 성과: 실전에서의 압도적인 차이

이 새로운 방법으로 훈련된 로봇 (HyperMVP) 은 기존 로봇들보다 훨씬 강력해졌습니다.

• 상황 변화에 강함:

  • 비유: 기존 로봇은 "빨간 공"만 잡는 법을 배웠다면, HyperMVP 는 "공"이라는 개념을 이해했기 때문에 "파란 공", "무늬가 있는 공", "어두운 곳의 공"도 쉽게 잡습니다.
  • 결과: 실험에서 조명, 질감, 방해물 등 모든 조건이 뒤죽박죽인 상황에서도 기존 최고 성능보다 2.1 배 더 잘 작동했습니다.

• 정밀한 작업:

  • 비유: 로봇이 "컵을 쌓는 것"이나 "케이블을 꽂는 것" 같은 정교한 작업을 할 때, 기존 로봇은 자꾸 떨어뜨리거나 꽂지 못했지만, HyperMVP 는 구조를 잘 이해해서 훨씬 정확하게 수행했습니다.

5. 요약: 왜 이것이 중요한가요?

이 연구는 로봇이 단순히 이미지를 보는 것을 넘어, 공간의 구조와 관계를 깊이 있게 이해하도록 돕는 새로운 길을 열었습니다.

• 핵심 메시지: 로봇에게 평평한 눈 (기존 방식) 대신 **구부러진 눈 (하이퍼볼릭 공간)**을 주고, **다양한 상황 (3D-MOV 데이터)**을 보여주며 **스스로 추론 (자기 학습)**하게 훈련시켰더니, 로봇이 훨씬 더 똑똑하고 튼튼해졌습니다.

이 기술이 발전하면, 앞으로 우리 집이나 공장에서 로봇이 예상치 못한 상황에서도 유연하게 일하는 모습을 훨씬 더 자주 보게 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

기존 로봇 조작 (Robotic Manipulation) 을 위한 3D 비전 사전 학습 (Pretraining) 방법들은 유향 공간 (Euclidean space) 에 기반을 두고 있습니다. 그러나 유향 공간의 평평한 기하학적 특성은 임베딩 간의 구조적 관계 (예: 계층적 관계, 부분 - 전체 관계) 를 모델링하는 데 한계가 있습니다. 이로 인해 로봇이 복잡한 환경 변화 (조명, 질감, 객체 크기 변화 등) 에 직면했을 때 견고한 공간 지각 능력을 학습하기 어렵고, 다양한 시나리오에서의 일반화 성능이 저하되는 문제가 발생합니다.

2. 방법론 (Methodology)

저자들은 유향 공간의 한계를 극복하기 위해 쌍곡선 공간 (Hyperbolic space) 의 기하학적 이점을 활용하여 HyperMVP라는 새로운 자기지도 학습 (Self-supervised) 프레임워크를 제안했습니다.

가. 3D-MOV 데이터셋 구축

• 목적: 다양한 3D 데이터 유형이 조작 성능에 미치는 영향을 분석하고 대규모 사전 학습을 지원하기 위해 구축.
• 구성: 총 약 20 만 개의 3D 포인트 클라우드 (4 가지 카테고리) 와 약 100 만 개의 오쏘그래픽 (Orthographic) 이미지로 구성됨.
  • 객체 레벨: Objaverse-XL 에서 18 만 개.
  • 실내 장면: ScanNet 에서 6,052 개 (세분화된 공간 구조).
  • 테이블탑 장면: TO-Scene 에서 14,000 개 이상 (바닐라 및 크라우드 레벨).
• 특징: 각 포인트 클라우드당 5 개의 오쏘그래픽 뷰 (상, 하, 전, 후, 좌, 우) 로 렌더링됨.

나. GeoLink 인코더 및 쌍곡선 표현 학습

• 아키텍처: MAE (Masked Autoencoder) 패러다임을 확장하여 GeoLink 인코더를 설계.
• 동작 원리:
  1. 입력: 3D 포인트 클라우드를 5 개의 오쏘그래픽 이미지로 렌더링하고 패치 단위로 마스킹.
  2. 유향 임베딩 생성: ViT 블록을 통해 유향 공간의 패치 임베딩 생성.
  3. 쌍곡선 공간 매핑 (Lifting): 로렌츠 모델 (Lorentz model) 을 사용하여 유향 임베딩을 쌍곡선 공간으로 변환 (Exponential map).
  4. 자기지도 학습 목표 (Pretext Tasks):
     • 내부 뷰/외부 뷰 재구성 (Intra/Inter-view Reconstruction): 마스킹된 패치와 다른 뷰의 정보를 통해 이미지 재구성.
     • 쌍곡선 표현 제약 (Hyperbolic Constraints):
       • Top-K 순위 상관 손실 (Top-K Rank Correlation Loss): 유향 공간과 쌍곡선 공간 간의 패치 간 이웃 순위 (Neighborhood order) 일관성을 유지하도록 강제.
       • 포함 손실 (Entailment Loss): CLS 토큰과 패치/마스크 토큰 간의 부분 순서 (Partial order) 관계를 모델링하여 계층적 구조를 보존.
• 하류 작업 (Finetuning): 사전 학습된 GeoLink 인코더를 Robotic View Transformer (RVT) 와 결합하여 조작 정책을 학습.

3. 주요 기여 (Key Contributions)

1. 최초의 쌍곡선 공간 3D 멀티뷰 사전 학습: 로봇 조작을 위해 쌍곡선 공간에서 3D 멀티뷰 표현을 학습하는 최초의 프레임워크 (HyperMVP) 를 제안.
2. 대규모 3D-MOV 데이터셋: 4 가지 유형의 3D 포인트 클라우드와 100 만 개 이상의 멀티뷰 이미지를 포함한 대규모 데이터셋을 공개하여 다양한 3D 데이터의 영향을 분석할 수 있는 기반 마련.
3. 광범위한 평가 및 통찰: 시뮬레이션 (COLOSSEUM, RLBench) 및 실제 세계 환경에서의 포괄적인 평가 결과를 제시하며, 비유향 기하학이 로봇 조작의 견고성과 일반화에 미치는 긍정적 영향을 입증.

4. 실험 결과 (Results)

• COLOSSEUM 벤치마크 (일반화 평가):
  • 다양한 환경 교란 (Perturbations) 하에서 기존 SOTA (3D-MVP 등) 를 압도적으로 능가.
  • 모든 교란 설정에서 평균 33.4% 향상.
  • 가장 까다로운 'All Perturbations' 설정에서 2.1 배 (5.3% → 11.2%) 의 성능 향상 달성.
• RLBench 벤치마크 (다중 작업 평가):
  • 18 가지 작업에서 평균 성공률 71.1% 달성 (RVT 만 학습한 경우 대비 13.0% 상대적 향상).
  • SAM2Act (지도 학습) 및 3D-MVP (유향 공간 자기지도 학습) 보다 우수한 성능.
• 실제 세계 (Real-World) 평가:
  • 'Bear Pick & Place' 및 'Charging Cable Plug-in' 작업에서 RVT 대비 평균 성공률 60.0% (RVT: 32.9%) 달성.
  • 교란 조건 (조명, 질감, 방해물) 하에서도 성능 저하폭이 RVT 보다 현저히 작음 (교란 시 RVT 는 77.8% 감소, HyperMVP 는 44.4% 감소).
  • 고정밀 작업 (케이블 삽입) 에서도 케이블 파지 단계에서 90% 성공률 기록 (RVT 는 20%).

5. 의의 및 결론 (Significance)

이 논문은 비유향 (Non-Euclidean) 공간, 특히 쌍곡선 공간이 로봇 조작을 위한 시각 표현 학습에 유향 공간보다 우월할 수 있음을 입증했습니다. 쌍곡선 공간의 지수적 거리 확장은 복잡한 공간 구조와 계층적 관계를 더 효과적으로 포착하여, 로봇이 다양한 환경 변화에 대해 견고하고 일반화 가능한 조작 정책을 학습할 수 있게 합니다. 또한, 제안된 3D-MOV 데이터셋과 GeoLink 아키텍처는 향후 로봇 비전 및 자기지도 학습 연구의 중요한 기반이 될 것으로 기대됩니다.