기술 요약: PointMapPolicy

문제 정의

로봇 조작 시스템은 복잡한 환경에서 효과적으로 작동하기 위해 상호 보완적인 센싱 양상(modality)을 필요로 합니다. RGB 이미지는 풍부한 시맨틱 문맥을 제공하지만, 명시적인 3D 기하학적 정보가 부족하여 공간 추론이 필요한 작업에서 정밀도와 일반화 능력이 떨어집니다. 반대로 포인트 클라우드는 기하학적 구조와 공간적 관계를 보존하지만, 불규칙한 데이터 구조로 인해 효율적이고 확립된 컴퓨터 비전 아키텍처를 적용하는 데 한계가 있습니다. 현재의 접근 방식들은 중요한 트레이드오프에 직면해 있습니다. 다운샘플링 기반 방식(예: Farthest Point Sampling)은 정밀한 조작에 필수적인 미세한 기하학적 세부 정보를 버리게 되며, 피처 리프팅(feature-lifting) 방식은 정보 손실을 유발하거나 공간 구조를 유지하는 데 어려움을 겪습니다. 또한, 기존의 3D 처리 방식은 계산 비용이 많이 들며, 2D 비전에서 효율적인 처리를 가능하게 하는 규칙적인 그리드 구조와 호환되지 않습니다.

방법론

저자들은 **구조화된 포인트 맵(structured point maps)**에 조건화되는 새로운 확산 기반 모방 학습 프레框架인 **PointMapPolicy (PMP)**를 제안합니다.

핵심 개념: 포인트 맵 (Point Maps)

PMP는 포인트 클라우드를 비구조화된 집합으로 취급하는 대신, 대응하는 이미지 픽셀과 일대일 매핑을 유지하는 데카르트 좌표(XYZ)의 규칙적인 2D 그리드로 3D 정보를 인코딩합니다.

• 생성: 카메라 내부 파라미터($K_{int}$)를 사용하여 깊이 맵(depth map)을 역투영함으로써 밀집된 2D 3D 포인트 필드($M_t \in \mathbb{R}^{H \times W \times 3}$)를 생성합니다.
• 장점: 이 구조화된 표현 방식은 K-최근접 이웃(KNN)이나 Farthest Point Sampling(FPS)과 같은 계산 집약적인 연산 없이도 표준 시각 인코더(예: ResNet, ViT, ConvNeXt)를 3D 데이터에 직접 적용할 수 있게 해줍니다.
• 다중 뷰 융합 (Multi-View Fusion): 여러 카메라 뷰의 포인트 맵을 외부 파라미터를 사용하여 공통된 월드 참조 프레임으로 변환함으로써, 다중 뷰 데이터의 견고한 융합을 가능하게 합니다.

아키텍처

PMP는 이러한 포인트 맵을 스코어 기반 확산 정책 프레임워크(EDM)에 통합합니다:

1. 관측 토큰화 (Observation Tokenization):
   • 언어: 사전 학습된 CLIP 텍스트 인코더를 통해 인코딩됩니다.
   • RGB: 사전 학습된 시각 인코더(예: Film-ResNet)에 의해 처리됩니다.
   • 포인트 맵: 처음부터 학습된 시각 인코더에 의해 처리됩니다.
2. 융합 전략: 본 논문은 초기 융합(초기 단계에서 XYZ와 RGB를 6채널 입력으로 결합)과 후기 융합을 조사합니다. 후기 융합의 경우, 별도의 인코더에서 나온 토큰들을 요소별 덧셈, 결합(concatenation) 또는 교차 주의(cross-attention)를 통해 결합합니다. 저자들은 결합(Concatenation, Cat) 방식이 가장 효과적인 후기 융합 방법임을 발견했습니다.
3. 백본 (Backbone): 정책은 핵심 계산 단위로 xLSTM(특히 X-Block 내의 m-LSTM 레이어)을 활용합니다. 이 순환 신경망 아키텍처는 트랜스포머의 표현력과 실시간 로봇 학습에 필요한 계산 효율성 사이의 균형을 맞추면서, 선형 복잡도로 시간적 의존성을 효율적으로 모델링할 수 있는 능력 때문에 선택되었습니다.
4. 확산 과정 (Diffusion Process): 모델은 융합된 다중 모달 관측값에 조건화되어 액션 시퀀스(액션 청킹)를 생성하기 위해 가우시안 섭동 과정을 역전시키는 법을 학습합니다.

주요 기여

1. PointMapPolicy (PMP): 포인트 맵을 관측 양상으로 사용한 최초의 확산 기반 모방 학습 적용 사례입니다.
2. 최첨단 성능 (SOTA): CALVIN 벤치마크에서 처음부터 학습된 정책 중 최고 성능을 달-성했으며, RoboCasa 벤치마크에서도 다른 양상들을 능가했습니다.
3. 체계적인 절제 연구 (Ablation Studies): 포인트 클라우드 처리 방식, 시각 백본(ResNet, ViT, ConvNeXt), 융합 패러다임에 대한 포괄적인 분석을 제공하여, 구조화된 포인트 맵이 기존의 다운샘플링이나 리프팅 기술보다 우수함을 입증했습니다.

실험 결과

시뮬레이션 벤치마크

• RoboCasa: PMP-xyz(포인트 맵만 사용)는 평균 성공률 **49.12%**를 달성하여, DP3 및 3DA와 같은 3D 베이스라인(약 20% 높음)과 BC 및 GR00T-N1과 같은 2D 베이스라인(약 13% 높음)을 크게 앞질렀습니다. 이는 다양한 가사 작업에서 구조화된 기하학적 정보의 가치를 강조합니다.
• CALVIN: PMP는 4.01(평균 롤아웃 길이)의 점수를 기록하며, 처음부터 학습된 모든 다른 모델과 많은 사전 학습 모델들을 능가했습니다. 특히, 파라미터 수가 더 적음에도 불구하고 Seer-Large(scratch)를 넘어섰습니다. 그러나 PMP-xyz는 RGB 전용 모델(3.15)에 비해 낮은 성능(2.03)을 보였는데, 이는 색상 단서(예: "빨간 블록")에 크게 의존하는 작업에는 시각적 시맨틱 정보가 필요함을 나타냅전합니다.
• 절제 연구:
  • 인코딩: 동일한 xLSTM 백본을 사용할 때 PMP-xyz는 PointNet, PointPatch, 3D-Lifting 베이스라인보다 실질적으로 우수한 성능을 보여, 포인트 맵 인코딩 자체의 효용성을 확인했습니다.
  • 융합: 결합(Concatenation, Cat)이 가장 효과적인 융합 전략임이 밝혀졌습니다.
  • 백본: ConvNeXt-v2가 포인트 맵 처리에서 ResNet50 및 DaViT보다 일관되게 우수한 성능을 보였습니다.

실제 환경 평가

Franka Panda 로봇을 사용하여 6가지 작업(정렬하기, 접기, 컵 쌓기, 서랍 열기, 붓기, 쓸기)에 대해 평가되었습니다.

• 성능: PMP는 모든 작업에서 RGB 전용 베이스라인을 일관되게 능가하며, 누적 단계 점수에서 최소 0.2점의 향상을 달 achievement 했습니다.
• 샘플 효율성: 접기(Folding) 작업에서 PMP는 단 45개의 시연(demonstrations)만으로 점수를 2.1에서 2.5로 개선했습니다.
• 관찰된 한계: PMP-xyz는 변형 가능한 물체(접기, 쓸기)와 색상 의존적 작업(컵 쌓기)에서 어려움을 겪었으며, 이는 복잡한 실제 시나리오에서 다중 모달 융합의 필요성을 뒷받침합니다.

효율성

이 방법은 계산적으로 효율적이며, 단일 GPU에서 추론 시간은 2.9 ms(PMP-xyz) 및 3.9 ms(PMP)로 실시간 성능을 유지합니다. 학습 또한 가속화되어, CALVIN에 대한 25 에포크 학습이 6시간 이내에 완료되었습니다.

의의 및 주장

본 논문은 PointMapPolicy가 3D 기하학적 정보와 기존 2D 비전 아키텍처 사이의 간극을 메운다고 주장합니다. 포인트 클라우드를 규칙적인 그리드로 구조화함으로써, 기하학적 충실도를 희생하지 않으면서도 효율적이고 확립된 시각 인코더를 사용할 수 있게 합니다. 저자들은 이 접근 방식이 RGB 또는 포인트 클라우드 입력을 위한 "드롭인 대체재(drop-in replacement)"를 제공하며, 더 우수한 학습 효율성, 일반화 및 정밀도를 제공한다고 단언합니다. 기하학 중심의 RoboCasa와 색상 중심의 CALVIN에서의 대조적인 성능은 기하학적 양상과 시각적 양상의 상호 보완적 성격을 강조하며, 견고한 다중 모달 인식을 위한 저자들의 융합 접근 방식을 검증합니다. 이 연구는 구조화된 포인트 맵이 계산 오버헤드를 줄이면서도 최첨단 결과를 달성할 수 있는 강력하고 저평가된 로봇 모방 학습의 양상임을 시사합니다.