CLAR: Learning 3D Representations for Robotic Manipulation by Fusing Masked Reconstruction with Multi-Level Contrastive Alignment

기술 요약: CLAR: 로봇 조작을 위한 3D 표현 학습

문제 정의

로봇 조작에는 물리적 3D 세계에 정책을 효과적으로 접지(grounding)할 수 있는 강력한 표현 모듈이 필요합니다. 기존 방식들은 다음과 같은 중대한 한계에 직면해 있습니다:

1. 2D 파운데이션 모델: 2D 비전 모델은 의미론적 이해 능력은 뛰어나지만, 내재적인 3D 공간 인지 능력이 부족합니다. 이들은 장면의 기하학적 구조를 파악하는 데 어려움을 겪으며, 객체의 상대적 위치(예: "왼쪽" 대 "오른쪽")가 서로 다른 카메라 시점 간에 일치하지 않는 다중 뷰 모호성(multi-view ambiguity) 문제를 겪습니다. 이는 정책이 새로운 설정으로 일반화되지 않는 취약하고 카메라 중심적인 행동을 학습하게 만듭니다.
2. 기존 3D 사전 학습: 현재의 3D 사전 학습 방법들은 종종 트레이드오프(trade-off)를 보입니다. 마스크 오토인코딩(MAE) 방식은 공간-기하학적 특징을 포착하는 데는 탁월하지만 의미론적 풍부함이 부족합니다. 반대로, 대조 학습(contrastive learning) 방식은 2D 파운데이션 모델로부터 의미론을 추출할 수 있지만, 조작에 필요한 미세한 국소적 세부 사항을 포착하는 데 실패하는 경우가 많습니다. 또한, 로보틱스에서의 표준 대조 학습은 종종 전역적 특징 정렬(global feature alignment)에 의존하여 국소적 세부 사항을 손실하며, 포인트 클라우드 크로핑(cropping)은 부분적인 3D 뷰와 전체 2D 이미지 사이의 맥락적 불일치를 유발합니다.

방법론

저자들은 전역적 이해와 미세한 국소 정렬을 결합하도록 설계된 새로운 3D 사전 학습 프레임워크인 CLAR(Contrastive Learning and Alignment with Reconstruction)을 제안합니다. 이 프레임 much는 뷰 모호성을 제거하기 위해 통합된 로봇 중심 좌표계 내에서 작동합니다.

1. 전역 대조 학습 및 3D 재구성:

• 3D 재구성 (MAE): 공간 지각력을 높이기 위해, CLAR은 포인트 클라우드 마스크 오토인코더를 사용합니다. 높은 비율(60%-80%)의 포인트 패치를 무작위로 마스킹하고, 마스킹된 기하학적 구조를 재구성하도록 인코더-디코더 아키텍처를 훈련시킵니다. 손실은 재구성된 포인트 패치와 실제 값(ground truth) 사이의 샴페 거리(Chamfer Distance)를 사용하여 계산됩니다.
• 전역 의미론적 정렬: 대규모 3D 데이터셋 없이도 강력한 2D 파운데이션 모델(예: CLIP)로부터 의미론적 지식을 전달하기 위해, CLAR은 교차 모달 대조 학습을 사용합니다. 3D 포인트 클라우드 특징 공간을 사전 학습된 인코더의 이미지 및 텍스트 특징 공간과 대조 손실 함수를 사용하여 정렬합니다.

2. 적응형 미세 국소 정렬 (Adaptive Fine-Grained Local Alignment):
조작에 중요한 세부 사항을 포착하는 데 있어 전역 정렬이 실패하는 문제와 포인트 클라우드 크로핑으로 인한 "맥락적 불일치"를 해결하기 위해, CLAR은 새로운 적응형 국소 정렬 메커니즘을 도입합니다.

• 변형 가능한 어텐션 (Deformable Attention): 정적인 전역 매칭을 강제하는 대신, 이 메커니즘은 변형 가능한 어텐션을 사용하여 국소 3D 패치를 그에 대응하는 2D 이미지 영역과 적응적으로 매칭합니다.
• 프로세스: 3D 포인트 클라우드 패치의 중심이 쿼리(query) 역할을 하고, 전체 2D 이미지 특징 맵이 값(value) 역할을 합니다. 모델은 샘플링 오프셋과 어텐션 가중치를 예측하여 유효하고 대응하는 2D 이미지 영역에서만 특징을 샘플링합니다. 이를 통해 모델은 3D 패치의 가변적인 공간 스케일을 처리하고, 크로핑된 포인트 클라우드와 전체 RGB 이미지 사이의 불일치를 해결할 수 있습니다.
• 손실: 정렬된 3D 국소 특징과 샘플링된 2D 국소 특징 사이의 국소 정렬 손실을 계산합니다.

3. 훈련 목적 함수:
전체 손실은 MAE 재구성 손실, 전역 3D-이미지/텍스트 대조 손실, 그리고 국소 정렬 손실의 가중 합계입니다.

주요 기여

1. CLAR 프레임워크: 공간 지각을 위한 3D 재구성과 의미론적 이해를 위한 전역 대조 학습을 통합하여 로봇 조작에 특화된 새로운 표현 학습 프레임워크를 제안합니다.
2. 적응형 국소 정렬: 미세한 조작에 필수적인 세부 사항을 보존하기 위해 변형 가능한 어텐션을 사용하는 새로운 메커니즘을 도입했습니다. 이는 전역 정렬의 한계를 극념하고 표준 포인트 클라우드 크로핑에 의해 발생하는 맥락적 불일치를 해결합니다.
3. 최첨단 성능 (SOTA): 시뮬레이션 및 실제 환경 작업에서 CLAR이 기존의 비주오모터(visuomotor) 정책 학습 성능을 능가함을 광범위한 검증을 통해 입증했습니다.

실험 결과

저자들은 MetaWorld, RLBench, 그리고 Franka Emika 로봇 팔을 이용한 실제 환경 작업에서 CLAR을 평가했습니다.

• 시뮬레이션 벤치마크:
  • MetaWorld: CLAR은 **82.6%**의 평균 성공률을 달성하여, 이전 최고 3D 방식인 Lift3D(76.8%)와 모든 2D 기반 베이스라인을 능가했습니다.
  • RLBench: CLAR은 **82.0%**의 평균 성공률을 달성하여, Lift3D(77.0%) 및 기타 베이스라인을 넘어섰습니다.
• 실제 환경 실험:
  • 5가지 실제 작업(예: 바나나 집기, 서랍 열기)에서 CLAR은 **83.0%**의 성공률을 기록하며, Lift3D(61.0%) 및 VC-1과 같은 2D 방식보다 크게 앞섰습니다. 저자들은 베이스라인의 실패 원인을 낮은 기하학적 지각력(2D 방식) 또는 모달리티 불일치(Lift3D)로 돌렸습니다.
• 다중 작업 및 관점 변화:
  • 다중 작업 지시 이행 실험에서 CLAR은 **73.3%**의 성공률을 달성하여 효과적인 의미론적 전이를 보여주었습니다.
  • 관점 변화 테스트(한 카메라 뷰에서 훈련하고 다른 뷰에서 테스트)에서 CLAR은 높은 견고성(성공률 84% vs CLIP 27.3%)을 보여주었으며, 이는 통합된 로봇 중심 좌표계의 이점을 확인시켜 줍니다.
• 절제 연구 (Ablation Studies): MAE 손실을 제거했을 때 가장 큰 성능 저하(83%에서 73%로)가 발생했으며, 이는 공간 지각의 결정적인 역할을 강조합니다. 그러나 국소 정렬 모듈은 일관되게 6%의 이득을 제공하여 미세 조작을 위한 필요성을 입증했습니다.

의의 및 주장

본 논문은 공간-기하학적 표현과 의미론적 표현 학습 사이의 간극을 성공적으로 메움으로써 로봇 조작 분야의 새로운 최첨단(SOTA)을 구축했다고 주장합니다. 주요 의의는 다음과 같습니다:

• 시너지: MAE(기하학용)와 대조 학습(의미론용)의 결합이 강력한 조작을 위해 필수적임을 입증했습니다.
• 국소 정밀도: 미세한 제어가 필요한 작업에서 전역 정렬의 한계를 극복하기 위해 적응형 국소 정렬이 필요함을 증명했습니다.
• 일반화: 통합된 로봇 중심 좌표계가 서로 다른 카메라 설정과 시점 간에 정책을 일반화할 수 있게 하며, 이는 실제 배포를 위한 핵심 요구사항임을 보여주었습니다.

저자들은 정밀한 카메라 및 깊이 정보를 포함한 대규모 3D 로보틱스 데이터셋의 부족으로 인해, 2D 파운데이션 모델에 비해 사전 학습 규모가 제한된다는 점을 주요 한계로 인정했습니다. 또한, 현재 실험은 테이블탑 조작에 국한되어 있어 이동형 내비게이션 환경에서의 성능은 아직 탐구되지 않았습니다.