Learning Geometrically-Grounded 3D Visual Representations for View-Generalizable Robotic Manipulation

기술 요약: GEM3D

문제 정의
실제 로봇 조작에는 다양한 카메라 시점 전반에 걸쳐 견고한 공간 장면 이해와 일반화 능력을 갖춘 시각-운동 정책(visuomotor policies)이 필요합니다. 기존의 접근 방식들은 세 가지 주요 한계점에 직면해 있습니다:

1. 다중 뷰 의존성: 많은 3D 인식 방법론들은 추론 과정에서 다중 뷰 관측에 의존하며, 이는 실제 현장 배포 시 흔히 발생하는 단일 뷰 제한 시나리오에서 비실용적입니다.
2. 불완전한 장면 모델링: 현재의 단일 뷰 3D 인지 방법(예: NeRF 또는 Gaussian Splatting을 사용하는 방식)은 정밀한 조작에 필수적인 전체적이고 세밀한 기하학적 구조를 포착하는 데 실패하는 경우가 많으며, 이로 인해 거친 재구성을 초래합니다.
3. 비효효율적인 정책 학습: 습득된 3D 지식을 정책 학습 중에 유지하고 활용하는 효과적인 전략이 부족하여, 특정 훈련 시점에 과적합되거나 보지 못한 구성에 대한 일반화 성능이 저하됩니다.

방법론: GEM3D
저자들은 GEM3D(Geometrically-Grounded 3D Manipulation)를 제안합니다. 이는 3단계 사전 학습 패러다임과 다단계 증류(distillation) 전략을 통해 표현 학습(representation learning)과 정책 학습(policy learning)을 분리하는 통합 프레임워크입니다.

1. 기하학적 기반 사전 학습 (Geometrically-Grounded Pretraining)
사전 학습 파이프라인은 다중 뷰 감독(multi-view supervision)을 사용하여 단일 뷰 RGB-D 입력으로부터 표현력이 풍부한 3D 장면 임베딩을 학습합니다:

• 3D 특징 추출: 단일 뷰 RGB-D 관측값은 깊이(depth)를 포인트 클라우드로 역투영하여 처리되며, 사전 학습된 DINOv2 모델로부터 2D 특징을 결합하고 이를 복셀화(voxelize)합니다. 3D U-Net은 이를 하나의 **조밀한 볼륨 특징(Dense Volumetric Feature)**으로 융합합니다.
• Coarse-to-Fine 포인트 클라우드 재구성: 전체적인 기하학적 이해를 달성하기 위해, 모델은 2단계 어텐션 메커니즘(Coarse Cross-Attention 및 3-D Deformable Cross-Attention)을 사용하여 볼륨 특징으로부터 희소한 "시드 포인트(seed points)"를 예측합니다. 이 시드들은 Snowflake Point Deconvolution (SPD) 과정을 통해 조밀한 포인트 클라우드로 점진적으로 정교화되며, 이는 그라운드 트루스 다중 뷰 포인트 클라우드에 대한 Chamfer distance를 기준으로 감독됩니다.
• 피드포워드 3D Gaussian Splatting: 정교화된 포인트 클라우드는 3D 가우시안 프리미티브(Gaussian primitives)의 중심 역할을 합니다. 가우시안 특징은 조밀한 볼륨 필드에서 샘플링되며, ResNetFC를 통해 비위치 매개변수(색상, 불투명도, 회전, 스케일)를 예측하도록 회귀됩니다. 이를 통해 다이나믹하고 모호한 영역을 강조하는 Focal Loss를 사용하여 다중 뷰 RGB 관측값에 의해 감독되는 새로운 뷰 렌더링이 가능해집니다.

2. 증류 기반 정책 학습 (Distillation-based Policy Learning)
사전 학습된 인코더를 직접 미세 조정하는 것(이는 학습된 기하학적 표현을 손상시킬 위험이 있음) 대신, GEM3D는 다단계 증류 접근 방식을 채택합니다:

• 별도의 정책 시각 인코더가 단일 뷰 RGB-D 입력을 잠재 토큰(latent tokens)으로 처리합니다.
• 동결된(frozen) 사전 학습된 3D 특징 추출기가 동일한 입력으로부터 참조 토큰(reference tokens)을 생성합니다.
• **코사인 유사도 기반 증류 손실(cosine-similarity-based distillation loss)**은 정책의 잠재 토큰을 사전 학습된 참조 토큰과 정렬합니다.
• 동적인 이해를 강화하기 위해, **암시적 잠재 역학 모델(implicit latent dynamics model)**이 현재 상태, 고유 수용 감각(proprioception), 그리고 언어를 바탕으로 다음 상태($x_{t+1}$)를 예측합니다. 증류는 현재($t$)와 다음($t+1$) 타임 스텝 모두에서 적용되어 시간적 일관성을 확보하고 기하학적 지식을 조작 기술로 효과적으로 전달합니다.

주요 기여

• 통합 프레임워크: 추론 시 단일 뷰 입력을 사용하면서도 뷰 일반화가 가능한 로봇 조작을 가능하게 하는 새로운 표현-정책 학습 프레임워크를 제시합니다.
• 전체적 3D 사전 학습: 조밀한 볼륨 특징 추출, Coarse-to-Fine 포인트 클라우드 재구성, 피드포워드 Gaussian Splatting을 결합하여 단일 뷰 데이터로부터 세밀한 기하학적 및 외형적 디테일을 학습하는 사전 학습 패러다임을 구축했습니다.
• 증류 전략: 사전 학습된 기하학적 이해를 보존하면서, 직접적인 미세 조정과 관련된 도메인 간극 문제를 일으키지 않고 이를 시각-운동 정책으로 전달하는 다단계 증류 메커니즘을 제공합니다.
• 강건성: 본 접근 방식은 실행 중 다중 뷰 센서를 요구하지 않고도 중간 및 큰 시점 변화에 대해 강력한 제로샷 일반화 성능을 보여줍니다.

실험 결과
저자들은 12개의 RLBench 태스크에서 GEM3D를 평가했습니다:

• 성능: GEM3D는 평균 성공률 **44.2%**를 달성하여, 이전의 SOTA(State-of-the-Art)인 ManiGaussian보다 12.7% 높은 성능을 보였습니다.
• 뷰 일반화: 시점 변화가 있는 제로샷 평가 하에서:
  • 중간 변화(Moderate Shifts): 성공률이 **22.03%**만 감소했습니다 (ManiGaussian의 41.62% 감소와 비교).
  • 큰 변화(Large Shifts): 성공률이 29.67% 감소했습니다 (ManiGaussian의 51.52% 감소와 비교).
  • 큰 변화 상황에서 GEM3D는 PerAct 대비 최대 6배 높은 성공률을 기록했습니다.
• 장면 재구성: 정량적 지표(PSNR, SSIM, Chamfer L2)에서 GEM3D는 이미지 충실도와 기하학적 정확도 모두에서 ManiGaussian을 크게 앞질렀으며, 더 선명한 구조와 일관된 새로운 뷰를 생성했습니다.
• 절제 실험(Ablations): 실험을 통해 deformable cross-attention, Snowflake 재구성 프로세스, focal loss, 그리고 다단계 증류 전략의 필요성을 확인했습니다. 사전 학습은 사전 학습 뷰의 수에 크게 민감하지 않았으나(2개의 뷰만으로도 잘 작동함), Gaussian Splatting 모듈 자체는 성능에 결정적인 역할을 하는 것으로 나타났습니다.

의의
본 논문은 GEM3D가 단일 뷰 추론과 다중 뷰 강건성을 동시에 가능하게 함으로써, 3D 표현 학습과 실제 로봇 조작 사이의 결정적인 간극을 해결한다고 주장합니다. 증류를 통해 고정밀 기하학적 지식의 습득과 정책 학습을 분리함으로써, 이 프레임워크는 공동 학습(joint-training)이나 직접적인 미세 조정 방식으로는 도달할 수 없었던 수준의 뷰 일반화를 달성했습니다. 저자들은 이 연구가 대규모 3D 사전 학습과 증류 기반 정책을 다양한 표현 백본과 통합하는 미래 연구에 동기를 부여할 것이라고 밝히고 있습니다.