GraspFoM: Towards Reconstruction-Driven Robotic Grasping with 3D Foundation Priors

기술 요약: GraspFoM

문제 정의
로봇의 파지(grasping)는 부분적인 관측, 폐쇄(occlusion), 그리고 혼잡한 환경이 특징인 실제 시나리오에서 여전히 중요한 과제로 남아 있습니다. 효과적인 파지를 위해서는 국부적인 접촉 단서(local contact cues)와 객체의 전역적 3D 구조를 모두 추론해야 합니다. 기존의 기하학 인지 방식들은 3D 재구성의 가치를 인식하고 있지만, 대개 기하학을 재사용 가능한 객체 사전(object prior)이라기보다는 중간 단계의 예측값으로 취급합니다. 또한, 현재의 통합 프레임워크들은 처음부터 학습된 작업 특화 표현에 의존하거나, 2D 의미론적 지식을 상속받는 시각-언어 모델(VLM)에 의존하는 경우가 많아 추론 속도가 느리고 3D 포즈 정렬 성능이 떨어지는 문제가 있습니다. 일반적인 3D 재구성 모델(자산의 충실도 최적화 목적)과 로봇 파지에 필요한 특정 조작 지향적 구조(예: 파지 가능 영역, 어포던스) 사이에는 간극이 존재합니다.

방법론: GraspFoM
본 논문은 3D 파운데이션 사전(특히 SAM3D)을 활용하여 객체 재구성과 파지 포즈 예측을 위한 공유 3D 객체 잠재 공간(shared 3D object latent)을 구축하는 통합 프레임워크인 GraspFoM을 제안합니다. 파이프라인은 다음과 같이 작동합니다:

1. 공유 객체 잠재 공간 준비:

   • 시스템은 RGB 이미지, 객체 마스크, 포인트 맵을 입력으로 받습니다.
   • SAM3D의 희소 구조(sparse-structure) 단계를 활용하여 공유 3D 객체 잠재 변수($z$)와 좌표 정렬 파라미터를 초기화합니다.
   • 이 잠재 변수는 구조화된 3D 특징 볼륨(feature volume)으로 변환되어 형상 인식 그리드(shape-aware grid)로 리프팅됩니다.
   • 각 쿼리된 표면 점에 대해, 모델은 크로스 어텐션(cross-attention)을 통해 추출된 잠재 그리드로부터의 전역 형상 컨텍스트와 국부 기하학적 단서(점 위치 및 법선)를 융합합니다. 이를 통해 국부적인 표면 세부 사항과 전역적인 객체 구조를 모두 인코딩하는 융합된 포인트 토큰을 생성합니다.

2. 앵커 초기화 기반 포즈 추론 디퓨저 (Anchor-Initialized Pose-Reasoning Diffuser):

   • 단일 포즈를 회귀하거나 이산적인 파지 후보에 의존하는 대신, GraspFoM은 정규화된 포즈 공간 내에서 잠재 조건부 디노이징(denoising) 과정으로 파지 예측을 모델링합니다.
   • 유효한 학습 포즈들을 클러스터링하여 파지 앵커(grasp anchors) 세트를 생성합니다.
   • 모델은 **절단된 앵커 기반 디퓨전 과정(truncated anchored diffusion process)**을 채택합니다. 순수 가우시안 노이즈에서 시작하는 대신, 가장 가까운 앵커 근처에서 디퓨전 과정을 초기화함으로써 다중 모드(multimodal) 파지 분포를 모델링하는 능력을 유지하면서도 디노이징 효율성을 높입니다.
   • 디퓨저는 공유 객체 잠재 공간으로부터 연속적인 6D 회전과 파지 깊이를 직접 예측합니다.

3. 재구성 인지 스코어링 및 잠재 변수 정교화:

   • 스코어러(Scorer): 재구성 인지 스코어러는 세 가지 점 단위 메트릭인 파지성(graspness, 타당성), 파지 품질, 어포던스를 예측합니다. 이 점수들은 포즈만을 고려한 단서가 아니라 재구성된 객체 구조에 근거합니다.
   • 잔차 잠재 업데이트 (Residual Latent Updater): 양방향 상호작용을 강제하기 위해, 파지 감독 신호(grasp supervision)가 재구성 브랜치로 피드백됩니다. 파지 신호의 신뢰도 가중 요약본이 사용되어 잔차 특징 볼륨을 예측하고, 이는 원래의 잠재 그리드에 더해집니다.
   • 정규화: 표면 인식 정규화 손실(surface-aware regularization loss)은 정교화된 잠재 변수가 기하학적 일관성을 유지하면서 조작 관련 단서와 정렬되도록 보장합니다.

4. 추론:

   • 시스템은 연속적인 포즈 가설을 생성하기 위해 파지 앵커로부터 절단된 DDIM 샘플링을 수행합니다.
   • 파지 가설은 파지 가능성, 뷰 정렬, 앵커 확률을 결합한 복합 점수를 사용하여 순위가 매겨집니다.
   • 동일한 공유 잠재 공간을 디코딩하여 고충실도 3D 자산(메시 또는 3D Gaussian Splatting 형식)을 파지 포즈와 함께 출력합니다.

주요 기여

• 통합 프레임워크: 객체 재구성과 파지 포즈 예측을 동시에 수행하기 위해 3D 파운데이션 사전(SAM3D)을 활용하여 공유 3D 객체 잠재 공간을 구축하는 GraspFoM을 제안하였습니다.
• 연속적 포즈 생성: 이산적인 파지 후보에 의존하지 않고 연속적이며 다중 모드인 파지 포즈 분포를 모델링하는 앵커 초기화 기반 포즈 추론 디퓨저를 도입하였습니다.
• 양방향 상호작용: 재구성과 파지 학습을 결합하여 기하학적 근거를 제공하고 공유 잠재 공간 내에서 조작 관련 어포던스를 강화하는 재구성 인지 스코어러와 잔차 잠재 업데이트 장치를 설계하였습니다.
• 이중 출력: 정확한 파지 포즈와 고충실도 3D 자산(메시 및 3DGS)을 동시에 예측하는 능력을 갖추었습니다.

실험 결과
저자들은 GraspNet-1Billion 벤치마크에서 GraspFoM을 평가하였습니다:

• 파지 포즈 예측: GraspFoM은 모든 분할(Seen, Similar, Novel) 및 마찰 설정에서 최첨단(SOTA) 결과를 달取得했습니다. 특히, Novel 분할(보지 못한 객체 범주)에서 상당한 개선을 보여주었으며, 이는 재사용 가능한 객체 수준 사전(prior)을 통한 강력한 일반화 능력을 시사합니다. 추가적인 합성 데이터셋 없이 공식 GraspNet-1B 분할로만 학습되었음에도 불구하고, ZeroGrasp 및 MG-Grasp와 같은 기존 통합 방법들을 능가했습니다.
• 3D 재구성: 본 프레임워크는 희소 구조 베이스라인(MinkowskiNet, OCNN, OctMAE) 및 통합 모델인 ZeroGrasp와 비교하여 우수한 기하학적 품질을 달성하였으며, Chamfer Distance (CD), F1-Score, Normal Consistency (NC)에서 최고 성능을 기록했습니다.
• 절제 연구(Ablation Studies): 실험을 통해 앵커 수($K=8$), 디퓨전 호라이즌($T_{max}=50$), 정교화 단계($N_{ref}=4$)의 필요성을 확인했습니다. 재구성 업데이트 모듈을 제거하면 재구성 품질과 파지 성능이 모두 크게 저하되어, 두 작업 간의 상호 보완 관계를 입증했습니다.
• 실제 환경 평가(In-the-Wild Evaluation): WildRGB-D 데이터셋에 대한 정성적 결과는 ZeroGrasp에 비해 더 완전한 재구성과 안정적인 파지 포즈를 보여주었습니다.

의의 및 주장
본 논문은 Gr geometry를 일시적인 중간 단계로 취급하는 기존 방법의 한계를 GraspFoM이 해결한다고 주장합니다. 전이 가능한 3D 파운데이션 사전(SAM3D)을 활용함으로써, 이 방법은 기하학적으로 충실하면서도 조작에 적합한 공유 표현을 구축합니다. 저자들은 이 접근 방식이 처음부터 작업 특화 표현을 학습하는 것보다 견고한 파지 일반화에 도달하는 데 더 데이터 효율적인 경로를 제공한다고 주장합니다. 재구성과 파지 사이의 양방향 연결을 통해 시스템은 조작 요구에 따라 객체 표현을 정교화하는 동시에, 근거 있는 기하학적 단서를 사용하여 파지 예측을 개선할 수 있습니다. 이 프레임워크는 소수의 추가 학습 파라미터만으로 두 작업 모두에서 최첨단 성능을 달성합니다.

한계점
저자들은 현재 프레임워크가 주로 **강체 객체(rigid objects)**에 초점을 맞추고 있음을 언급했습니다. 이들은 구조화된 운동학적 사전(예: URDF)을 포함하여 관절형 객체(articulated object) 조작으로 확장하는 것을 향후 연구 방향으로 제시했습니다.