기술 요약: VLEM - 실시간 3D 시각-언어 임베딩 매핑

문제 정의

로봇의 조작(manipulation) 및 내비게이션과 같은 다운스트림 작업에는 개방형 쿼리(예: 사전 정의된 클래스 없이 "커피 머신을 찾아줘"라고 요청)를 허용하는 시맨틱 정보와 결합된, 미터법적으로 정확한 3D 환경 이해가 필요합니다. 시각-언어 모델(VLM)은 강력한 2D 이미지-텍스트 정렬을 가능하게 했지만, 이를 실시간 3D 매핑 시스템에 통합하는 것은 여전히 어려운 과제입니다. 기존 방식들은 다음과 같은 상당한 장애물에 직면해 있습니다:

• 폐쇄형 세트(Closed-set)의 한限制: 전통적인 시맨틱 매핑은 고정된 클래스 세트에 의존하므로 특정 도메인에 대한 적용성이 제한됩니다.
• 2D 제약 사항: 대부분의 VLM은 2D 인터넷 규모 데이터로 학습되었기 때문에, 물체가 현재 시야 밖에 있을 수 있는 3D 환경에는 적합하지 않습니다.
• 계산 및 포즈 요구 사항: 최근의 3D 통합 방법들은 종종 암시적 신경 표현(implicit neural representations)이나 오프라인 프로세싱에 의존하며, 이는 그라운드 트루스 카메라 포즈, 과도하게 비싼 계산 자원, 또는 여러 단계의 의존적 학습 과정을 요구하여 실시간 로봇 애플리케이션에는 부적합합니다.

방법론

저자들은 원시 RGB-D 스트림만을 사용하여 픽셀 정렬된 2D 시각-언어 임베딩을 전역적으로 일관되고 미터법적으로 정확한 3D 표현으로 통합하도록 설계된 프레임워크인 **VLEM (Vision-Language Embedding Mapping)**을 제안합니다. 이 시스템은 그라운드 트루스 카메라 포즈나 대상 환경에 대한 사전 학습 없이 작동합니다.

핵심 파이프라인

1. 카메라 위치 추정 (Camera Localisation):

   • 시스템은 다중 값 해시 맵(Open-Fusion과 유사)을 기반으로 한 시각적 오도메트리 방식을 사용하여 온라인으로 카메라 포즈를 추정합니다.
   • 하이브리드 광도(photometric) 및 기하학적 손실을 사용하는 이미지 피라미드 상의 조-정밀(coarse-to-fine) 다중 스케일 접근 방식을 활용합니다.
   • 그라운드 트루스 포즈를 필요로 하는 방법들과 달리, VLEM은 이전 프레임으로부터 색상 및 깊이 렌더링을 합성하여 프레임-대-모델 추정을 수행함으로써 드리프트를 줄이기 위해 해시 맵을 사용합니다.

2. 픽셀 정렬 시각-언어 임베딩:

   • 세그먼트-임베딩 (Segment-Embeddings): 시스템은 의미 있는 마스크를 생성하기 위해 Segment Anything (SAM)을 사용하여 이미지 영역의 임베딩을 추출합니다.
     • 정교화(Refinement): 세그먼트되지 않은 영역의 경우, 시스템은 좌표를 균일하게 샘플링하고 SAM을 다시 쿼리하여 간극을 채웁니다.
     • 마스킹 전략: 중첩된 영역으로부터 발생하는 시맨틱 희석을 방지하기 위해, 크롭된 세그먼트 내의 비세그먼트 배경 영역은 정적 색상(또는 무작위 데이터)으로 대체됩니다. 이를 통해 임베딩이 세그먼트된 객체에 밀접하게 결합되도록 보장합니다.
   • ViT-패치-임베딩 (ViT-Patch-Embeddings): 대안적으로, 시스템은 DINOv3 또는 NACLIP+RADIO와 같은 모델의 패치 단위 임베딩을 활용할 수 있으며, 이는 쌍선형 업샘플링 및 정규화 과정을 거칩니다.

3. 3D 임베딩 통합:

   • 깊이 이미지는 카메라 프레임 내의 3D 포인트 좌표로 역투영(back-projected)됩니다.
   • 임베딩은 이러한 3D 포인트들과 연관됩니다.
   • 포인트들은 추정된 카메라 포즈를 사용하여 글로벌 맵 프레임으로 변환됩니다.
   • 통합 로직: 새로운 포인트는 최근접 이웃 탐색을 통해 기존 맵($M_{i-1}$)에 통합됩니다. 대응 관계가 발견되면, 임베딩은 가중 평균($w=0.5$)을 통해 업데이트되고 재정규화됩니다. 매칭되지 않는 포인트는 직접 추가됩니다.
   • 압축: 메모리 소비($N_M$)를 제한하면서 관측된 영역의 밀도를 유지하기 위해, 맵은 균일한 포인트 밀도(단위 $m^3$당 포인트 수)를 유지하도록 반복적으로 다운샘플링됩니다.

4. 3D 쿼리 세그멘테이션:

   • 텍스트 쿼리는 텍스트 임베딩 벡터로 인코딩됩니다.
   • 코사인 유사도가 텍스트 임베딩과 3D 맵 내의 모든 시각적 임베딩 사이에서 계산되어 3D 히트맵을 생성합니다.
   • 클러스터링: 로봇의 파지(grasping)를 처리하기 위해, 시스템은 유사성을 기반으로 포인트를 클러스터링합니다. 시스템은 특정 작업 객체와 일반적인 "객체(object)" 베이스라인을 모두 쿼리하여, 타겟이 일반적인 잡동사니보다 더 관련성이 높도록 보장합니다. 이상치는 DBSCAN 및 가우시안 혼합 모델(Gaussian Mixture Models)을 통해 제거됩니다.

주요 기여

1. 실시간 프레임워크: 원시 RGB-D 스트림만을 필요로 하며, 다양한 이미지 및 패치 정렬 시각-언어 임베딩의 실시간 통합 및 쿼리를 위한 시스템입니다.
2. 새로운 마스크 정교화: 3D 포인트 클라우드에 이미지 정렬 임베딩을 통합하기 위한 구체적인 접근 방식으로, 반복적인 마스크 정교화 및 배경 마스킹을 포함하여 시맨틱 특이성을 개선합니다.
3. 컴팩트한 표현: 자원이 제한된 설정(예: <12 GiB VRAM)에서 기존 베이스라인보다 우수한 세그멘테이션 성능을 달고 구현하는 시맨틱 장면 표현을 제공합니다.

결과 및 평가

저자들은 NVIDIA GeForce RTX 4090 (24 GiB) 및 RTX 4070 (12 GiB)를 사용하여 ScanNet 데이터셋과 커스텀 RGB-D 시퀀스에서 VLEM을 평가했습니다.

• 세그멘테이션 성능: CLIP 백엔드와 마스크 정교화를 사용한 VLEM은 ScanNet에서 **26.1%**의 mIoU를 달성하여, ConceptFusion (25.3%)과 Open-Fusion (19.2%)을 능가했습니다.
• VLM 백엔드: NARADIO (NACLIP + RADIO)를 백엔드로 사용했을 때, VLEM은 동일한 VLM 백엔드를 사용하는 RayFronts (29.2%)를 제치고 가장 높은 mIoU (30.7%)를 기록했습니다.
• 메모리 효율성: VLEM은 성능과 메모리 사이에서 우수한 트레이드오프를 보여주었습니다.
  • VLEM (NARADIO)은 피크 VRAM으로 7.1 GiB를 사용한 반면, RayFronts (NARADIO)는 23.4 GiB가 필요했습니다.
  • VLEM (CLIP)은 4.0 GiB를 사용하였는데, 이는 ConceptFusion (8.8 GiB)보다 현저히 적으면서도 더 나은 세그멘테이션 성능을 달성한 것입니다.
• 정성적 분석: VLEM은 ConceptFusion보다 이상치가 적고 더 선명한 쿼리 응답을 생성했으며, RayFronts보다 픽셀화 아티팩트가 적었습니다. 또한 "Bosch drill"과 같은 구체적인 쿼리에 대해 일반적인 쿼리보다 더 높은 정밀도로 성공적으로 처리했습니다.
• 로봇 애플리 applications: VLM은 다음 작업에서 실시간으로 성공적으로 시연되었습니다:
  • 상호작용형 조작: Franka Emika 로봇 팔을 사용하여 자연어 쿼리에 따라 물체를 집고 놓는 작업.
  • 모바일 매핑: 이동형 베이스(Segway RMP Lite 220)를 사용하여 여러 방에 걸친 영역과 객체를 식별.

의의 및 주장

논문은 VLEM이 언어 인터페이스를 필요로 하는 로봇 애플리케이션을 위한 다재다능한 빌딩 블록 역할을 한다고 주장합니다. 이 논문의 주요 의의는 그라운드 트루스 포스나 막대한 계산 자원 없이도 실시간으로 개방형 세트 로봇 다운스트림 작업(조작 및 내비게이션)을 가능하게 한다는 점에 있습니다.

저자들은 VLEM이 ConceptFusion, Open-Fusion, RayFronts보다 더 컴팩트한 표현과 더 나은 개방형 세트 세그멘테이션 성능을 제공한다고 강조합니다. 적응형으로 리샘플링된 포인트 클라우드 내의 포인트당 임베딩을 통합함으로써, VLEM은 크기, 시맨틱 세밀도, 공간 해상도 사이의 균형을 효과적으로 조절하여 실시간 로봇 조작을 용이하게 합니다.

저자들은 현재의 한계점도 솔직하게 언급했습니다: 균일한 샘플링은 서로 다른 수준의 디테일을 가진 영역들을 구분하여 표현하는 것을 방지하며, 시스템은 아직 객체 간의 계층적 또는 공간적 관계를 표현하지 못합니다. 향에는 동적 임베딩 정밀도 및 객체 관계를 해결하기 위한 연구가 제안되었습니다.