EmbodiedSplat: Online Feed-Forward Semantic 3DGS for Open-Vocabulary 3D Scene Understanding

이 논문은 스트리밍 이미지로부터 실시간으로 3D 재구성과 오픈-보캐불러리 의미 이해를 동시에 수행하는 온라인 피드-포워드 3D 가우시안 스플래팅 (EmbodiedSplat) 을 제안하며, 이를 위해 CLIP 임베딩을 3D 가우시안에 효율적으로 바인딩하고 3D 기하학적 사전 지식을 통합하는 새로운 아키텍처를 제시합니다.

핵심

🏠 "EmbodiedSplat": 로봇이 눈을 뜨고 세상을 한눈에 파악하는 마법

이 논문은 로봇이나 가상 현실 에이전트가 새로운 방에 들어갔을 때, 어떻게 실시간으로 그 공간을 이해하고 물체들을 찾아낼 수 있는지에 대한 혁신적인 방법을 소개합니다.

기존의 방법들은 마치 "방을 다 찍은 뒤, 컴퓨터로 밤새도록 분석해서 지도를 만드는" 방식이었다면, EmbodiedSplat은 "걸어 다니면서 눈으로 보는 순간 바로 지도를 그리고 물체 이름도 붙여주는" 방식입니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 핵심 아이디어: "눈을 뜨자마자 지도를 그리는 로봇"

상상해 보세요. 로봇이 낯선 집 안을 돌아다닙니다.

• 기존 방식 (오프라인/배치 방식): 로봇이 집 구석구석을 다 찍은 뒤, 데이터를 컴퓨터로 보내면 밤새도록 계산해서 "여기는 침대, 저기는 책상"이라고 알려줍니다. 로봇은 기다리는 동안 아무것도 못 합니다.
• EmbodiedSplat 방식: 로봇이 한 걸음 옮길 때마다, 그 순간 찍은 사진으로 바로 3D 지도를 완성하고 "아, 저건 '소파'야!"라고 외칩니다. 이 속도는 초당 5~6 장의 사진을 처리할 정도로 빠릅니다.

2. 기술의 마법 3 가지 (비유로 설명)

이 시스템이 어떻게 그렇게 빠르고 똑똑할 수 있는지, 세 가지 핵심 기술을 비유로 풀어보겠습니다.

① "3D 점 (Gaussian) 들에게 이름표를 붙이다"

기존 기술은 3D 공간을 이해하기 위해 복잡한 렌더링 (그림 그리기) 과정을 거쳤는데, 이게 너무 느렸습니다.

• 비유: 마치 **수백만 개의 작은 점 (3D 구슬)**으로 방 전체를 구성한다고 생각하세요.
• EmbodiedSplat: 이 구슬 하나하나에 카메라로 찍은 사진의 정보를 바로 붙입니다. 하지만 모든 구슬에 두꺼운 책 (고해상도 이미지 정보) 을 붙이면 무거워서 로봇이 멈춥니다.
• 해결책: 대신 **작은 번호표 (인덱스)**만 붙입니다. 이 번호표는 방에 있는 '의자', '책상' 같은 큰 카테고리 (코드북) 를 가리킵니다. 로봇은 이 번호표만 보고도 "아, 이 구슬들은 의자 그룹이야!"라고 바로 알 수 있습니다. 무거운 책을 다 들고 다니지 않고, 필요한 정보만 가볍게 가져가는 셈입니다.

② "2D 사진의 눈 + 3D 공간의 뇌"

기존 AI 는 2D 사진만 보고 물체를 인식해서, 3D 공간에서는 헷갈리는 경우가 많았습니다. (예: 벽과 바닥이 섞여서 보임)

• 비유:
  • 2D CLIP 특징: 로봇의 **'눈'**입니다. 사진만 봐도 "저건 개야, 저건 고양이야"라고 잘 알아봅니다. 하지만 깊이는 잘 모릅니다.
  • 3D U-Net 특징: 로봇의 **'뇌'**입니다. 점들의 위치를 분석해서 "아, 이 물체는 공중에 떠있네? 아니면 바닥에 있네?"라는 **공간감 (기하학적 정보)**을 제공합니다.
• EmbodiedSplat: 이 '눈'과 '뇌'를 동시에 사용합니다. 눈이 "저건 책상"이라고 말하면, 뇌가 "맞아, 바닥에 단단히 붙어있어"라고 확인해 줍니다. 서로의 약점을 보완해서 훨씬 정확한 인식을 가능하게 합니다.

③ "실시간 업데이트되는 메모리"

로봇이 방을 돌아다닐수록 정보가 쌓이는데, 메모리가 부족해지면 어떡하죠?

• 비유: 로봇의 기억력 (메모리) 이 제한되어 있다고 가정해 보세요.
• EmbodiedSplat: 로봇은 새로운 정보를 볼 때마다, 가장 중요한 정보 5 개만 남기고 나머지는 지웁니다. (가장 신뢰도가 높은 것들만 유지). 이렇게 하면 메모리는 항상 가볍게 유지되면서도, 로봇이 방을 돌아다닐수록 정보의 정확도는 점점 더 높아집니다.

3. 왜 이것이 중요한가요? (실생활 적용)

이 기술이 실현되면 어떤 변화가 일어날까요?

• 가상 현실 (VR) 가이드: VR 게임에서 새로운 맵에 들어갈 때, "저기 있는 빨간 의자에 앉아"라고 말하면 로봇이 즉시 그 의자를 찾아갑니다.
• 실내 청소 로봇: "청소기, 책상 아래에 있는 먼지 좀 닦아줘"라고 말하면, 로봇이 책상 아래를 정확히 인식하고 청소합니다.
• 재난 구조 로봇: 불이 난 건물의 안으로 들어갈 때, "사람이 있는 곳 찾아줘"라고 하면, 연기 속에서도 실시간으로 3D 지도를 그리며 생존자를 찾아냅니다.

4. 요약: 한 줄로 정리하면?

"EmbodiedSplat 은 로봇이 방을 돌아다니며 사진을 찍는 순간, 그 정보로 바로 3D 지도를 그리고 물체 이름까지 붙여주는 '초고속 3D 이해 시스템'입니다. 무거운 계산 없이 가볍고 빠르게, 마치 사람이 눈을 뜨자마자 주변을 파악하듯 작동합니다."

이 기술은 로봇이 단순히 "움직이는 기계"가 아니라, **주변 환경을 실시간으로 이해하고 대화할 수 있는 '지능형 파트너'**로 만들어주는 핵심 열쇠입니다.

기술 요약

1. 문제 정의 (Problem Definition)

로봇 조작 (manipulation) 및 항해 (navigation) 와 같은 Embodied AI(구현된 인공지능) 작업에서는 에이전트가 환경을 탐색하는 동시에 3D 장면을 즉시 이해하고 구축해야 합니다. 기존 3D 장면 이해 방법들은 다음과 같은 한계를 가집니다.

• 오프라인 및 장면별 최적화 의존성: 기존의 오픈 보카불러리 (Open-Vocabulary) 3DGS(3D Gaussian Splatting) 기반 방법들은 대부분 오프라인 처리이거나, 새로운 장면마다 추가적인 최적화 (Per-scene optimization) 를 필요로 합니다. 이는 실시간성 (Real-time) 과 일반화 (Generalizability) 를 저해합니다.
• 실시간성 부족: SLAM 기반의 온라인 3DGS 방법들 (예: Online-LangSplat) 은 존재하지만, 여전히 무거운 장면별 최적화를 수행하여 2FPS 미만의 속도로 실시간 semantic reconstruction 을 달성하지 못합니다.
• 메모리 및 계산 비용: 2D CLIP 특징을 3D 가우스에 직접 바인딩할 경우, 수백만 개의 가우스에 대한 특징 저장으로 인해 메모리 오버헤드가 매우 큽니다.

따라서, 온라인 (Online), 실시간 (Real-time), 높은 일반화 능력 (Highly-generalizable), 전체 장면 이해 (Whole-scene Understanding), 오픈 보카불러리 (Open-Vocabulary) 요구사항을 모두 충족하는 3DGS 프레임워크가 필요합니다.

2. 제안 방법 (Methodology)

저자들은 EmbodiedSplat을 제안하며, 이는 사전 학습된 Feed-forward 3DGS (FreeSplat++) 를 기반으로 하여 스트리밍 이미지에서 실시간으로 3D 재구성과 의미론적 이해를 동시에 수행합니다.

핵심 구성 요소:

1. 2D-to-3D 특징 리프팅 (Lifting):

   • 기존 방법들이 3D 를 2D 로 렌더링하여 특징을 정렬하는 방식과 달리, EmbodiedSplat 은 현재 프레임의 2D 픽셀별 CLIP 특징을 직접 3D 가우스로 언프로젝트 (Unproject) 합니다.

2. 온라인 희소 계수 필드 및 CLIP 글로벌 코드북 (Online Sparse Coefficients Field with CLIP Global Codebook):

   • 문제: 모든 가우스에 전체 CLIP 벡터 (512 또는 768 차원) 를 저장하면 메모리가 폭발합니다.
   • 해결: 장면 내 고유한 의미 (Instance-level) 는 가우스 수보다 훨씬 적다는 점을 활용합니다.
     • Global Codebook: 현재 프레임의 세그멘테이션 모델을 통해 추출된 인스턴스별 CLIP 특징들을 시간 축에 따라 누적하여 글로벌 코드북을 구성합니다.
     • Sparse Coefficients: 각 가우스는 전체 CLIP 벡터 대신, 코드북의 인덱스 (Index) 와 가중치 (Weight) 만 저장합니다. 이는 가우스의 의미 특징을 코드북 벡터들의 희소 선형 결합 (Sparse Linear Combination) 으로 표현합니다.
     • 장점: 사전 학습이나 장면별 최적화 없이 메모리 효율을 극대화하면서도 CLIP 의 오픈 보카불러리 능력을 온전히 유지합니다.

3. 기하학적 인식 3D CLIP 특징 (Geometry-aware 3D CLIP Features):

   • 2D CLIP 특징은 풍부한 의미 정보를 가지지만 3D 기하학적 사전 지식 (Prior) 이 부족합니다.
   • 이를 보완하기 위해 3D 가우스의 부분 점 구름 (Point Cloud) 을 3D U-Net과 메모리 어댑터 (Memory Adapter) 를 통해 집계하여 3D 기하학적 특징을 생성합니다.
   • 2D 의미 특징과 3D 기하학적 특징을 결합하여 상호 보완적인 성능 향상을 이룹니다.

4. 온라인 퓨전 (Online Fusion):

   • 새로운 프레임이 들어올 때마다 로컬 가우스와 기존 글로벌 가우스를 신뢰도 (Confidence) 기반 가중 평균으로 퓨전합니다.
   • 희소 계수 필드 (인덱스 및 가중치 캐시) 에 대해 새로운 증거를 누적하고, 낮은 신뢰도의 인덱스를 제거하여 캐시 크기를 고정 (L=6) 합니다.

5. EmbodiedSplat-fast:

   • 초당 5-6 프레임 (FPS) 의 실시간 처리를 위해 3D U-Net 을 제거하고, 경량화된 2D 모델 (FastSAM, Mask-Adapter 등) 을 사용합니다.
   • 코드북 기반 코사인 유사도 계산: 모든 가우스에 대해 텍스트와 코사인 유사도를 계산하는 대신, 사전 계산된 코드북 벡터와 텍스트의 유사도를 활용하여 희소 가중 합으로 계산함으로써 검색 속도를 획기적으로 개선합니다 ($O(KD + M(L-1))$).

3. 주요 기여 (Key Contributions)

1. 온라인 전체 장면 재구성 프레임워크: 300 개 이상의 스트리밍 이미지를 입력받아 5-6 FPS 속도로 전체 장면의 오픈 보카불러리 3DGS 를 온라인으로 재구성하는 최초의 프레임워크입니다.
2. 2D/3D 특징의 결합: 풍부한 의미 능력을 가진 2D CLIP 특징과 3D 기하학적 사전 지식을 가진 3D 특징을 결합하여 성능을 극대화했습니다.
3. 메모리 효율적인 표현: CLIP 글로벌 코드북과 희소 계수 필드를 도입하여, 사전 학습이나 장면별 최적화 없이도 메모리 효율을 유지하면서 CLIP 의 완전한 오픈 보카불러리 능력을 보존했습니다.
4. 실시간 성능: 기존 방법들보다 월등히 빠른 재구성 시간과 분할 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: ScanNet, ScanNet++, ScanNet200, Replica 등 다양한 실내 3D 데이터셋에서 평가되었습니다.
• 성능:
  • 3D 의미 분할 (Semantic Segmentation): mIoU 및 mACC 지표에서 기존 2D 렌더링 기반 방법 (LangSplat 등) 과 3D 직접 참조 기반 방법 (Dr. Splat, Occam's LGS 등) 을 모두 압도적으로 상회했습니다.
  • 속도: EmbodiedSplat-fast 는 **초당 5-6 프레임 (FPS)**의 처리 속도를 달성하여 실시간 에이전트 작업에 적합함을 입증했습니다.
  • 메모리 효율: 기존 방법들에 비해 약 67 배 더 효율적인 메모리 사용량을 보였습니다 (예: Scene 0000_01 기준 148MB vs 2295MB).
  • 일반화: 훈련된 모델이 새로운 장면 (Cross-domain) 에 적용되었을 때, 장면별 최적화가 필요한 기존 방법들보다 우수한 일반화 성능을 보였습니다.

5. 의의 및 중요성 (Significance)

• Embodied AI 의 핵심 기술: 로봇이 실시간으로 환경을 탐색하며 3D 장면을 구축하고, 자연어 명령에 따라 객체를 이해하는 데 필수적인 기술적 도약을 이루었습니다.
• 3DGS 기반 3D 인식의 새로운 패러다임: 기존의 NeRF 기반이나 오프라인 최적화 중심의 접근법을 넘어, Feed-forward(순방향) 방식과 Online(온라인) 처리가 가능한 3DGS 기반 의미론적 이해의 표준을 제시했습니다.
• 실용성: 메모리 효율성과 실시간 처리 속도를 동시에 만족시켜, 실제 로봇 시스템이나 AR/VR 애플리케이션에 바로 적용 가능한 가능성을 열었습니다.

결론적으로, EmbodiedSplat 은 3D Gaussian Splatting 기술을 활용하여 실시간, 오픈 보카불러리, 전체 장면 이해라는 세 가지 난제를 동시에 해결한 획기적인 연구입니다.