JOPP-3D: Joint Open Vocabulary Semantic Segmentation on Point Clouds and Panoramas

이 논문은 3D 포인트 클라우드와 파노라마 이미지를 결합하여 언어 기반의 오픈 보카불러리 시맨틱 분할을 가능하게 하는 JOPP-3D 프레임워크를 제안하고, 기존 최첨단 모델 대비 성능을 크게 향상시켰음을 Stanford-2D-3D-s 및 ToF-360 데이터셋 실험을 통해 입증합니다.

핵심

🏗️ 1. 문제: "눈이 먼" 로봇과 "단어장"의 한계

지금까지 로봇이나 AI 가 세상을 이해하려면 미리 정해진 **단어장 (레이블)**을 외워야 했습니다. 예를 들어, "의자"라고만 알려주면 의자를 찾고, "소파"라고 알려주면 소파를 찾습니다. 하지만 "쓰레기통"이나 "벽에 걸린 시계" 같은 새로운 물체가 나오면 AI 는 당황합니다. 또한, 3D 공간의 깊이감 (점) 과 2D 사진의 색감을 동시에 이해하는 것도 매우 어려웠습니다.

마치 외국어를 배우는 학생이 사전에 없는 단어를 만나면 이해하지 못하는 것과 비슷합니다.

💡 2. 해결책: JOPP-3D 의 "마법 같은 눈"

JOPP-3D 는 사전에 없는 단어도 이해할 수 있는 오픈 보카불러리 (Open Vocabulary) 기술을 사용합니다. 사용자가 "저기 빨간 쓰레기통 찾아줘"라고 말하면, AI 는 "쓰레기통"이라는 개념을 알고 있는 거대한 언어 모델 (CLIP 등) 을 이용해 그 물체를 찾아냅니다.

이 기술의 핵심은 세상을 두 가지 눈으로 동시에 보는 것입니다.

1. 3D 점 (Point Cloud): 사물의 입체적인 모양과 깊이.
2. 360 도 파노라마: 사물의 색상과 질감.

🧩 3. 작동 원리: 3 단계로 이루어진 마법

1 단계: "구슬을 평평하게 펴기" (Tangential Decomposition)

360 도 파노라마 사진은 구형이라서 왜곡이 심합니다. 마치 지구본을 평평한 지도로 펼칠 때 생기는 왜곡처럼요.

• 비유: JOPP-3D 는 이 구형 사진을 **20 개의 정면 (정이십면체)**으로 나눕니다. 마치 주사위를 여러 개 붙여서 구를 만들었다가, 다시 그 주사위 면들을 떼어내어 평평한 사진 20 장으로 만드는 것과 같습니다.
• 이렇게 하면 AI 가 가장 잘 보는 '정면 사진'을 얻게 되어, 왜곡 없이 사물을 정확히 인식할 수 있습니다.

2 단계: "사물을 조각내어 이름 붙이기" (3D Instance & Semantic Alignment)

이제 AI 는 3D 공간에 있는 사물들을 찾아냅니다.

• 비유: 3D 점 구름 속에서 의자, 책상, 벽 같은 사물 덩어리를 찾아내어 **조각조각 (마스크)**으로 잘라냅니다.
• 그리고 잘라낸 조각들을 CLIP 이라는 거대한 언어 모델에 보여줍니다. "이건 뭐야?"라고 물어보면, AI 는 "이건 의자야"라고 답합니다. 이때 중요한 건, **사실상 학습 없이 (Zero-shot)**도 자연어로 물어보면 알아맞힌다는 점입니다.

3 단계: "3D 와 사진을 다시 연결하기" (Depth Correspondence)

3D 공간에서 찾은 정보를 다시 360 도 파노라마 사진 위에 입혀줍니다.

• 비유: 3D 공간에서 찾은 '의자'의 위치 정보를 가지고, 360 도 카메라가 찍은 사진 속의 그 위치를 찾아 색칠합니다.
• 이때 **문 (Doorway)**이나 복도처럼 시야가 끊기는 부분에서도 정보가 끊기지 않도록, 깊이 (Depth) 정보를 이용해 옆방의 정보까지 연결해줍니다. 마치 벽을 뚫고 옆방의 사물 정보까지 전달하는 것과 같습니다.

🏆 4. 성과: 왜 이것이 특별한가요?

기존의 기술들은 2D 사진만 보거나, 3D 점만 보거나, 미리 정해진 단어만 알 수 있었습니다. 하지만 JOPP-3D 는:

• 학습 없이도 새로운 사물을 찾아냅니다. (예: "저기 있는 '낡은 자전거' 찾아줘"라고 하면 찾아냅니다.)
• 3D 공간과 2D 사진을 동시에 이해하여, 로봇이 길을 잃지 않고 사물을 정확히 파악하게 합니다.
• 실험 결과, 기존 최고의 기술들보다 훨씬 더 정확하고 일관된 결과를 보여줍니다.

🚀 결론: 로봇의 '눈'과 '뇌'를 하나로 묶다

JOPP-3D 는 로봇이 세상을 볼 때 3D 입체감과 사진의 생생함을 동시에 느끼게 하고, 우리가 말로 지시하는 대로 어떤 사물이든 찾아낼 수 있게 해주는 혁신적인 기술입니다.

마치 로봇에게 "눈" (3D/사진) 과 "언어 능력" (자연어 이해) 을 동시에 선물하여, 복잡한 공사 현장이나 낯선 집에서도 "쓰레기통 치워줘", "벽에 걸린 시계 보여줘"라고 말하면 척척 알아듣고 행동하게 만든 것과 같습니다.

기술 요약

1. 문제 정의 (Problem)

기존의 의미론적 분할 (Semantic Segmentation) 기술은 다음과 같은 한계점을 가지고 있습니다:

• 데이터 부족 및 라벨링 비용: 3D 포인트 클라우드와 파노라마 이미지 모두에 대한 대규모의 정밀하게 주석 (Annotation) 이 달린 데이터셋을 확보하는 것은 비용이 많이 들고 비현실적입니다.
• 고정된 클래스 제한: 기존 모델들은 사전에 정의된 클래스 집합 (Closed Vocabulary) 에만 의존하여, 학습되지 않은 새로운 객체나 환경 변화에 대한 일반화 능력이 떨어집니다.
• 모달리티 간 단절: 2D 이미지 (파노라마) 와 3D 공간 (포인트 클라우드) 을 각각 별도로 처리하거나, 두 모달리티를 통합하여 언어 기반 (Language-driven) 으로 이해하는 연구는 부족했습니다. 특히 파노라마 이미지의 기하학적 왜곡과 3D 공간의 희소성 (Sparsity) 을 동시에 해결하는 오픈 보카불러리 (Open Vocabulary) 접근법이 부재했습니다.

2. 방법론 (Methodology)

저자들은 JOPP-3D라는 통합 프레임워크를 제안하며, 학습 데이터 없이 자연어 쿼리를 통해 3D 포인트 클라우드와 파노라마 이미지 모두에서 의미론적 분할을 수행합니다. 주요 프로세스는 다음과 같습니다.

가. 접선 분해 (Tangential Decomposition)

• 파노라마 이미지 (구면) 는 기하학적 왜곡이 심하여 기존 비전 - 언어 모델 (VLM) 에 직접 적용하기 어렵습니다.
• 이를 해결하기 위해, 구면 이미지를 정이십면체 (Regular Icosahedron) 의 20 개 면에 투영하여 **접선 시점 (Tangential Perspectives)**으로 분해합니다.
• 각 접선 뷰는 100°의 넓은 시야각 (FoV) 을 가지며, 기존 방법 (73.1°) 보다 더 넓은 맥락 정보를 유지하면서 왜곡을 최소화합니다.
• 이 과정을 통해 RGB-D 파노라마 데이터를 3D 포인트 클라우드와 일관된 좌표계로 변환하고 재구성합니다.

나. 3D 인스턴스 추출 및 시맨틱 정렬 (3D Instance Extraction & Semantic Alignment)

• 인스턴스 제안: 학습된 데이터 없이 3D 인스턴스 마스크를 생성합니다. 두 가지 전략을 사용합니다.
  • Weakly-supervised: S3DIS 데이터셋으로 사전 학습된 Mask3D 사용.
  • Unsupervised: 2D SAM (Segment Anything Model) 과 깊이 정보를 결합한 SAM3D 사용.
• VLM 기반 정렬: 생성된 3D 인스턴스 마스크를 20 개의 접선 뷰 중 가장 많은 픽셀이 매칭되는 상위 K 개 뷰로 투영합니다.
• CLIP 활용: 투영된 2D 이미지 영역을 SAM 마스크로 가린 후 (Masking), CLIP 이미지 인코더를 통과시켜 시맨틱 임베딩을 추출합니다.
• 임베딩 집계: 여러 뷰에서 추출된 CLIP 임베딩을 평균화하여 각 3D 인스턴스의 고유한 시맨틱 표현을 생성합니다. 이를 통해 자연어 쿼리 (예: "ceiling", "chair") 와의 매칭이 가능해집니다.

다. 3D 에서 파노라마로의 시맨틱 추출 (3D to Panoramic Semantic Extraction)

• 3D 공간에서 언어 쿼리를 통해 얻은 의미론적 레이블을 다시 파노라마 이미지로 투영합니다.
• 깊이 대응 (Depth Correspondence): 3D 포인트 클라우드의 시맨틱 레이블을 파노라마 픽셀에 매핑할 때, 깊이 정보를 기반으로 최근접 이웃 (Nearest-Neighbor) 을 찾습니다.
• 인접 장면 일관성: 문이나 복도 등 깊이 불연속이 발생하는 영역에서 레이블이 누락되는 것을 방지하기 위해, 인접한 파노라마 장면 간의 깊이 중첩 영역을 분석하여 시맨틱 정보를 전파 (Propagation) 합니다.

3. 주요 기여 (Key Contributions)

1. 초기 통합 프레임워크: 3D 포인트 클라우드와 파노라마 이미지를 동시에 처리하는 최초의 오픈 보카불러리 의미론적 분할 방법론을 제안했습니다.
2. 접선 분해 파이프라인: 파노라마 이미지를 VLM 과 호환되도록 변환하는 효율적인 접선 분해 (Tangential Decomposition) 기법을 도입하여, 넓은 시야각과 기하학적 안정성을 동시에 확보했습니다.
3. 3D-2D 시맨틱 전파: 깊이 대응 (Depth Correspondence) 을 기반으로 3D 인스턴스 레이블을 파노라마 이미지로 일관성 있게 전파하는 방법을 제시했습니다.
4. 학습 없는 (Training-free) 접근: 대규모 주석 데이터 없이도 CLIP 과 SAM 과 같은 사전 학습된 기초 모델 (Foundation Models) 을 활용하여 오픈 보카불러리를 구현했습니다.

4. 실험 결과 (Results)

저자들은 Stanford-2D-3D-s와 ToF-360 데이터셋을 사용하여 JOPP-3D 를 평가했습니다.

• 3D 포인트 클라우드 분할 (S3DIS):
  • JOPP-3D (Weakly-supervised) 는 mIoU 80.9%, **mAcc 87.0%**를 기록하여 기존 최첨단 (SOTA) 모델인 PointTransformerV3 등을 능가했습니다.
  • Unsupervised 변형 (JOPP-3D(u)) 도 **mIoU 59.4%**로 기존 오픈 보카불러리 모델 (OpenMask3D, 36.7%) 보다 월등히 높은 성능을 보였습니다.
• 파노라마 이미지 분할 (Stanford-2D-3D-s):
  • JOPP-3D 는 mIoU 70.1%, **Open mIoU 74.6%**를 달성하여 모든 기존 방법 (PanoSAMic, OPS 등) 을 압도했습니다.
  • 특히 의자 (Chair), 기둥 (Column), 문 (Door), 소파 (Sofa) 등 13 개 클래스 중 9 개에서 가장 높은 성능을 보였습니다.
• Zero-shot 성능: ToF-360 데이터셋에서도 제로샷 (Zero-shot) 평가에서 Unsupervised 변형이 기존 방법보다 명확한 개선을 보여주었습니다.

5. 의의 및 결론 (Significance)

• 모달리티 통합의 새로운 지평: 2D 파노라마와 3D 공간 데이터를 언어 쿼리를 통해 통합적으로 이해할 수 있는 체계를 구축했습니다. 이는 로봇, 자율 주행, 건설 모니터링 등 복잡한 환경 인식에 필수적입니다.
• 실용적 유연성: 고정된 클래스에 의존하지 않고 자연어로 임의의 객체를 식별할 수 있어, 학습 데이터에 없는 새로운 객체나 환경 변화에 유연하게 대응 가능합니다.
• 효율성: 대규모 학습 데이터와 GPU 자원을 소모하는 기존 방식과 달리, 추론 단계에서 기초 모델만 활용하는 학습 없는 (Training-free) 접근 방식을 통해 높은 성능을 달성했습니다.

결론적으로, JOPP-3D 는 시각적 모달리티 간의 간극을 해소하고, 언어 기반의 개방형 공간 이해를 가능하게 하는 중요한 진전으로 평가됩니다.