ClickSeg3D: Few-Click Interactive Segmentation via Semantic Embeddings

기술 요약: ClickSeg3D

문제 정의
상호작용형 3D 분할은 사용자가 제공하는 클릭을 활용하여 예측을 점진적으로 정제함으로써 효율적인 라벨을 생성하는 것을 목표로 하며, 이는 완전 감독 라벨링이 비용이 많이 들거나 보이지 않는 클래스로의 일반화가 필요한 시나리오에서 필수적인 기능입니다. 기존 3D 상호작용 방식은 다음과 같은 중대한 한계에 직면해 있습니다: 대부분의 방식이 순차적으로 작동하여 한 번의 반복마다 이진 마스크로 하나의 객체만 예측하므로, 다중 객체 장면에서 추론 속도가 느립니다. 또한, 최근 접근법들은 종종 2D 기반 모델 (예: SAM) 에 의존하며 2D-3D 간격을 연결하기 위해 정확한 카메라 정렬이 필요합니다. 이러한 방법들은 희소한 뷰포인트, 가려짐, 그리고 2D 마스크와 3D 라벨 간의 불일치에 민감합니다. furthermore, 매 수정 클릭 후 반복적인 모델 업데이트가 필요한 반복형 파이프라인은 계산 비용이 많이 들고, 특히 보이지 않는 데이터셋의 경우 확장성을 제한합니다.

방법론
저자들은 희소하고 무작위로 다운샘플링된 3D 점에 직접 작동하며 단일 순전파 (forward pass) 에서 여러 객체 클릭을 처리하는 새로운 상호작용 분할 프레임워크인 ClickSeg3D를 제안합니다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. Point Transformer 기반 인코더: 모델은 장면 점과 사용자가 제공한 클릭 점 모두로부터 풍부한 특징을 추출하기 위해 공유된 Point Transformer v3(PTv3) 인코더를 활용합니다. 이 인코더는 다중 스케일 장면 특징을 생성하고, 클릭 위치에 가장 가까운 보크셀을 기반으로 쿼리 특징을 초기화합니다.
2. 조건부 쿼리 어댑터가 있는 계층적 마스크 디코더: 이전의 반복형 파이프라인과 달리, 이 디코더는 모든 클릭 쿼리를 동시에 처리합니다. 이는 교차 어텐션 (클릭에서 장면으로) 과 자기 어텐션 (클릭에서 클릭으로) 을 통해 특징을 정제하는 트랜스포머 블록을 사용하는 다단계 아키텍처를 채택합니다. 핵심적으로, 이 프레임워크는 학습 가능한 의미론적 및 공간 임베딩을 사용하여 희소한 클릭 특징을 정제하는 조건부 쿼리 어댑터를 도입합니다.
   • 의미론적 프로토타입 임베딩: 오픈-보캐불러리 분할에서 영감을 받아, 모델은 쿼리 특징을 조건부로 설정하고 어텐션 및 보이지 않는 카테고리에 대한 강건성을 향상시키기 위해 학습 가능한 의미론적 프로토타입을 사용합니다.
   • 다단계 자르기 및 병합 (Crop-and-Merge): 디코더는 거친 세분도에서 정밀한 세분도로 인스턴스 마스크를 점진적으로 정제합니다. 공간 예측을 위한 마스크 헤드와 의미론적 분류를 위한 클래스 헤드를 활용하며, 마스크 풀링에서 파생된 공간 임베딩과 프로토타입에서 선택된 의미론적 임베딩을 융합하여 경량 MLP 를 통해 쿼리 특징을 업데이트합니다.
3. 학습 전략: 저자들은 희소 상호작용 주도 학습 전략을 도입합니다. 학습 중 반복적인 인간 피드백에 의존하는 대신, 다운샘플링된 장면에서 Farthest Point Sampling(FPS) 을 사용하여 시뮬레이션된 클릭 점을 생성함으로써 현실적인 사용자 상호작용을 시뮬레이션합니다. 이를 통해 모델은 한 번의 순전파에서 "인스턴스당 한 번의 클릭" 다중 객체 예측 문제를 학습할 수 있으며, 한 인스턴스의 양의 클릭은 다른 인스턴스에 대한 암묵적인 부정적 감독으로 작용합니다.

주요 기여

• 분리된 단일 통과 아키텍처: 이 프레임워크는 점 특징 추출과 다단계 마스크 정제를 명시적으로 분리하여, 반복적인 재추론 없이 단일 순전파에서 효율적이고 세분화된 다중 객체 분할을 가능하게 합니다.
• 희소 상호작용 주도 학습: 희소하고 무작위로 다운샘플링된 점에 기반한 학습 패러다임은 사용자 상호작용을 시뮬레이션하여 다양한 클릭 수와 공간 분포에 대한 강건성을 향상시키면서 학습 효율성을 유지합니다.
• 다단계 자르기 및 병합 디코더: 학습 가능한 의미론적 프로토타입 임베딩을 활용하여 쿼리 특징을 조건부로 설정하고 업데이트하는 점진적 디코더입니다. 이는 계산 비용을 증가시키지 않으면서 마스크 정밀도와 보이지 않는 데이터셋에 대한 일반화를 향상시킵니다.

실험 결과
실내 (ScanNet40, S3DIS) 및 실외 (KITTI360) 데이터셋에서 광범위한 실험이 수행되었습니다.

• 성능: 모델은 인스턴스당 한 번의 클릭 설정에서 강력한 베이스라인 (예: InterObject3D, Agile3D, SAM2Point) 대비 평균 교차율 (mIoU) 을 20% 이상 향상시킵니다. ScanNet40 에서 단일 클릭으로 71.6% 의 mIoU 를 달성하여, SAM2Point 의 65.2% 와 Agile3D 의 63.3% 보다 높은 성능을 보였습니다.
• 일반화: 교차 데이터셋 평가 (예: ScanNet40 에서 학습하고 S3DIS 또는 KITTI360 에서 테스트) 하에서 이 방법은 베이스라인 대비 8~10% 의 향상을 이루어 도메인 변화에 대한 우수한 강건성을 입증했습니다.
• 효율성: 단일 통과 설계는 계산 오버헤드를 크게 줄입니다. 모델은 경쟁력 있는 추론 지연 시간 (0.06 초) 과 합리적인 메모리 풋프린트 (128.5 MB) 를 달성하여 실시간 응용 프로그램에 적합합니다.
• 애블레이션 연구: 의미론적 임베딩, 공간 임베딩, 또는 쿼리 어댑터와 같은 구성 요소를 제거하면 성능이 크게 저하되어 제안된 아키텍처의 필요성을 검증합니다.

의의 및 주장
이 논문은 ClickSeg3D 가 상호작용형 3D 인스턴스 분할을 위한 일반화 가능하고 효율적인 솔루션을 제공한다고 주장합니다. 반복적 정제와 명시적 카메라 정렬의 필요성을 제거함으로써, 이 방법은 기존 접근법의 확장성 및 효율성 병목 현상을 해결합니다. 저자들은 그들의 접근 방식이 로봇 조작, 항법, 그리고 신속한 3D 의미론적 주석과 같은 실시간 응용 프로그램에 특히 적합하다고 주장합니다. 이 연구는 인스턴스 간 관계를 모델링하고 단일 통과에서 임베딩을 통해 공간/의미론적 예측을 정제하는 것이 2D 기반 모델이나 순차적 추론에 의존하는 방법보다 더 우수한 성능을 낼 수 있음을 보여줍니다.

한계
저자들은 현재 프레임워크가 점구름 기반 클릭 쿼리에 국한되어 있으며, 텍스트 프롬프트나 기반 모델의 2D 마스크 가이드와 같은 더 풍부한 교차 모달 단서를 아직 활용하지 못한다고 인정합니다. 또한, 분할을 시작하기 위해서는 여전히 사용자 상호작용이 필요하며, 모델은 세분화된 부분 계층 구조에 대해 명시적으로 추론하지 않습니다. 향후 연구는 이 프레임워크를 다중 모달 상호작용 분할로 확장하는 것을 제안합니다.