NegROI: Click-Centric Uncertainty-Guided Refinement with Scene-Conditioned Negative Prompts for Robust Interactive 3D Segmentation

기술 요약: NegROI

문제 정의
대화형 3D 세그멘테이션(Interactive 3D segmentation)은 최소한의 사용자 클릭을 통해 포인트 클라우드에서 객체 마스크를 추출하는 것을 목표로 합니다. 최근의 발전에도 불구하고, 기존 방식들은 두 가지 주요 과제에 직면해 있습니다:

1. 경계 미세 세그멘테이션 부족(Boundary Under-segmentation): 단일 해상도 복셀 표현은 특히 사용자의 클릭 예산이 적을 때, 객체의 미세한 경계를 흐릿하게 만드는 경향이 있습니다.
2. 어려운 허위 양성(Hard False Positives, FPs): 혼동을 주는 배경 구조가 사용자 피드백이 있음에도 불구하고 높은 신뢰도의 허위 양성을 빈번하게 유발합니다.
   이러한 문제들은 고정된 정교화 휴리스틱(refinement heuristics)과 순수 클릭 기반 디코딩이 일반화에 실패함에 따라, 데이터셋 간의 분포 변화(예: 조밀한 RGB-D 재구성 대 희소한 LiDAR 스캔)에서 더욱 악화됩니다.

방법론
저자들은 **클릭 중심의 다중 해상도 정교화(click-centric multi-resolution refinement)**와 **장면 조건부 부정적 프롬프트(scene-conditioned negative prompts)**를 통합한 새로운 트랜스포머 기반 프레임워크인 NegROI를 제안합니다. 이 아키텍처는 세 가지 결합된 구성 요소로 이루어집니다:

1. 백본 및 상호작용(Backbone & Interaction):

   • 시스템은 희소 복셀 백본과 장면을 인코딩하고 클릭 토큰을 통합하기 위한 양방향 트랜스포머 디코더(Easy3D에서 변형됨)를 활용합니다.
   • 클릭은 거친(coarse) 복셀 좌표로 매핑되며, 상호작용 토큰(전경, 배경 및 클릭 특화 토큰)이 디코더에 주입됩니다.

2. 장면 조건부 부정적 프롬프트(Scene-Conditioned Negative Prompts):

   • 혼동을 주는 배경 구조를 명시적으로 모델링하기 위해, 이 방법은 $K$개의 학습 가능한 부정적 프롬프트 쿼리(negative prompt queries)를 도입합니다.
   • 이 쿼리들은 장면 토큰에 크로스 어텐션(cross-attend)하여 장면 조건부 부정적 프로토타입(negative prototypes)을 생성하며, 이는 디코딩 전 상호작용 토큰에 추가됩니다.
   • 감독(Supervision):
     • 경계 인식 하드 네거티브 마이닝($L_{hn}$): 부정적 프롬프트의 어텐션 가중치가 객체 경계 근처에 위치한 고신뢰도 허위 양성에 집중하도록 감독합니다.
     • 다양성 정규화 도구($L_{div}$): 부정적 프로토타입 간의 코사인 유사도에 대한 페널티를 부여하여 "프롬프트 붕괴(prompt collapse)"를 방지하고 다양한 배경 모델링을 보장합니다.

3. 클릭 중심 ROI 정교화(Click-Centric ROI Refinement):

   • 전체 장면을 고해상도로 정교화하는 대신, 시스템은 현재 클릭 주변의 로컬 **관심 영역(Region of Interest, ROI)**을 식별합니다.
   • 적응형 반경(Adaptive Radius): ROI 크기는 클릭 컨텍스트와 로컬 포인트 밀도로부터 예측된 적응형 반경에 의해 결정됩니다.
   • 선택적 정교화(Selective Refinement): 불확실성 기반 메커니즘이 모호한 영역을 우선순위에 두어 미세 그리드 처리를 수행합니다.
   • 정교화 과정: ROI는 더 미세한 해상도($v_f = v/\eta$)로 재복셀화(re-voxelized)되며, 공유 인코더와 전용 ROI 디코더를 통해 처리됩니다. 이후 결과물인 미세 로짓(fine logits)은 맥스-애그리게이션(max-aggregated)되어 잔차 업데이트(residual update)를 통해 거친 로짓에 융합됩니다.

주요 기여
본 논문은 네 가지 주요 기여를 설명합니다:

1. 클릭 중심 다중 해상도 정교화: 밀집된 글로벌 디코딩 없이도 경계 흐림 문제를 해결하면서, 로컬 ROI 내에서 효율적인 미세 그리드 정교화를 수행하고 이 예측값을 거친 로짓에 융합하는 모듈입니다.
2. 불확실성 기반 선택적 정교화: 계산 자원을 ROI 내의 모호한 영역에 집중시켜 효율성과 견고함을 모두 개선하는 메커즘입니다.
3. 장면 조건부 부정적 프롬프트: 다양성 정규화로 보강되어 붕괴를 방지하면서, 크로스 어텐션을 통해 학습된 부정적 프로토타입을 사용하여 명시적인 배경 모델링을 수행하는 구조적 접근 방식입니다.
4. 경계 인식 하드 네거티브 마이닝: 부정적 프롬프트의 어텐션이 특히 경계에 인접한 고신뢰도 허위 양성을 향하도록 유도하는 감독 전략입니다.

실험 결과
저자들은 ScanNet40, S3DIS, KITTI-360의 세 가지 벤치마크 데이터셋에서 NegROI를 평가했습니다.

• 인도메인 성능(In-Domain Performance): ScanNet40에서 NegROI는 모든 클릭 예산($k \in \{1, 2, 3, 5, 10\}$)에 대해 기존의 최첨단 베이스라인(InterObject3D, AGILE3D, Easy3D 포함)을 일관되게 능가했으며, 특히 희소한 상호작용(1~3 클릭)에서 가장 큰 성능 향상을 보였습니다.
• 외도메인 일반화(Out-of-Domain Generalization): ScanNet40에서 학습하고 타겟 도메인 학습 없이 S3DIS 및 KITTI-360에서 테스트했을 때, NegROI는 베이스라인 대비 우수한 교차 데이터셋 강건성을 입증하였으며, 특히 낮은 클릭 횟수에서 강력한 성능을 유지했습니다.
• 단일 클릭 평가(Single-Click Evaluation): ScanNet20에서만 학습하고 ScanNet20/40에서 테스트한 설정에서, NegROI는 비대화형 및 오픈 보캐블러리(open-vocabulary) 베이스라인보다 mAP 및 AP 지표를 개선하여, 제안된 프롬프팅 및 정교화의 이점이 단일 클릭 시나리오에도 확장됨을 시사했습니다.
• 정성적 분석: 시각화 결과, NegROI가 부착된 또는 시각적으로 유사한 방해 요소들을 효과적으로 억제하고 더 날카로운 경계를 복원하여, Easy3D 베이스라인에 비해 경계 인접 허위 양성이 줄어듦을 확인했습니다.

의의
본 논문은 NegROI가 강건한 대화형 3D 세그멘테이션을 위한 최첨단 기술(SOTA)을 진전시킨다고 주장합니다. 클릭 중심의 로컬 정교화와 부정적 프롬프트를 통한 명시적 배경 모델링을 결합함으로써, 이 방법은 클릭 효율성을 높이고 허위 양성을 줄입니다. 결정적으로, 이 연구는 다양한 밀도와 스케일을 가진 데이터셋 간에 일반화하는 과제를 해결하며, 고정된 휴리스틱에 덜 의존하고 분포 변화에 더 잘 적응하는 솔루션을 제공합니다. 저자들은 이 작업이 밀집된 레이블링 비용이 많이 드는 3D 애플리케케이션을 위한 더 신뢰할 수 있는 대화형 파이프라인을 향한 단계라고 규정합니다.