From Spherical to Gaussian: A Comparative Analysis of Point Cloud Cropping Strategies in Large-Scale 3D Environments

기술 요약: 구형에서 가우시안으로: 대규모 3D 환경에서의 포인트 클라우드 컷팅 전략 비교 분석

문제 제기
수억 개의 포인트를 포함하는 대규모 3D 포인트 클라우드는 현대 GPU 의 메모리 제약을 초과하여, 심층 학습 네트워크에 의한 직접 처리를 불가능하게 만듭니다. 따라서 이러한 장면은 더 작은 서브클라우드로 분할되어야 합니다. 지배적인 최첨단 (SOTA) 접근법은 구형 또는 입방체 컷팅을 사용하여 데이터에 경직된 절단 (hard cutoff) 을 가합니다. 이러한'명확한 절단'전략은 주변 기하학적 맥락의 상당한 손실을 초래하여, 특히 객체가 컷팅 경계를 넘어 자주 확장되는 대규모 야외 환경에서 장면 이해 능력을 제한합니다. 실내 장면을 개별 방으로 분할하여 폐쇄된 맥락을 제공함으로써 이를 완화할 수 있지만, 이 접근법은 야외 장면으로 확장 가능하지 않으며 방 경계에 대한 사전 지식을 요구합니다.

방법론
저자들은 구형 컷팅의 경직된 절단을 확률 분포로 대체하는 대안적 컷팅 전략을 제안합니다. 고정된 반경을 기반으로 포인트를 선택하는 대신, 이 방법은 중심점 $x_c$로부터의 유클리드 거리 $d$에 기반하여 각 포인트에 선택 확률 $p$를 할당합니다. 본 논문은 세 가지 특정 분포를 평가합니다:

1. 지수 분포: $p = e^{-\lambda d}$
2. 가우시안 분포: $p = e^{-(d/\sigma_d)^2}$
3. 선형 분포: $p = (d_m - d) / d_m$

이들은 표준 구형 방법 ($d < d_m$이면 $p=1$, 그렇지 않으면 $0$) 과 비교됩니다. 목표는 서브클라우드당 포인트 수를 유사하게 유지하면서 컷팅의 공간적 범위 (맥락) 를 크게 증가시키는 것입니다.

공정한 비교를 보장하기 위해 저자들은 중심점을 선택하기 위해 점유 그리드 맵 (occupancy grid map) 을 활용하여 모든 컷팅 전략에서 동일한 중심점이 사용되도록 보장합니다. 본 연구는 세 가지 서로 다른 SOTA 3D 심층 학습 아키텍처를 활용합니다:

• OA-CNNs: 희소 합성곱을 사용하는 이산화 기반 모델.
• Point Transformer v3 (PTv3): 어텐션 메커니즘을 활용하는 포인트 기반 모델.
• KPConvD: 커널 포인트 합성곱을 사용하는 포인트 기반 모델.

실험은 실내 (S3DIS) 와 야외 (SemanticBridge, Paris-Lille-3D, Toronto3D) 환경을 모두 아우르는 네 가지 데이터셋에서 수행되었습니다. 모델은 사전 학습된 가중치 없이 처음부터 학습되었으며, 사용 가능한 경우 원시 좌표와 색상 또는 강도 정보만을 사용했습니다.

주요 기여

• 새로운 컷팅 전략: 명확한 절단 경계를 피하여 서브클라우드당 총 포인트 수를 증가시키지 않으면서 주변 맥락을 보존하는 지수, 가우시안, 선형 컷팅 방법의 도입.
• 광범위한 경험적 평가: 이러한 전략의 견고성과 성능을 평가하기 위해 다양한 아키텍처와 다양한 데이터셋 (실내 및 야외) 에 걸친 포괄적인 분석.
• SOTA 개선: 기본 네트워크 아키텍처를 수정하지 않고 컷팅 전략만 변경함으로써 대규모 야외 장면에서 특히 새로운 최첨단 결과를 달성할 수 있음을 입증.
• 접근성: 제안된 방법은 계산적으로 효율적이고 구현이 쉬우며 추가적인 런타임 복잡성을 도입하지 않습니다.

결과
실험은 컷팅 전략의 효과성이 환경과 모델 아키텍처에 크게 의존함을 보여줍니다:

• 야외 장면: 제안된 방법은 표준 구형 컷팅보다 크게 우수합니다. SemanticBridge데이터셋에서 가우시안 컷팅은 80% 이상의 mIoU 를 달성하는 새로운 SOTA 를 기록했습니다. Paris-Lille-3D에서는 OA-CNN 을 사용한 선형 컷팅이 84% 이상의 mIoU 를 달성했습니다. Toronto3D에서는 선형 컷팅이 모든 모델에서 최고의 성능을 보였습니다. 이러한 개선은 구형 컷팅이 종종 잘라내는 더 큰 맥락 정보 (예: 교대 받침과 기둥 구분 또는 도로 표시 식별) 를 포함하기 때문입니다.
• 실내 장면: S3DIS데이터셋에서 대안적 방법은 OA-CNN 과 KPConvD 에 대해 구형 컷팅과 비교 가능한 결과를 생성했으나, 완전히 폐쇄된 맥락의 혜택을 받는 사전 분할된 개별 방에서 학습된 모델의 성능은 넘지 못했습니다. 흥미롭게도 PTv3 모델은 실내 데이터에서 비균일 컷팅 시 성능 저하를 보였는데, 이는 균일한 포인트 분포에 대한 의존성이나 사용된 특정 하이퍼파라미터 때문일 수 있습니다.
• 견고성과 융합: 연구는 비균일 분포 (가우시안/선형) 로 학습된 모델이 추론 중 컷팅 매개변수 변화에 일반적으로 견고함을 발견했습니다. 또한, 겹치는 서브클라우드의 예측을 융합하는 것은 모든 데이터셋에서 최종 성능을 일관되게 향상시켜 테스트 시간 증강 (test-time augmentation) 의 역할을 했습니다.

의의와 주장
이 논문은 전통적인 구형 컷팅으로 인한 환경 맥락의 손실이 대규모 장면의 3D 시맨틱 분할을 위한 결정적인 병목 현상이라고 주장합니다. 컷팅 전략을 심층 학습 아키텍처와 분리함으로써 저자들은 입력 데이터 분포에 대한 간단한 수정이 모델 성능을 크게 향상시킬 수 있음을 입증합니다.

저자들은 이 접근법이 객체가 크고 맥락이 희소한 야외 환경에서 특히 영향력이 있다고 강조합니다. 그들은 실내 장면이 종종 벽으로 둘러싸여 (방 기반 분할 허용) 있지만, 야외 장면은 거대한 포인트 클라우드를 처리하는 계산적 페널티 없이 확장된 맥락을 포착하는 방법이 필요하다고 주장합니다. 이 연구는 향후 연구가 더 정교한 포인트 샘플링 방법과 불확실성 인식 중심 선택을 탐구해야 함을 시사하지만, 현재로서는 확률적 컷팅이 3D 이해를 개선하기 위한 매우 효과적이고 저비용의 개입임을 확립합니다.