Efficient Point Cloud Processing with High-Dimensional Positional Encoding and Non-Local MLPs

이 논문은 점구름 처리를 위한 모듈형 특징 추출을 위한 '추상화 - 정제 (ABS-REF)' 관점을 제시하고, 고차원 위치 인코딩 (HPE) 과 비국소 MLP 를 도입하여 효율성과 성능을 동시에 극대화한 HPENets 를 개발하여 기존 MLP 기반 모델들을 압도하는 결과를 입증했습니다.

핵심

🏗️ 핵심 아이디어: "건축가"와 "디자이너"의 협업 (ABS-REF)

기존의 3D 처리 모델들은 마치 한 번에 모든 것을 다 해내려는 거인처럼 복잡하고 무거웠습니다. 이 논문은 이를 두 단계로 나누어 효율적으로 만들었습니다.

1. **추상화 **(Abstraction, ABS)

   • 비유: 거대한 건물을 설계할 때, 먼저 **대략적인 뼈대 **(골조)를 세우는 단계입니다.
   • 작동: 수많은 점들 중에서 중요한 핵심 점들만 골라내고, 주변의 점들을 묶어서 큰 그림을 파악합니다. 이때 너무 세세한 부분까지 신경 쓰지 않고 '어떤 형태인지' 대략적으로 파악합니다.
   • 기존의 문제: 과거 모델들은 이 뼈대 세우는 작업에만 너무 집중해서, 정작 건물의 디테일을 살리는 데 소홀했습니다.

2. **정제 **(Refinement, REF)

   • 비유: 뼈대가 잡힌 후, 내부 인테리어와 디테일을 다듬는 단계입니다.
   • 작동: 뼈대만으로는 부족하니까, 이미 잡힌 점들끼리 서로 정보를 주고받으며 "이 벽은 어떤 색일까?", "이 기둥은 얼마나 튼튼할까?"를 정교하게 다듬습니다.
   • 이 논문의 혁신: 최근의 좋은 모델들은 이 '정제' 단계를 잘해서 성능이 좋아졌지만, 이 논문은 두 단계를 명확히 구분하고 각각에 최적화된 도구를 사용합니다.

---

🧩 새로운 도구 1: "고해상도 나침반" (HPE, 고차원 위치 인코딩)

점구름에서 가장 중요한 것은 **'어디에 있는지 **(위치)입니다.

• 기존 방식: "내 좌표는 (x, y, z)야"라고 단순히 숫자만 알려주는 것 같습니다. 마치 지도에 점 하나만 찍어놓은 것과 비슷합니다.
• **이 논문의 방식 **(HPE) 단순히 좌표만 주는 게 아니라, 3 차원 좌표를 100 차원, 1000 차원의 고해상도 지도로 변환합니다.
  • 비유: 단순히 "서울에 있어요"라고 말하는 대신, "서울 강남구 A동 B길 C번지, 그리고 주변에 어떤 건물이 있고, 햇빛이 어떻게 드는지까지 상세히 묘사한 지도"를 주는 것과 같습니다.
  • 효과: 이렇게 하면 점들이 서로 얼마나 가까운지, 어떤 모양을 이루는지 훨씬 더 정교하게 이해할 수 있어 성능이 비약적으로 좋아집니다.

🔄 새로운 도구 2: "소통의 다리" (BFM, 역방향 융합 모듈)

일반적인 3D 모델은 정보를 위에서 아래로만 흘려보냅니다 (고해상도 → 저해상도). 하지만 이 논문은 양방향 소통을 제안합니다.

• 비유: 건축 현장의 **현장 소장 **(저해상도, 큰 그림)과 **세부 설계사 **(고해상도, 디테일)가 서로 대화하는 것입니다.
  • 기존 방식: 설계사가 소장의 지시만 따릅니다.
  • 이 논문: 설계사가 "이 부분은 이렇게 처리하면 더 좋을 것 같아요"라고 소장에게 피드백을 주고, 소장은 그 정보를 받아 전체 구조를 더 튼튼하게 만듭니다.
  • 효과: 정보가 한쪽으로만 흐르는 것을 막아, 전체적인 이해도가 높아집니다.

⚡ 속도 개선: "무거운 망치" 대신 "가벼운 공구" (비국소 MLP)

기존 모델들은 이웃한 점들을 처리할 때 무거운 연산을 많이 썼습니다.

• **기존 방식 **(국소 MLP) 이웃한 점들끼리만 대화하게 해서, "너는 내 옆에 있구나"라고만 확인합니다. 하지만 멀리 있는 점들과의 관계는 놓칩니다.
• **이 논문의 방식 **(비국소 MLP) 먼저 모든 점들과 대화를 나눈 뒤, 그룹을 짓습니다.
  • 비유: 회의실에서 먼저 "전체적으로 어떤 분위기인가?"를 파악한 뒤, 소그룹 토의를 하는 것과 같습니다.
  • 효과: 계산량이 훨씬 줄어들어 (FLOPs 감소) 속도가 2 배 이상 빨라졌지만, 오히려 정확도는 더 높아졌습니다.

---

🏆 결과: "HPENet"이라는 새로운 모델

이론과 도구를 합쳐 만든 모델이 HPENet입니다.

• 성능: 다른 유명한 모델들 (PointNeXt, Point Transformer 등) 보다 더 정확합니다.
• 효율: 같은 성능을 내면서 계산량은 절반 이하로 줄였습니다. (예: 100 점 만점에 90 점인데, 남들은 100 점짜리 연산기를 썼는데 우리는 50 점짜리 연산기로 90 점을 맞췄다는 뜻입니다.)
• 적용: 물체 분류 (이게 뭐야?), 부분 분할 (날개는 어디야?), 장면 분할 (벽은 어디고 바닥은 어디야?) 등 다양한 3D 작업에서 모두 최고 성능을 냈습니다.

📝 한 줄 요약

**"3D 점구름을 처리할 때, 뼈대 **(ABS)

이 논문은 복잡한 3D 기술을 더 빠르고, 더 똑똑하며, 더 가볍게 만들어 현실 세계 (자율주행, 로봇 등) 에 적용하기 쉽게 만든 획기적인 연구입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 점 구름 (Point Cloud) 처리의 한계: 3D 센서의 발전으로 자율주행, 로봇공학 등 다양한 분야에서 점 구름 데이터의 활용이 증가하고 있으나, 불규칙한 3D 점들의 특성으로 인해 신경망 처리에 어려움이 있습니다.
• MLP 기반 모델의 복잡성: PointNet++ 및 PointNeXt 와 같은 기존 MLP 기반 모델은 복잡한 네트워크 아키텍처를 통해 성능을 높여왔으나, 그 강점의 근원을 명확히 규명하기 어렵고 계산 비용이 높아 실제 응용에 제한이 있습니다.
• 위치 정보의 부재: 기존 방법들은 점의 위치 정보를 단순히 특징에 연결 (concatenation) 하거나 저차원 인코딩을 사용하여, 점 구름의 기하학적 구조와 국소적 맥락을 충분히 활용하지 못했습니다.
• 효율성과 성능의 트레이드오프: Transformer 기반 모델은 성능이 우수하지만 계산량이 많고, 기존 MLP 기반 모델은 효율적이지만 성능이 Transformer 에 미치지 못하는 경우가 많았습니다.

2. 제안된 방법론 (Methodology)

이 논문은 점 구름 처리를 위한 새로운 관점과 모듈을 제안합니다.

A. 추상화 및 정제 (Abstraction and Refinement, ABS-REF) 뷰

기존의 복잡한 아키텍처를 두 단계 (ABS 단계와 REF 단계) 로 명확히 구분하여 분석하고 설계합니다.

• ABS (Abstraction) 단계: 입력 점 구름에서 저해상도 특징을 추출하는 단계입니다. 샘플링 (FPS), 그룹화 (KNN), 그리고 국소 특징 집계 (Intra-set aggregation) 를 수행하여 점의 수를 줄입니다.
• REF (Refinement) 단계: 추출된 특징의 해상도를 유지하면서 맥락 정보를 정제하고 확장하는 단계입니다. 기존 모델들은 이 단계를 소홀히 하거나 부재였으나, 제안된 모델은 REF 단계를 통해 수용 영역 (Receptive Field) 을 확장하고 성능을 극대화합니다.
• 분리 가능한 ABS-REF: 효율성을 위해 국소 집계 (Intra-set) 와 상호 집계 (Inter-set) 연산을 분리하여, 효율적인 비국소 MLP(Non-local MLPs) 와 축소 연산을 결합합니다.

B. 고차원 위치 인코딩 (High-dimensional Positional Encoding, HPE)

• 기존의 한계 극복: 기존 Transformer 의 위치 인코딩 (Sinusoidal 또는 Learnable) 은 저차원 (3 차원) 이라 복잡한 기하학적 관계를 포착하는 데 한계가 있었습니다.
• HPE 모듈: 점의 상대적 좌표를 고차원 공간으로 투영한 후, 경량 MLP 를 통해 특징 공간에 정렬합니다. 이는 병진 불변성 (Translation Invariance) 을 가지며, MLP 기반 아키텍처와 Transformer 기반 아키텍처 모두에 호환되도록 설계되었습니다.
• 적용: HPE 는 ABS 단계와 REF 단계 모두에 적용되어 국소 기하 정보를 효과적으로 표현합니다.

C. 역방향 융합 모듈 (Backward Fusion Module, BFM)

• 맥락 정보 활용: 기존 디코더에서 고해상도 특징과 저해상도 특징 간의 상호작용이 일방적이었던 문제를 해결합니다.
• 동작 원리: 고해상도 특징에서 최대 풀링 (Max-pooling) 과 평균 풀링 (Mean-pooling) 을 통해 전역 맥락 정보를 추출한 후, 이를 역방향으로 저해상도 특징에 주입하여 양방향 상호작용을 가능하게 합니다. 이는 세그멘테이션 성능을 향상시킵니다.

D. HPENets 아키텍처

제안된 모듈들을 통합하여 HPENet 시리즈를 개발했습니다.

• 효율적인 국소 집계 전략:
  • ABS 단계: 상세한 기하 정보를 보존하기 위해 첫 번째 ABS 단계에서는 전통적인 국소 MLP(Conv) 를 사용하거나, 효율성을 위해 비국소 MLP(PreConv) 와 HPE 를 결합합니다.
  • REF 단계: 계산 비용을 줄이기 위해 비국소 MLP(PreConv) 를 주로 사용합니다.
• HPENet V2: 기존 HPENet 을 개선하여 파라미터 수를 줄이고 추론 속도를 2.2 배 향상시켰으며, HPE 의 채널 차원을 최적화하여 효율성을 극대화했습니다.

3. 주요 기여 (Key Contributions)

1. ABS-REF 관점 정립: 점 구름 처리 모델의 핵심 강점을 '추상화'와 '정제'의 두 단계로 명확히 구분하고, 이를 통해 기존 모델들의 한계와 최신 기법들의 성공 요인을 체계적으로 설명했습니다.
2. 고차원 위치 인코딩 (HPE) 제안: Transformer 의 위치 인코딩 개념을 MLP 기반 모델에 적용하여 고차원으로 확장함으로써, 국소 기하 정보를 효과적으로 표현하고 성능을 획기적으로 개선했습니다.
3. 효율적인 비국소 MLP 활용: 시간 소모적인 국소 MLP 연산을 제거하고 비국소 MLP 를 도입하여 FLOPs 를 대폭 줄이면서도 성능을 유지하거나 향상시켰습니다.
4. 범용성 및 호환성: 제안된 모듈 (HPE, BFM) 이 MLP 기반 모델뿐만 아니라 Transformer 기반 모델 (Point Transformer, Stratified Transformer) 에도 적용 가능함을 입증했습니다.

4. 실험 결과 (Results)

총 7 개의 공개 데이터셋 (ScanObjectNN, S3DIS, ScanNet, ShapeNetPart 등) 과 4 가지 작업 (3D 객체 분류, 장면 의미 분할, 객체 부분 분할, 3D 객체 감지) 에서 광범위한 실험을 수행했습니다.

• 성능: HPENet V2 는 강력한 MLP 기반 모델인 PointNeXt 를 능가하는 성능을 기록했습니다.
  • ScanObjectNN: mAcc 1.1% 향상 (FLOPs 50% 감소).
  • S3DIS: mIoU 4.0% 향상 (FLOPs 21.5% 감소).
  • ScanNet: mIoU 1.8% 향상 (FLOPs 23.1% 감소).
  • ShapeNetPart: Cls. mIoU 0.2% 향상 (FLOPs 44.4% 감소).
• 효율성: PointNeXt 대비 파라미터 수는 14.7% 수준으로 줄이면서, 추론 속도는 1.3 배 이상 빨라졌습니다.
• Transformer 호환성: Point Transformer 와 Stratified Transformer 에 제안된 모듈을 적용했을 때, 각각 2.5% 와 1.3% 의 mIoU 향상을 보이며 계산 비용은 감소시켰습니다.
• 강건성: 점 밀도가 낮은 (Sparse) 입력에서도 PointNeXt 나 PointMetaBase 보다 우수한 성능을 유지하여 점 구름 밀도 변화에 강건함을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 점 구름 처리 분야에서 효율성과 성능의 균형을 잡은 새로운 패러다임을 제시했습니다.

• 이론적 통찰: 복잡한 모델 아키텍처를 '추상화 (ABS)'와 '정제 (REF)'라는 직관적인 프레임워크로 해체하여, 왜 특정 모듈이 성능에 기여하는지 명확히 설명했습니다.
• 실용적 가치: 계산 비용이 적고 장치 친화적 (Device-friendly) 인 HPENet 을 제안하여, 자율주행 및 로봇과 같은 실시간 응용 분야에서 Transformer 기반 모델의 대안이 될 수 있음을 보였습니다.
• 모듈의 재사용성: 제안된 HPE 와 BFM 모듈은 다양한 백본 네트워크에 플러그인 (Plug-in) 방식으로 적용 가능하여, 향후 점 구름 처리 모델 설계의 표준 구성 요소로 자리 잡을 가능성이 높습니다.

결론적으로, 이 연구는 MLP 기반 모델의 잠재력을 재발견하고, 고차원 위치 인코딩과 효율적인 구조 설계를 통해 SOTA(State-of-the-Art) 성능을 달성하면서도 계산 효율성을 극대화한 획기적인 작업입니다.