Revisiting Token Compression for Accelerating ViT-based Sparse Multi-View 3D Object Detectors

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 비전 트랜스포머 (ViT) 기반의 희소 (Sparse) 멀티뷰 3D 객체 감지기는 높은 정확도를 보이지만, 방대한 토큰 처리로 인해 추론 지연 (Latency) 이 높다는 문제가 있습니다.
• 기존 방법의 한계: 추론 속도를 높이기 위해 기존에 제안된 토큰 압축 기법들 (토큰 가지치기, 토큰 병합, 패치 크기 확대) 을 3D 감지 작업에 적용했을 때 다음과 같은 심각한 문제들이 발생함을 발견했습니다.
  • 토큰 가지치기 (Token Pruning): 중요한 배경 정보 (Hard Negative 학습에 필수적) 를 제거하여 감지 성능을 저하시킵니다.
  • 토큰 병합 (Token Merging): 불규칙한 토큰 집계로 인해 문맥적 일관성이 깨지고 의미 정보가 손실됩니다.
  • 패치 크기 확대 (Patch Size Enlargement): 단순히 패치 크기를 키우면 연산량은 줄어들지만, 미세한 세부 정보 (Fine-grained semantics) 가 손실되어 객체 인식 및 위치 추정 정확도가 떨어집니다.
• 핵심 문제: 3D 객체 감지의 정확도를 유지하면서 ViT 기반 모델의 추론 속도를 획기적으로 개선할 수 있는 효율적인 압축 전략이 부재합니다.

2. 제안 방법: SEPatch3D (Methodology)

저자들은 SEPatch3D라는 새로운 프레임워크를 제안합니다. 이는 패치 크기를 동적으로 조절하면서도 중요한 의미 정보를 보존하는 전략을 취합니다. 주요 구성 요소는 다음과 같습니다.

1) 시공간 인식 패치 크기 선택 (Spatiotemporal-aware Patch Size Selection, SPSS)

• 동적 패치 크기 조절: 장면의 객체 분포에 따라 패치 크기를 동적으로 변경합니다.
  • 근접 객체 (Nearby Objects): 세부 정보가 중요하므로 작은 패치 (Small Patch) 를 할당하여 미세한 디테일을 보존합니다.
  • 원거리/배경 중심 (Distant/Background): 불필요한 연산을 줄이기 위해 큰 패치 (Large Patch) 를 할당합니다.
• 구현 방식: 이전 프레임의 객체 쿼리 (Object Queries) 를 기반으로 3D 깊이 (Depth) 와 깊이 변화 추이 (Temporal trend) 를 분석하여 현재 프레임의 최적 패치 크기를 결정합니다.

2) 정보성 패치 선택 (Informative Patch Selection, IPS)

• 엔트로피 기반 선택: coarse (큰) 패치로 인해 발생할 수 있는 세부 정보 손실을 보완하기 위해, 중요한 패치들을 선별합니다.
• 선별 기준: 단순한 점수나 어텐션 가중치가 아닌, 엔트로피 (Entropy) 를 기반으로 합니다. 엔트로피가 높은 패치는 텍스처가 풍부하거나 에지가 있는 영역 (정보량이 많은 영역) 을 의미하므로, 이러한 패치들을 선택하여 추가적인 정제 과정을 거칩니다.
• 적응형 전략: 고정된 Top-K 방식이 아닌, 장면의 복잡도에 따라 평균 엔트로피를 기준으로 패치를 선택하는 적응형 방식을 사용합니다.

3) 교차-세분도 특징 강화 (Cross-Granularity Feature Enhancement, CGFE)

• 세부 정보 주입: 선택된 중요한 coarse 패치 (큰 패치) 에 fine-grained (작은 패치) 의 세부 정보를 주입하여 특징을 강화합니다.
• 구현 방식: Cross-Attention 메커니즘을 사용하여 fine 패치에서 상세 정보를 추출하여 coarse 패치에 융합합니다. 이를 통해 coarse 패치가 가진 의미론적 특징을 풍부하게 만들면서도 연산 효율을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 기존 토큰 압축 전략에 대한 재검토: 3D 객체 감지 작업에서 토큰 가지치기, 병합, 패치 확대가 각각 어떤 한계 (배경 정보 손실, 문맥 불일치, 세부 정보 결여) 를 가지는지 분석하고, 이를 극복할 새로운 방향을 제시했습니다.
2. SEPatch3D 프레임워크 제안: 객체의 시공간 분포에 따라 패치 크기를 동적으로 조절하고, 엔트로피 기반 선택과 교차-세분도 특징 강화를 통해 정확도와 효율성의 균형을 맞춘 새로운 아키텍처를 개발했습니다.
3. 성능 입증: nuScenes 및 Argoverse 2 데이터셋에서 기존 SOTA 모델 대비 뛰어난 속도 향상과 경쟁력 있는 정확도를 달성함을 실험을 통해 증명했습니다.

4. 실험 결과 (Results)

• 데이터셋: nuScenes 및 Argoverse 2 검증 세트.
• 주요 성과 (nuScenes 기준):
  • StreamPETR Baseline 대비: 최대 57% 빠른 추론 속도 (Inference time 57% 감소) 를 달성하면서도 정확도 (NDS, mAP) 는 거의 유지했습니다.
  • 기존 SOTA (ToC3D-faster) 대비: 20% 더 높은 효율성을 보이며, 유사한 수준의 감지 정확도를 유지했습니다.
  • 정확도 유지: 640x1600 고해상도 입력에서도 StreamPETR 과 유사한 NDS(62.4%) 를 유지하면서 추론 시간을 57.7% 단축했습니다.
• 일반화 능력: DETR3D, Sparse4Dv2 등 다른 희소 기반 3D 감지 모델과 다양한 ViT 백본 (ViT-B, ViT-L) 에서도 일관된 속도 향상과 성능 유지가 확인되었습니다.
• Ablation Study: SPSS, IPS, CGFE 모듈 각각이 효율성과 정확도 향상에 기여함을 확인했으며, 특히 엔트로피 기반 선택이 기존 점수 기반 선택보다 우월함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 효율성과 정확도의 균형: 3D 객체 감지 분야에서 "정확도 vs 속도"의 트레이드오프를 해결하는 새로운 패러다임을 제시했습니다. 단순히 토큰을 줄이는 것이 아니라, 어떤 정보를 보존하고 어떻게 압축할지에 대한 지능적인 전략을 도입했습니다.
• 배경 정보의 중요성 재조명: 3D 감지에서 배경 정보 (Hard Negative) 가 중요하다는 점을 강조하며, 이를 파괴하지 않는 압축 기법의 필요성을 부각시켰습니다.
• 실용성: 자율주행 시스템과 같이 실시간 추론이 필수적인 환경에서 ViT 기반 모델의 배포 가능성을 크게 높였으며, 향후 3D 점유율 예측 (Occupancy Prediction) 등 다른 시공간 이해 작업으로 확장 가능한 잠재력을 가집니다.

이 논문은 ViT 기반 3D 감지기의 병목 현상을 해결하기 위해 패치 단위의 동적 조절과 특징 강화 기법을 결합함으로써, 기존 방법론들의 한계를 극복하고 실용적인 고성능 모델을 구현하는 데 중요한 기여를 했습니다.