기술 요약: 자동차용 포인트 클라우드 시맨틱 세그멘테이션을 위한 바닐라 ViT (VaViT)

문제 정의

일반적인 트랜스포머(Transformer)가 통일된 설계와 우수한 스케일링 특성 덕분에 텍스트, 오디오, 이미지 처리 분야에서 사실상의 표준 아키텍처가 되었음에도 불구하고, 3차원 포인트 클라우드 시맨틱 세그멘테이션에 대한 적용은 여전히 제한적입니다. 현재 자율주행 LiDAR 세그멘테이션의 최첨단 방법론들은 주로 희소 합성곱(sparse convolutions)과 로컬 또는 윈도우 기반 어텐션(예: PTv3, LitePT)을 교차 사용하는 하이브리드 U-Net 구조에 의존하고 있습니다. 대안적으로, 일부 방식은 3D 데이터를 2D 레인지 뷰(range view)로 투영하기도 하지만(예: RangeViT), 이는 기하학적 왜곡을 유발하고 공간적 구조를 손실시킵니다.

저자들은 근본적인 질문을 던집니다: 순수한 비계층적 비전 트랜스포머(ViT)가 합성곱의 귀납적 편향(inductive bias)이나 2D 투영의 기하학적 왜곡 없이, 가공되지 않은 3D 포인트 클라우드 상에서 직접 작동하여 대규모 자동차 LiDAR 세그멘테이션에서 경쟁력 있는 성능을 달출 수 있는가? 핵심 과제는 ViT에 필요한 토큰 기반 표현을 위해 불규칙한 포인트 클라우드 데이터를 처리하면서, 합성곱의 귀납적 편향이나 2D 투영의 기하학적 왜곡에 의존하지 않고 이 간극을 메우는 것입니다.

방법론

제안된 프레임워크인 **VaViT (Vanilla ViT)**는 계층적 단계나 합성곱 블록을 피하고, 단일 스케일의 ViT 백본과 글로벌 셀프 어텐션을 사용하여 가공되지 않은 3D 포인트를 처리합니다. 파이프라인은 네 가지 주요 구성 요소로 이루어집니다.

1. 토큰화 전략 (Tokenization Strategy)

전체 스캔을 2D 이미지로 변 converting 하는 대신, VaViT는 3D 공간에서 직접 포인트별 임베딩을 추출한 뒤 이를 거친 버즈 아이 뷰(Bird's Eye View, BEV) 그리드에 투영하여 토큰을 형성합니다.

• 임베딩 네트워크: 좌표, 거리(range), 강도(intensity)를 포함한 원시 포인트들은 PointNet++ 및 DGCNN에서 영감을 받은 다층 임베딩 네트워크를 통과합니다. 이 네트워크는 다음을 포함합니다:
  • 포인트 특징을 처리하는 글로벌 브랜치.
  • 가짜 특징을 필터링하기 위한 게이팅 메커리즘($f_{gate}$)이 강화된, 상대적 표현을 계산하는 로컬 브랜치 ($k$-최근접 이웃 활용).
  • 글로벌 및 로컬 특징의 결합(concatenation).
• 필러 토큰화 (Pillar Tokenization): 장면은 겹치지 않는 정사각형 필러(pillar)로 나뉩니다. 점유된 각 필러에 대해, 그 안에 포함된 모든 포인트의 임베딩을 모으고 맥스 풀링(max-pooling) 연산을 통해 단일 필러 토큰을 생성합니다.
• 위치 인코딩 (Positional Encoding): 토큰은 각 축에 대해 반복 적용되는 **회전 위치 인코딩(Rotary Positional Embeddings, RoPE)**을 사용하여 2D BEV 좌표와 연결됩니다.

2. 바닐라 ViT 백본 (Vanilla ViT Backbone)

일련의 필러 토큰들은 표준적이고 비계층적인 ViT에 의해 처리됩니다.

• 아키텍처는 표준 트랜스포머 블록 설계인 LayerNorm (LN) $\rightarrow$ Multi-Head Self-Attention (MSA) $\rightarrow$ Residual $\rightarrow$ LN $\rightarrow$ MLP $\rightarrow$ Residual를 따릅니다.
• 배치 내의 가변적인 시퀀스 길이를 처리하기 위해 패딩 토큰이 사용됩니다.
• 백본은 전적으로 글로벌 셀프 어텐션에 의존하며, 이를 통해 로컬 윈도우 제약 없이 전체 장면에 걸친 장거리 공간 의존성을 포착할 수 있습니다.

3. 경량 세그멘테이션 헤드 (Lightweight Segmentation Head)

거친 필러 토큰으로부터 미세한 포인트 수준의 예측을 복구하기 위해 다음 과정을 거칩니다:

• 리프팅 (Lifting): 최종 트랜스포머 토큰들을 BEV 그리드에서 원래의 3D 포인트로 다시 들어 올립니다(lift). 특정 필러 내의 모든 포인트는 해당 필려 토큰을 공유받습니다.
• 특징 융합 (Feature Fusion): 리프팅된 토큰 특징은 토큰화 과정에서 계산된 고해상도 원본 포인트 임베딩과 결합됩니다.
• 게이팅 및 분류: 게이팅 메커니즘($g_{gate}$)이 ViT 특징과 원본 포인트 임베딩 간의 기여도를 재가중합니다. 결합된 특징은 최종 선형 레이어를 통과하여 시맨틱 분류를 수행합니다.

4. 데이터 증강: PillarMix+

LiDAR 데이터셋이 ViT 프리트레이닝에 사용되는 이미지 데이터셋보다 작다는 점을 인식하여, 저자들은 향상된 기하학적 증강 전략인 **PillarMix+**를 도입했습니다.

• 메커니즘: 두 개의 스캔을 체커보드 패턴으로 섞는 표준 PillarMix와 달리, PillarMix+는 $N$개의 포인트 클라우드(통상 3개)를 혼합합니다.
• 과정: 참조 스캔의 각 점유된 필러에 대해, 만약 동일한 위치가 나머지 $N-1$개의 스캔 중 하나 이상에서 점유되어 있다면, 해당 필러는 집합 내의 점유된 필러 중 하나로 무작별로 교체됩니다.
• 장점: 이는 장면의 점유 패턴과 일반적인 형태를 보존하면서도 상당한 문맥 변화를 도입합니다. 이는 체커보드 혼합의 "독립적 크롭(stand-alone crop)" 효과를 피하며, 토큰 수를 증가시키는 방식과 달리 일관된 토큰 수를 유지합니다.

주요 기여

1. 성능 검증: 정교하게 설계된 바닐라 ViT가 LiDAR 세그멘테이션을 위해 하이브리드 U-Net 및 2D 투영 모델을 포함한 최첨단 방법론들과 대등하거나 이를 능가할 수 있음을 입증했습니다.
2. 특화된 토큰화: 정보가 풍부한 3D 포인트 임베딩을 추출하고 이를 거친 BEV 그리드에 투영하는 전용 토큰화 스템(stem)을 도입하여, ViT의 아키텍처 수정 없이도 다운스트림 태스크를 위한 충분한 기하학적 정보를 보존했습니다.
3. 경량 헤드: 게이팅 메커니즘을 통해 글로벌 문맥 특징과 고해상도 로컬 포인트 임베딩을 효과적으로 결합하는 세그멘테이션 헤드를 설계했습니다.
4. PillarMix+: 여러 스캔을 혼합하면서 장면의 일관성을 유지함으로써, 자율주행 데이터셋에 대한 ViT 학습의 일반화 능력을 크게 향상시키는 강력한 기하학적 증강 전략을 제안했습니다.

실험 결과

저자들은 세 가지 주요 벤치마크인 nuScenes, SemanticKITTI, **Waymo Open Dataset (WOD)**에서 VaViT를 평가했습니다.

• nuScences: VaViT-B는 **81.3%**의 mIoU를 달성하여 이전의 SOTA인 LitePT(80.7%)를 넘어섰습니다. 특히, 거친 토큰화 그리드에도 불구하고 교통 콘(traffic cone) 및 자전거와 같은 작은 객체에서 1위를 차지했습니다.
• Waymo Open Dataset: VaViT-B는 70.5% mIoU를 달성하여 SphereFormer(69.9%)와 PTv3(70.2%)를 앞질렀습니다.
• SemanticKITTI: VaViT-B는 TTA(Test-Time Augmentation) 없이 67.6% mIoU를 기록하며 PTv3(66.2%) 및 SphereFormer(67.8%)와 대등하게 경쟁했습니다.
• 강건성 (Robustness): 중요한 발견은 VaViT 모델이 전역 변환(회전, 스케일링, 플리핑)에 본질적으로 강하다는 점입니다. 다른 방법들(PTv3, LitePT)은 TTA를 통해 약 2 mIoU 포인트의 이득을 얻는 반면, VaViT의 성능은 거의 변하지 않았습니다. 이는 글로벌 셀프 어텐션 메커니즘이 이미 이러한 불변성을 학습했음을 시사합니다.

의의 및 주장

본 논문은 특화된 하이브리드 설계(합성곱과 로컬 어텐션의 결격)가 3D 세그멘테이션에 반드시 필수적인 것은 아님을 주장합니다. 대신, **순수 트랜스포머(Plain Transformers)**가 더 단순하면서도 다양한 인지 태스크를 아우르는 통합된 백본으로서 실행 가능한 대안이 될 수 있습니다.

VaViT의 성공은 입력 표현(토큰화)과 학습 전략(증강)이 정교하게 조정된다면, 글로벌 셀프 어텐션이 포인트 클라우드 세그멘테이션의 "핵심적인 역할(heavy lifting)"을 수행할 수 있음을 시사합니다. 이 연구는 다음과 같은 가능성을 열어줍니다:

• 더 용이한 멀티모달 아키텍처 설계 (예: 포인트 클라우드와 이미지의 혼합).
• 3D 도메인을 위한 트랜스포머의 자기 지도 학습(self-supervised pretraining) 기법의 직접적인 적용.
• U-Net 스타일의 계층 구조와 희소 합성곱의 필요성을 제거함으로써 아키텍처 복잡성 감소.

저자들은 원시 3D 데이터와 트랜스포머 사이의 인터페이스가 세밀하게 설계된다면, 통합된 ViT 접근 방식의 효율성이 검증된다는 점을 강조합니다.