Towards Compact Autonomous Driving Perception with Balanced Learning and Multi-sensor Fusion

기술 요약: 균형 잡힌 학습과 다중 센서 융합을 통한 컴팩트한 자율 주행 인지 기술

문제 정의
자율 주행 인지 시스템은 변화하는 기상 조건, 열악한 조명, 예측 불가능한 교통 상황 등 동적으로 변화하는 환경을 이해하는 데 있어 상당한 어려움에 직면해 있습니다. 전통적인 방식은 종종 단일 작업 모델이나 단일 센서 모달리티(예: RGB 카메라)에 의존하며, 이는 저조도나 폭우와 같은 특정 조건에서 실패할 수 있습니다. 또한, 기존의 멀티태스크 학습(MTL) 접근 방식은 서로 다른 손실 함수를 가진 이질적인 작업들을 처리할 때 불균형한 학습 문제로 인해 성능이 저하되거나 학습이 불안정해지는 경우가 많습니다. 아울러, 모든 인지 작업을 커버하기 위해 여러 최신 모델을 결합하는 방식은 높은 계산 비용, 큰 모델 크기, 과도한 GPU 메모리 사용량을 초래하여 실시간 배포를 저해합니다.

방법론
저자들은 외부 모델에 의존하지 않고 단 한 번의 순전파(forward pass)로 여러 인지 작업을 수행하도록 설계된 컴팩트한 딥 멀티태스크 학습(MTL) 모델을 제안합니다.

• 아키텍처 및 센서 융합: 모델은 서로 다른 입력 모달리티를 위한 특정 인코더를 갖춘 인코더-디코더 아키텍처를 활용합니다: 4개의 RGB 카메라, 4개의 동적 비전 센서(DVS), 그리고 1개의 360° LiDAR. 시스템은 RGB와 DVS를 위해 4개의 뷰(전방, 좌측, 우측, 후방)를 처리하고, LiDAR를 위해 탑 뷰(top view)를 처리합니다.

  • 중간 융합(Intermediate Fusion): 중간 융합 전략에서 영감을 얻은 이 모델은 특징 추출을 위해 두 개의 병목 레이어(bottleneck layers, 컨볼루션 블록)를 사용하여 특징을 융합합니다. 첫 번째 병목 레이어는 시맨틱 세그멘테이션(SS), 깊이 추정(DE), LiDAR 세그멘테이션(LS)을 지원하기 위해 RGB, DVS, LiDAR 인코더로부터 잠재 공간(latent space)을 집계합니다. 두 번째 병목 레이어는 Bird's Eye View 투영(BEVP)을 수행하기 위해 이러한 작업들로부터 정보를 집계합니다.
  • 작업별 디코더: 네트워크는 SS, DE, LS, BEVP를 위한 작업별 디코더로 분기됩니다. 인코더와 디코더의 특징을 결합하여 성능을 높이기 위해 스킵 연결(skip connections)이 사용됩니다.
  • LiDAR 전처리: 수직 정보를 활용하기 위해 저자들은 15개 레이어의 LiDAR 표현 방식을 제안합니다. 이는 포인트 클라우드의 높이(z-좌표)를 기반으로 한 14개 채널과 평탄화된 포인트 클라우드를 포함하는 1개 채널을 쌓아, 단일 레이어 투영보다 수직 구조를 더 잘 보존합니다.

• 적응형 손실 가중치(MGN): MTL에 내재된 불균형 학습 문제를 해결하기 위해, 저자들은 수정된 그래디언트 정규화(Modified Gradient Normalization, MGN) 알고리즘을 도입합니다.

  • 표준 GradNorm이 빈번하게 가중치를 업데이트하는 것과 달리, MGN은 계산 오버헤드를 줄이기 위해 매 에포크(epoch)의 마지막 단계에서만 손실 가중치를 업데이트합니다.
  • 이 알고리즘은 각 작업의 상대적 역 학습률(inverse training rate)을 기반으로 손실 가중치를 동적으로 조정하여, 서로 다른 특성을 가진 작업들(예: SS vs. BEVP)이 유사한 속도로 학습되도록 보장합니다.
  • 총 손실은 DE를 위한 Huber loss와 SS, LS, BEVP를 위한 Binary Cross-Entropy 및 Dice loss의 조합의 가중 합으로 구성됩니다.

• 데이터셋: 실험은 다양한 맵 다양성과 데이터 볼륨을 가진 세 가지 CARLA 시뮬레이션 데이터셋과 하나의 실제 세계 데이터셋(nuScenes-lidarseg)에서 수행되었습니다. nuScenes의 경우, 모델은 DVS 없이 RGB 입력만을 사용하도록 적응되었으며, SS 및 DE 작업을 위해 LiDAR 포인트 클라우드로부터 합성된 정답(ground truth)이 생성되었습니다.

주요 기여

1. 컴팩트한 멀티태스크 모델: 다중 뷰 시맨틱 세그멘테이션, 깊이 추정, LiDAR 세그멘테이션 및 Bird's Eye View 투영을 동시에 수행하는 통합 모델로, 별도의 모델들을 사용할 필요가 없습니다.
2. 적응형 손실 가중치 전략: 두 개의 공유 병목 레이어를 가진 멀티 모달, 멀티 뷰 아키텍처에 맞게 조정된 수정된 GradNorm 알고리즘을 통해 이질적인 작업 간의 학습 과정을 효과적으로 균형 있게 조절합니다.
3. 강화된 LiDAR 표현: 수직 높이 정보를 유지하는 15레이어 LiDAR 전처리 기술을 통해 세그멘테이션 및 깊이 추정 작업에서 향상된 성능을 입증했습니다.
4. 포괄적인 평가: 시뮬레이션 및 실제 환경 전반에 걸쳐 단일 작업 및 멀티태스크 모델(PolarNet, Chen et al., Grad-Norm)의 조합과 비교하여 엄격한 어블레이션 연구(ablation study) 및 비교 분석을 수행했습니다.

결과

• 성능: 15레이어 LiDAR 데이터와 MGN 알고리즘으로 학습된 모델 변형(15L+MGN)이 대부분의 데이터셋에서 가장 낮은 전체 지표(Total Metric, TM)와 지표 분산(Metric Variance, MV)을 기록하며 최상의 전반적 성능을 달성했습니다.
  • 시뮬레이션 데이터셋에서 15L+MGN 모델은 데이터셋 A, B, nuScenes에서 최신 모델들의 조합(Chen et al. + PolarNet + GradNorm)보다 TM 점수 면에서 더 우수한 성능을 보였습니다(단, 데이터셋 C에서는 PolarNet의 우수한 LiDAR 세그멘테이션 능력으로 인해 조합 모델이 약간 더 나은 성능을 보였습니다).
  • 15레이어 LiDAR 입력은 LiDAR 세그멘테이션(LS) 성능을 일관되게 개선했으며, 1레이어 입력에 비해 일반적으로 SS 및 DE 작업을 향상시켰습니다.
  • MGN 알고리즘은 학습 역학의 균형을 성공적으로 맞추어 작업 간의 격차(낮은 MV)를 줄였으나, 특정 작업(예: DE 또는 SS)이 정적 가중치에서 약간 더 나은 성능을 보이는 트레이드오프가 간혹 발생하기도 했습니다.
• 효율성: 제안된 모델은 최신 모델들의 조합보다 훨씬 더 효율적입니다. 이 모델은 결합된 베이스라인 모델들 전체 파라미터의 2% 미만을 보유하고 있습니다.
  • 추론 속도: 모델은 시뮬레이션 데이터셋에서 약 54 FPS, 실제 세계의 nuScenes 데이터셋에서 65 FPS를 달성합니다.
  • 리소스 사용량: 모델은 훨씬 적은 GPU 메모리(조합 모델의 1000 MB 이상 대비 약 20 MB)를 사용하며, 모델 크기도 훨씬 작습니다.

의의
본 논문은 컴팩트한 단일 모델 접근 방식이 전문화된 모델들의 조합보다 우수하거나 대등한 성능을 달성하면서도 계산 리소스를 획기적으로 줄일 수 있음을 보여주는 데 주요 의의가 있다고 주장합니다. 다중 센서 융합과 적응형 손실 가중치 전략을 통합함으로써, 이 모델은 더 빠르고 메모리 효율적이며 엣지 디바이스에 실시간 배포하기에 적합한 강건한 자율 주행 인지 솔루션을 제공합니다. 본 연구는 멀티태스크 학습을 적응형 가중치를 통해 균형 있게 만들고, 풍부한 센서 표현(예: 수직 LiDAR 데이터)을 활용하는 것이 통합적이고 효율적인 주행 환경 이해를 달리는 데 핵심적임을 강조합니다. 저자들은 모델이 다양한 시뮬레이션 및 실제 환경에서 일관된 성능을 유지함을 강조하며, 이를 통해 실제 적용 가능성을 검증했습니다.