기술 요약: 임베디드 자동차 시스템을 위한 최적화된 RetinaNet 아키텍처 기반 실시간 시맨틱 세그멘테이션

문제 정의

첨단 운전자 보조 시스템(ADAS) 및 자율주행 차량은 안전하고 지연 시간이 낮은 의사결정을 내리기 위해 정밀한 실시간 장면 이해를 필요로 합니다. 모든 픽셀에 클래스 레이블을 할당하는 시맨틱 세그멘테이션은 자유 공간 추정 및 차선 검출과 같은 작업에 매우 중요합니다. 그러나 최신 세그멘테이션 네트워크는 일반적으로 고성능 GPU에 최적화되어 있어, 임베디드 자동차 전자 제어 장치(ECU) 및 시스템 온 칩(SoC) 플랫폼의 엄격한 지연 시간, 메모리 및 전력 제약 조건을 충족하지 못하는 경우가 많습니다. 또한, 자동차 환경은 심각한 전경-배경 클래스 불균형(예: 광활한 도로/하늘 영역 대비 희소한 보행자)과 극단적인 스케일 변화를 나타내며, 이는 표준 탐지 및 세그멘테이션 아키텍처에 도전 과제가 됩니다.

방법론

본 논문은 RetinaNet 탐지 프레임워크에서 유도되어 자원 제한적인 임베디드 하드웨어에 맞게 재구조화 및 최적화된 시맨틱 세그멘테이션 아키텍처인 Opt-RetinaSeg를 제안합니다. 방법론은 네 가지 핵심 구성 요소로 이루어집니다.

1. 아키텍처 설계

• 경량 하이브리드 백본(Lightweight Hybrid Backbone): 표준 ResNet-50을 대체하기 위해 저자들은 하이브리드 백본을 구축했습니다. 초기 단계(C2–C3)는 공간 해상도가 가장 높은 곳에서의 연산을 줄이기 위해 **뎁스와이즈 분리 컨볼루션(depthwise-separable convolutions)**을 사용합니다. 후기 단계(C4–C 5)는 추상적 특징 결합을 위한 풍부한 채널 간 혼합을 보장하기 위해 풀 랭크(full-rank) 3×3 컨볼루션을 사용하는 표준 **잔차 병목 블록(residual bottleneck blocks)**을 채택합니다. 각 단계 뒤에는 채널 중요도를 재보정하기 위해 스퀴즈 앤 익사이트(Squeeze-and-Excitation, SE) 블록이 삽입됩니다.
• 재구조화된 특징 피라미드 네트워크(Restructured FPN): RetinaNet의 탐지 지향적 FPN을 변형한 세그멘테이션 버전은 밀집 픽셀 예측에 기여도가 낮은 조밀한 레벨(P6–P7)을 버리고 P2–P5 레벨만을 유지합니다. FPN은 측면 연결(lateral connections)을 위해 1×1 컨볼루션을 사용하며, 에일리어싱(aliasing)을 억제하기 위해 최근접 이웃 업샘플링(nearest-neighbor upsampling)과 3×3 뎁스와이즈 분리 컨볼루션을 결합하여 FPN 연산을 약 35% 감소시켰습니다.
• 컴팩트 세그멘테이션 헤드(Compact Segmentation Head): 피라미드 레벨들을 공통 해상도(입력 크기의 1/4)로 업샘플링하여 결합한 후, 두 개의 3×3 컨볼루션 층과 하나의 1×1 분류 층을 통해 처리합니다.

2. 클래스 균형 손실 함수 (Class-Balanced Loss Function)

도로 장면의 심각한 픽셀 수준 클래스 불균형을 해결하기 위해, 저자들은 **포컬 로스(focal loss)**에서 영감을 받은 손실 함수를 도입했습니다.
$$L = -\sum_{c=1}^{C} \alpha_c (1 - p_c)^\gamma y_c \log(p_c)$$

• $\alpha_c$ (클래스 가중치): 희귀 클래스(예: 보행자, 교통 표지판)의 가중치를 높이는 동시에, 극도로 희귀한 하위 유형에 의한 그래디언트 폭발을 방지하기 위해 클리핑 경계($\alpha_{max} = 50$)가 적용된 역빈도 비율을 사용합니다.
• $\gamma$ (집중 파라미터): 2로 설정된 이 값은 잘 분류된 픽셀의 가중치를 낮춤으로써, 네트워크가 어려운 예시와 희귀 클래스에 집중하도록 강제합니다.

3. 3단계 최적화 파이프라인

임베디드 배포 목표를 달est하기 위해 다음과 같은 사후 학습 압축 파이프라인이 적용됩니다.

1. 구조적 프루닝(Structured Pruning): L1-노름 중요도 점수가 가장 낮은 채널의 40%를 제거한 후, 15 에포크 동안 미세 조정(fine-tuning)을 수행합니다.
2. INT8 사후 학습 양자화(Post-Training Quantization): 훈련 이미지의 일부를 이용한 캘리브레이션을 통해 가중치와 활성화 함수를 8비트 정수로 양자화하며, 오차를 최소 соответственно 최소화하기 위해 채널별 스케일링을 활용합니다.
3. 지식 증류(Knowledge Distillation): 프루닝 및 양자화된 "학생(student)" 네트워크를 고용량 ResNet-101 "교사(teacher)" 네트워크에 대한 쿨백-라이블러(KL) 발산 및 세그멘테이션 작업의 결합 손실을 사용하여 미세 조정함으로써, 압축 과정에서 손실된 정확도를 회복합니다.

4. 배포 (Deployment)

최적화된 모델은 특정 하드웨어에 맞춰 컴파일됩니다.

• NVIDIA Jetson Xavier NX: ONNX로 내보낸 후 Volta GPU 실행을 위해 TensorRT(v8.5)를 통해 컴파일되었습니다.
• Qualcomm QCS610: Hexagon NPU에서 실행하기 위해 Qualcomm SNPE SDK(v2.x)를 통해 DLC 형식으로 변환되었습니다.

주요 기여

1. Opt-RetinaSeg 아키텍처: 하이브리드 백본과 디커플드 헤드를 갖춘 새로운 세그멘테이션 설계를 통해 계산 효율성과 표현 능력 사이의 균형을 달성하며 RetinaNet의 FPN을 재용도화했습니다.
2. 클래스 균형 포컬 로스: 자동차 데이터셋에서 발생하는 극단적인 전경-배경 불균형을 훈련을 불안정하게 만들지 않으면서 완화하도록 설계된 맞춤형 손실 함수입니다.
3. 통합 압축 파이프라인: 구조적 프루닝, INT8 양자화, 지식 증류를 체계적으로 통합하여, 이러한 기법들이 정확도 저하를 최소화하면서 FPN 기반 세그멘터에 공동으로 적용될 수 있음을 입증했습니다.
4. 포괄적 임베디드 평가: 두 가지 서로 다른 임베디드 플랫폼(NVIDIA GPU 및 Qualcomm NPU)에서 Cityscapes 및 BDD100K 데이터셋을 대상으로 한 광범위한 벤치마킹을 통해 실제 배포 성능을 평가했습니다.

결과

Cityscapes 및 BDD100K 데이터셋에서 평가된 제안 모델은 정확도-지연 시간 트레이드오프 측면에서 상당한 개선을 보여줍니다.

• 성능: 최종 최적화 모델은 NVIDIA Jetson Xavier NX에서 70.4 FPS의 속도로 73.9% mIoU를 달성합니다.
• 효율성: ResNet-50 베이스라인과 비교했을 때, 모델은 7.4배의 추론 속도 향상과 4배의 모델 크기 감소(27.4 MB에서 7.1 MB로)를 제공하며, 정확도 저하는 3% 미만(76.8% vs 73.9% mIoU)입니다.
• 비교: Opt-RetinaSeg는 동일한 하드웨어에서 BiSeNetV2(72.6% mIoU, 47.3 FPS) 및 ICNet와 같은 기존 경량 방법보다 정확도와 처리량 모두에서 우수한 성능을 보입니다.
• 전력: Jetson Xavier NX에서 모델은 지속적인 워크로드에서도 열 스로틀링 없이 15W 전력 범위(11.8W로 측정됨) 내에서 작동합니다.

의의 및 주장

본 논문은 RetinaNet 유도 아키텍처가 체계적으로 재구조화되고 최적화될 때, 임베디드 자동차 인지 파이프라인에서 실시간 시맨틱 세그멘테이션을 위한 유효한 후보가 될 수 있다고 주장합니다. 본 연구는 높은 정확도의 ResNet-50 베이스라인에 근접하면서도 자동차 ECU의 엄격한 지연 시간 및 전력 예산을 충족하는 것이 가능하다는 것을 입증합니다. 저자들은 자신들의 접근 방식을 고성능 연구 모델과 생산 준비가 된 임베디드 시스템 사이의 간극을 메우는 실질적인 솔루션으로 제시하며, 현재 세대의 자동차 SoC에 밀집 픽셀 단위 예측을 배포하기 위한 방법론을 제안합니다. 향후 연구 과제로 하드웨어 인식 신경망 아키텍처 탐색(NAS), 비디오 스트림을 위한 시간적 일관성, 그리고 결합된 탐지 및 세그멘테이션 멀티태스크 헤드에 대한 탐구를 꼽았습니다.