기술 요약: LiteViLNet

문제 제기

도로 분할은 자율 주행 및 지능형 로봇 공학에 있어 궤적 계획과 장애물 회피의 기초가 되는 중요한 인식 작업입니다. RGB 이미지와 LiDAR 데이터를 결합한 멀티모달 접근법은 보완적인 질감과 기하학적 정보를 활용하여 최첨단 정확도를 달성해 왔으나, 수억 개의 파라미터를 가진 무거운 트랜스포머 기반 인코더 (예: Swin Transformer) 에 의존하는 경우가 많습니다. 이러한 모델들은 막대한 계산 비용을 초래하여 차량 및 로봇의 임베디드 플랫폼과 같은 리소스가 제한된 엣지 장치에서의 실시간 배포에 적합하지 않습니다. 반면, 기존 경량화 방법들은 정확도를 지나치게 희생하거나 복잡한 교차 모드 상호작용을 효과적으로 모델링하지 못해, 높은 성능과 실시간 추론 요구사항을 균형 있게 충족하는 효율적인 멀티모달 네트워크에 대한 공백이 존재합니다.

방법론: LiteViLNet

저자들은 파라미터를 최소화하면서 표현 능력을 극대화하도록 신중하게 설계된 파이프라인을 통해 효율적인 도로 분할을 달성하기 위해 LiteViLNet을 제안합니다. 이는 경량 비전-LiDAR 융합 네트워크입니다.

1. 입력 표현

네트워크는 RGB 이미지와 3D LiDAR 포인트 구름을 입력으로 받습니다. 효율적인 처리를 용이하게 하기 위해 LiDAR 포인트 구름은 **고도 차이 이미지 (ADI)**로 전처리됩니다. 이 과정은 3D 점을 2D 이미지 평면에 투영하고 국소 영역 내에서 가중치 높이를 계산하는 것을 포함합니다. 결과적으로 생성된 ADI 는 지면과 장애물 간의 기하학적 높이 차이를 인코딩하며, 이는 RGB 입력 인터페이스와 일치하도록 세 개의 채널로 복제됩니다.

2. 듀얼 스트림 경량 인코더

아키텍처는 특징을 별도로 추출하기 위해 듀얼 스트림 인코더를 사용합니다:

• RGB 스트림: 사전 훈련된 MobileNetV3-Large 백본을 사용하여 질감 특징을 추출하고, 다섯 가지 스케일에서 특징 피라미드를 생성합니다.
• LiDAR 스트림: 깊이 분리 합성곱 (DSConv) 으로만 구성된 커스텀 **타인 인코더 (tiny encoder)**를 사용합니다. 이 스트림은 특징 정렬을 보장하기 위해 RGB 스트림의 구조와 채널 구성을 그대로 반영하지만, 거의 무시할 수 있는 오버헤드 (약 0.12M 파라미터) 만을 도입합니다.

3. 멀티 스케일 특징 융합 모듈 (MSFM)

무거운 계산 없이 효과적인 교차 모드 상호작용이라는 과제를 해결하기 위해 저자들은 다섯 가지 특징 스케일 각각에 적용되는 MSFM 을 제안합니다. 이 모듈은 다음을 수행합니다:

• 차원 축소: 주의력 계산 비용을 줄이기 위해 채널 차원을 압축합니다.
• 모드 내 강화: RGB 특징에는 효율적인 채널 주의력 (ECA) 을, LiDAR 특징에는 좌표 주의력 (CA) 을 적용하여 각각 채널 의존성과 공간 위치를 포착합니다.
• 교차 모드 주의력 (CMA): 각 모달리티가 다른 모달리티의 정보 풍부한 영역에 주의를 기울일 수 있도록 하는 양방향 주의력 메커니즘입니다.
• 게이트 융합: 학습 가능한 게이트 메커니즘이 교차 모드 상호작용 특징과 원래 강화된 특징을 동적으로 융합하여, 네트워크가 입력 콘텐츠에 기반하여 융합 비율을 적응적으로 조정할 수 있게 합니다.

4. 대형 커널 브릿지 의미 강화

자기 주의력의 2 차 복잡성 없이 전역 컨텍스트를 포착하기 위해, 가장 깊은 특징의 융합 후 대형 커널 브릿지 모듈이 삽입됩니다. 이 모듈은 병목 구조 내에서 7×7 깊이 분리 합성곱을 사용하여 선형 복잡도로 수용 영역을 확대합니다. 이 설계는 다른 방법들에서 사용되는 무거운 트랜스포머 브릿지를 대체하여 파라미터를 획기적으로 줄입니다 (표준 트랜스포머의 약 24M 대비 0.26M) 하면서도 의미 표현 능력을 유지합니다.

5. 디코더 및 심층 감독

스킵 연결을 갖춘 U-Net 스타일의 디코더가 공간 해상도를 복원합니다. 네트워크는 심층 감독을 사용하여 중간 디코더 레이어에 보조 분할 헤드를 추가하여 훈련 중 추가적인 기울기 신호를 제공합니다. 이러한 헤드는 추론 시 제거되므로 런타임 오버헤드가 발생하지 않습니다. 손실 함수는 분할 품질을 최적화하고 클래스 불균형을 처리하기 위해 이진 교차 엔트로피, Lovász-Hinge 손실, Focal 손실을 결합합니다.

주요 기여

1. LiteViLNet 아키텍처: 효율적인 도로 분할을 위해 특별히 설계된 경량 멀티모달 네트워크로, 엣지 배포를 위한 정확도와 추론 효율성 간의 우수한 균형을 달성합니다.
2. 시너지 모듈 설계: 듀얼 스트림 인코더, 효과적인 교차 모드 상호작용을 위한 멀티 스케일 특징 융합 모듈 (MSFM), 그리고 의미 강화를 위한 대형 커널 브릿지를 포함한 일련의 효율적인 모듈들을 제안하며, 모두 최소한의 계산 및 파라미터 오버헤드로 작동합니다.
3. ADI 생성 방식: LiDAR 대신 RGB-D 카메라 깊이 데이터를 활용할 수 있도록 하는 호환 가능한 ADI 생성 파이프라인으로, 배포 비용을 절감하고 실용적 적용성을 향상시킵니다.
4. 종합적 검증: KITTI Road 데이터셋에 대한 광범위한 실험과 쿠아푸 배송 차량, Unitree-B2, Unitree-G1 등 다양한 로봇 플랫폼에서의 실제 배포를 통해 모델의 견고성과 효율성을 입증했습니다.

실험 결과

저자들은 KITTI Road 데이터셋에서 LiteViLNet 을 평가하고 최첨단 방법들과 비교했습니다:

• 정확도: LiteViLNet 은 96.36% MaxF 점수를 달성했습니다. 이는 모든 CNN 기반 방법 중 최상위 순위이며, 파라미터 수가 훨씬 많은 더 큰 트랜스포머 기반 모델 (예: SNE-RoadSegV2, RoadFormer) 과도 비교 가능한 수준입니다.
• 효율성: 이 모델은 14.04M 파라미터만을 포함합니다.
  • RTX 4060 Ti에서 모델 전용 추론 시 163.79 FPS를 달성합니다.
  • 임베디드 엣지 장치인 NVIDIA Jetson Orin NX에서 모델 전용 추론 시 22.18 FPS를 달성하며, TensorRT FP16 배포 시 68.73 FPS로 증가합니다.
• 비교: 이 모델은 높은 경쟁력을 유지하면서 추론 속도에서 수많은 무거운 방법들을 능가합니다 (예: RTX 4060 Ti 에서 USNet 보다 1.57 배 빠르고 PLARD 보다 9.5 배 이상 빠름).
• 실제 배포: 시스템은 Orbbec Gemini 336L RGB-D 카메라를 사용하여 세 가지 로봇 플랫폼에 성공적으로 배포되었습니다. 로봇들은 15 FPS 에서 안정적인 차선 중앙 주행 항해를 보여주어, 실제 조명, 지형, 가려짐 조건을 처리할 수 있는 시스템의 능력을 확인시켰습니다.

의의

본 논문은 LiteViLNet 이 자율 시스템에서 고정밀 인식과 실시간 계산 제약 사이의 근본적인 충돌을 해결한다고 주장합니다. 경량 아키텍처가 무거운 트랜스포머 기반 모델의 성능과 경쟁할 수 있으면서도 임베디드 하드웨어에서 효율적으로 실행될 수 있음을 입증함으로써, 이 작업은 자율 주행 및 지능형 로봇 공학의 실시간 배포를 위한 이러한 네트워크의 잠재력을 검증합니다. 기하학적 LiDAR(또는 깊이) 데이터와 RGB 질감을 저파라미터 프레임워크에 성공적으로 통합한 것은 정밀도와 낮은 지연 시간이 모두 최우선인 안전 필수 응용 분야에 대한 실용적인 해결책을 제공합니다.