VALISENS: A Validated Innovative Multi-Sensor System for Cooperative Automated Driving

기술 요약: VALISENS – 협력형 자율 주행을 위한 검증된 혁신적 멀티 센서 시스템

문제 정의
복잡한 실제 환경에서 운행되는 커넥티드 자율주행차량(CAV)에 있어 신뢰할 수 있는 인지는 여전히 결정적인 병목 구간으로 남아 있습니다. 기존의 멀티 센서 솔루션은 로컬 수준의 견고성을 향상시키지만, 제한된 감지 범위, 다른 객체로 인한 시선 차단(occlusion), 개별 센서 결함 가능성이라는 근본적인 제약을 가집니다. 또한, 악천후와 다양한 조명 조건은 광학 센서의 성능을 크게 저하시킬 수 있습니다. 본 논문은 차량 내부의 인지 능력을 차량 대 사물 간 통신(V2X)을 통한 CAV와 지능형 인프라 간의 협업으로 확장하여, 특히 교통 약자(VRU)를 위해 폐쇄(occlusion) 문제를 완화하고 상황 인지 능력을 개선하는 것을 목표로 하는 동적이고 분산된 센서 네트워크 구축의 필요성을 다룹니다.

방법론 및 시스템 아키텍처
저자들은 온보드 센서와 도로변 센서를 단일 멀티 에이전트 프레임워크 내에서 통합하는 검증된 협력 인지 시스템인 VALISENS를 제안합니다. 시스템 아키텍처는 모듈식으로 설계되어, 데이터를 두 가지 뚜렷한 단계에서 융합하기 전에 센서 모달리티별로 인지를 분리합니다:

1. 하드웨어 배치:

   • 인프라: 두 개의 테스트베드가 활용되었습니다. 드레스덴(Dresden)에 위치한 기본 사이트는 6개의 카메라(열화상 및 RGB 포함), 64레이어 LiDAR, 4x4 MIMO 레이더를 갖추고 있습니다. 잉골슈타트(Ingolstadt)의 보조 사이트는 22개의 센서 마스트를 포함합니다. 또한 RGB, 열화상 및 LiDAR 센서를 장착한 이동형 "Rover" 플랫폼도 사용되었습니다.
   • 차량: 두 대의 테스트 차량이 사용되었습니다. 차량 1은 듀얼 카메라 설정(Seek 적외선 및 Basler RGB), 두 개의 루프 장착 Velodyne VLP-16 LiDAR, 그리고 6개의 IBEO Scala LiDAR를 사용했습니다. 차량 2는 InnovizOne LiDAR와 DTC xNAV650 관성 항법 시스템을 특징으로 합니다. 두 차량 모두 V2X 통신을 위해 Cohda MK6 온보드 유닛(OBU)을 사용했습니다.
   • 센서: 시스템은 LiDAR, 레이더, RGB 카메라 및 열화상 카메라를 융합합니다. 열화상 카메라는 까다로운 조명 조건 하에서 VRU 탐지 능력을 높이는 데 특히 강조됩니다.

2. 인지 및 융합 전략:

   • 모달리티 처리: LiDAR 데이터는 3D 탐지 및 추적을 위한 AI 기반 알고리즘을 사용하여 처리됩니다. 레이더 데이터는 BEV(Bird's-Eye View)로 융합되며, 3D 좌표를 재구성하기 위해 후처리됩니다. RGB 및 열화상 데이터는 YOLO 프레임워크를 사용하여 독립적으로 처리되며, NMS(Non-Maximum Suppression)와 ByteTrack을 이용한 후기 융합(late fusion) 전략을 통해 객체 추적을 수행합니다.
   • 엔티티 내 융합(Intra-Entity Fusion): 단일 플랫폼(차량 또는 인프라) 내에서는 객체 수준의 정보를 집계하는 후기 융합 방식이 적용됩니다. 트랙 투 트랙(track-to-track) 융합 알고리즘은 데이터를 공간적, 시간적으로 정렬하고(등속 모델 사용), 유클리드 거리와 IoU(Intersection-over-Union)를 사용하여 모달리티 간 탐지 결과의 연관성을 부여하며, 적응형 칼만 필터를 사용하여 융합합니다.
   • 엔티티 간 융합(Inter-Entity Fusion): 협업을 구현하기 위해 시스템은 ETSI에서 정의한 집합 인지 메시지(CPM) 표준을 활용합니다. 인지 결과는 V2X를 통해 브로드캐스트됩니다. 수신 엔티티는 데이터를 로컬 좌표계로 변환하고 정렬한 뒤, 동일한 트랙 투 트랙 파이프라인을 사용하여 로컬 관측값과 융합합니다.

3. 센서 상태 모니터링:

   • 전용 모듈이 시스템 저하가 발생하기 전 이상 징후를 감지하기 위해 센서의 건강 상태를 평가합니다. 시스템은 악천후, 렌즈 폐쇄(먼지, 얼음, 안개), 내부 이미저 결함을 포함한 영구적 및 비영구적 결함을 감지하는 데 집중합니다.
   • 신뢰성 테스트 기록과 공공 데이터셋을 결합한 원시 카메라 이미지를 학습한 분류기가 결함 클래스를 예측합니다. ConvNeXt 아키텍처가 최적의 모델로 선택되었으며, 이상 탐지에서 높은 정확도를 달-성했습니다.

주요 기여
본 논문은 세 가지 주요 기여를 설명합니다:

1. 실제 환경 배치: 두 대의 CAV와 두 대의 인프라 유닛이 참여하는 실제 테스트베드에서의 협력 인지 시스템 설계, 구현 및 배치를 수행했습니다.
2. 포괄적 평가: 공공 데이터셋(R-LiViT, V2X-Seq)과 실제 실험을 모두 사용하여 정량적 및 정성적 평가를 수행하였으며, 열화상 카메라와 도로변 센서 도입의 구체적인 이점을 입증했습니다.
3. 모니터링 및 통신 검증: 실환경에서 통합 센서 모니터링 모듈과 V2X 통신 스택을 검증하여, 조기 이상 탐지 및 신뢰할 수 있는 데이터 교환의 타당성을 확인했습니다.

실험 결과

• 인지 성능:
  • 공공 데이터셋: R-LiViT 데이터셋에서 RGB-열화상 융합은 야간 보행자 AP50을 49.85%에서 53.26%로 향상시켰습니다. V2X-Seq-SPD 데이터셋에서 엔티티 간 융합은 차량 단독 인지 대비 보행자 AP50을 약 30% 증가시켰습니다(30.86 도달).
  • 실제 실험: 전용 테스트베드에서 엔티티 간 융합은 평균 재현율(recall) 97.60%와 함께 65.75의 보행자 AP50을 달성했습니다. 시스템은 차량 단독 인지 대비 보행자 상황 인지 능력을 최대 18% 향상시켰습니다.
• 센서 모니터링: 센서 모니터링 모듈은 이상 징후 감지에서 97% 이상의 정확도를 달성했으며, ConvNeXt 모델은 0.981의 F1-macro 점수를 보여주었습니다.
• 통신: V2X 통신 테스트 결과, 가시선(line-of-sight) 조건에서 최대 1km 이상의 범위를 나타냈습니다. 편도 지연 시간은 최대 5.0ms로 측정되었습니다. CPM을 위한 데이터 전송률은 효율적이었으며, 10Hz 업데이트 빈도에서도 최대 33kB/s를 유지했습니다.

의의 및 주장
본 논문은 VALIS-ENS가 V2X 기반 협업을 통해 단일 차량을 넘어 멀티 센서 융합을 확장하는 것의 효과를 입증한다고 주장합니다. 열화상 카메라와 도로변 센서를 통합함으로써, 시스템은 폐쇄 문제를 크게 줄이고 유효 인지 범위를 확장하여 교통 약자(VRU)의 안전에 직접적으로 기여합니다. 통합 센서 모니터링 모듈의 성공적인 검증은 센서 저하나 환경적 도전 과제에 직면했을 때 자가 진단 및 신뢰성을 유지할 수 있는 더 탄력적인 협력 지능형 교통 체계(C-ITS)를 향한 경로를 제시합니다. 저자들은 이 연구가 주변 환경에 대한 포괄적이고 지속적으로 업데이트되는 이해를 제공하는 동적이고 분산된 센서 네트워크를 구축함으로써, 미래의 C-ITS 애플리케이션을 지원하는 단계로서의 역할을 한다고 강조합니다.