기술 요약: InterFuserDVS

문제 제기

자율주행 시스템은 기존 센서 구성의 본질적 한계로 인해 고동적 범위 (HDR) 장면과 고속 시나리오에서 상당한 도전에 직면해 있습니다. 표준 RGB 카메라는 모션 블러와 제한된 동적 범위로 인해 고생하며, 어두운 터널에서 밝은 햇빛으로 나오는 조건과 같은 상황에서는 종종 실패합니다. LiDAR 는 정확한 깊이를 제공하지만 희소하며, 악천후 (비, 안개) 에서 성능이 저하됩니다. 또한, 기존 엔드 투 엔드 학습 접근법은 종종 "인과적 혼란 (causal confusion)"에 시달리며, 밀집된 교통 환경에서 안전에 중요한 기동을 수행하는 데 필요한 기하학적 견고성이 부족합니다. 열악한 조명 및 동적 조건 하에서 견고한 지각과 안전한 의사결정을 보장하기 위해 상호 보완적인 모달리티를 활용할 수 있는 센서 융합 아키텍처에 대한 시급한 필요성이 있습니다.

방법론

본 논문은 RGB 카메라와 LiDAR 와 함께 주된 모달리티로 동적 비전 센서 (DVS), 즉 이벤트 카메라를 통합하는 최첨단 InterFuser 모델의 확장 아키텍처인 InterFuserDVS를 제안합니다.

1. 아키텍처 개요

이 시스템은 세 가지 서로 다른 센서 유형에서 토큰화된 특징을 융합하기 위한 글로벌 트랜스포머 기반 백본을 사용합니다.

• RGB 카메라: 800×600 해상도로 크롭된 다중 뷰 입력 (전면, 좌측, 우측).
• LiDAR: 2-빈 (2-bin) 버드스 아이 뷰 (BEV) 의사 이미지 (224×224) 로 볼리자화된 포인트 클라우드.
• DVS (이벤트 카메라): 원시 비동기 이벤트 $(x, y, t, p)$는 고정 시간 창에 누적되어 "이벤트 프레임"을 생성합니다. 이러한 단일 채널 프레임은 정규화된 이벤트 수 또는 극성 합을 나타내며, 마이크로초 해상도로 운동 역학과 에지를 포착합니다.

2. 특징 추출 및 융합

• 백본: RGB 및 DVS 입력은 ResNet 변형 (예: ResNet-18/50) 으로 처리되며, LiDAR 는 BEV 에 적응된 PointNet++ 를 사용합니다.
• 교차 모달 전이: 핵심 설계 선택은 사전 훈련된 RGB 백본을 사용하여 DVS 인코더 가중치를 초기화하는 것입니다. 이는 강도 에지 (RGB) 와 시간적 에지 (DVS) 간의 공간적 상관관계를 활용하여 빠른 수렴을 촉진하고 초기 훈련을 안정화합니다.
• 토큰 기반 융합: 특징은 평탄화되어 $D$차원 토큰으로 투영됩니다. 공간적 맥락을 보존하기 위해 학습 가능한 2D 위치 임베딩이 추가됩니다. 모든 토큰은 단일 시퀀스로 연결되어 8 개의 어텐션 헤드를 가진 6 층 트랜스포머 인코더에 의해 처리됩니다. 이를 통해 모델은 환경적 맥락에 기반하여 센서 중요도를 동적으로 가중치하는 글로벌 추론을 수행할 수 있습니다 (예: 운동에는 DVS 를, 깊이에는 LiDAR 를 사용).

3. 출력 및 계획

트랜스포머 디코더는 다음을 예측합니다.

• 웨이포인트: 궤적 계획을 위한 2D 좌표 시퀀스.
• 신호등 상태: 신호등 상태 분류 (빨간색, 초록색, 노란색).
• 객체 밀도 맵: 객체 존재, 오프셋, 크기, heading, 속도를 예측하는 7 채널 BEV 그리드.

4. 하이브리드 안전 컨트롤러

안전성을 보장하기 위해 시스템은 필요시 엔드 투 엔드 모델의 PID 명령을 오버라이드하는 규칙 기반 안전 컨트롤러를 통합합니다.

• 신호등 준수: 상태 머신이 적색/황색 신호등 감지를 처리합니다. "강제 교차 (Forced Crossover)" 메커니즘은 차량이 50 초 이상 갇혀 있을 경우 데드락을 방지합니다.
• 충돌 회피: 컨트롤러는 예측된 객체 밀도 맵을 사용하여 로컬 점유 그리드를 렌더링합니다. 계획된 궤적을 $t=0.5s$에서 $2.0s$까지의 여러 미래 시간 단계에서 이 그리드와 비교합니다. 안전 거리가 속도에 의존하는 임계값 미만으로 떨어지면 시스템은 비상 제동을 트리거합니다.
• 제어 실행: 최종 조향, 스로틀, 브레이크 명령은 횡방향 및 종방향 PID 컨트롤러를 통해 생성되며, 목표 속도는 경로 곡률과 장애물 근접도에 따라 동적으로 조정됩니다.

주요 기여

1. 이벤트 강화 아키텍처: 데이터 부족과 훈련 불안정을 극복하기 위해 RGB 에서 DVS 로의 전이 학습 전략을 활용하는 전용 DVS 처리 백본을 InterFuser 프레임워크에 통합.
2. 토큰 기반 융합 전략: RGB/LiDAR 의 공간 특징과 DVS 의 고주파 시간적 특징을 융합하여 동적 센서 가중치를 가능하게 하는 통합 트랜스포머 인코더.
3. 하이브리드 안전 정책: 엔드 투 엔드 궤적 예측과 휴리스틱 검증 (신호등 상태 머신 및 점유 맵을 사용한 모델 기반 충돌 확인) 을 결합한 견고한 컨트롤러.
4. 최첨단 성능: 까다로운 도시 환경에서 완벽한 경로 완수를 달성하여 CARLA 리더보드에서 탁월한 신뢰성을 입증.

실험 결과

이 방법은 복잡한 항해, 차선 변경, 밀집된 교통을 포함하는 벤치마크인 **CARLA 리더보드 (Town05 Long Routes)**에서 평가되었습니다.

• 주행 점수 (Driving Score, DS): 77.20을 달성하여 최첨단 방법들 사이에서 경쟁력 있는 점수를 기록했습니다.
• 경로 완료 (Route Completion, RC): **100%**를 달성하여 에이전트가 결코 갇히거나 길을 잃거나 시간이 초과되지 않았음을 나타냅니다. 이는 완료 신뢰성 측면에서 여러 현대적 방법들 (예: InterFuser 88.23%, ReasonNet 89.89%) 보다 우수합니다.
• 안전 지표:
  • 충돌률: 보행자 충돌률이 극히 낮음 (0.008/km) 이며 차량 충돌률 (0.036/km) 도 경쟁력 있음.
  • 위반: 경로 완수를 보장하기 위한 "강제 교차" 논리로 인한 0.01/km 의 적색 신호 위반률.
• 정성적 분석: 사례 연구는 DVS 가 다음에서 성능을 크게 향상시킴을 입증했습니다.
  • 보호되지 않은 좌회전: 높은 이벤트 밀도를 통해 반대편 교통의 급격한 횡방향 운동을 감지.
  • 추월: 다가오는 차량의 부재를 감지하여 반대 차선의 "통과 공간 (clearance)"을 확인.
  • 비상 제동: RGB 전용 베이스라인보다 정적 시각 특징이 해결되기 전에 사지 운동 대비를 감지하여 정차한 트럭 뒤와 같은 가려짐에서 나타나는 보행자에게 더 빠르게 반응.

중요성 및 주장

본 논문은 InterFuserDVS 가 차세대 자율주행 차량을 위한 틈새 센서가 아닌 **생각할 수 있는 모달리티 (vital modality)**로서 이벤트 기반 비전을 검증한다고 주장합니다. DVS 의 통합은 두 가지 중요한 이점을 제공합니다:

1. 고동적 범위: RGB 카메라가 실패하는 가혹한 그림자나 햇빛 반사 상황에서 견고성을 보장.
2. 시간적 해상도: 빠르게 움직이는 객체를 명시적으로 포착하여 동적 기동 중 운동 계획에 이벤트 데이터에 의존할 수 있도록 함.

저자들은 현재 구현은 이벤트를 프레임으로 변환하지만, 미래는 마이크로초 수준의 운동 정보와 뉴로모픽 하드웨어의 에너지 효율성을 완전히 활용하기 위한 **비동기 이벤트 융합 (Asynchronous Event Fusion)**에 있으며, 이는 스파이킹 신경망 (SNN) 과 비동기 융합 트랜스포머 (AFT) 를 통해 이루어질 것이라고 결론지었습니다. 현재 작업은 이벤트 스트림을 고정밀 시간 입력으로 처리하는 것이 엔드 투 엔드 자율주행 정책의 안전성과 신뢰성을 크게 향상시킨다는 것을 보여주는 기초적인 단계로 작용합니다.