기술 요약: Transformer를 이용한 객체 리스트 기반 교차 레벨 센서 퓨전 3D 객체 탐지

문제 정의

자율 주행에서 센서 퓨전은 견고한 인식을 위해 매우 중요합니다. 전통적인 퓨전 아키텍처는 저수준(raw data), 중간 수준(features), 고수준(object lists/decisions)으로 분류됩니다. 저수준 퓨전은 이론적으로 최적의 상태 추정을 제공하지만, 실제적인 제약으로 인해 사용이 제한되는 경우가 많습니다. 특히 V2X(Vehicle-to-Everything) 모듈과 스마트 센서(예: MobileEye, Continental 레이더)는 대역폭 제한 및 내부 처리 제약으로 인해 원시 데이터 대신 가공된 객체 리스트만을 출력하는 경우가 빈번합니다.

결과적으로, 퓨전은 분산된 객체 탐지기가 중앙 퓨저(fuser)로 상태 추정치를 보내는 고수준 단계로 제한되는 경일이 많습니다. 이 방식은 데이터 연관(data association) 오류와 세밀한 정보의 손실을 초과합니다. 반면, 기존의 데이터 레벨 퓨전 방법들은 조밀한 데이터(예: 포인트 클라우드)를 위해 설계되었기 때문에, 희소하고 구조화된 형태인 객체 리스트에는 직접 적용하기 어렵습니다. 따라서 매우 추상적인 객체 리스트 정보와 원시 센서 데이터(특히 카메라 이미지)를 특징 레벨에서 융합하는 엔드 투 엔드 학습 방법에 대한 연구가 부족한 실정입니다.

방법론

저자들은 PETRv2 3D 객체 탐지 모델을 확장하여, 객체 리스트를 원시 카메라 이미지와 통합하는 엔드 투 엔드 교차 레벨 퓨전(cross-level fusion) 프레임워크를 제안합니다. 핵심 혁신은 객체 리스트를 최종 결정이 아닌, 특징 추출 및 탐지 과정을 가이드하는 사전 정보(prior)로 취급한다는 점에 있습니다.

이 방법론은 세 가지 주요 구성 요소로 이루어집니다:

1. 객체 중심 쿼리 디노이징 (QDN):

   • DN-DETR에서 영감을 얻은 이 시스템은 객체 리스트를 추정 오류, 허위 양성(false positives), 허위 음성(false negatives)을 포함하는 "노이즈가 섞인" 정답(ground truth)으로 취급합니다.
   • 이러한 객체 리스트는 디노이징(DN) 쿼리로 변환되어 학습 가능한 탐지 쿼리와 결합됩니다.
   • 디노이징 쿼리를 추론 시 버리는 표준 DN-DETR과 달리, 본 프레임워크는 탐지 쿼리가 디노이징 쿼리와 셀프 어텐션(self-attention)을 통해 상호작용할 수 있도록 허용합니다. 이를 통해 모델은 노이즈가 있는 리스트 입력으로부터 깨끗한 객체 상태를 재구성하는 동시에, 크로스 어텐션(cross-attention) 과정에서 원시 이미지 특징으로 쿼리를 풍부하게 함으로써 견고한 특징 표현을 학습할 수 있습니다.
   • DN 쿼리와 학습 가능한 쿼리 사이의 어텐션 마스크를 제거하여, 엄격한 분리를 유지하는 DN-DETR과 달리 정보 흐름을 용이하게 합니다.

2. 데포머블 가우시안 마스크를 통한 명시적 어텐션 유도:

   • Transformer 디코더를 명시적으로 가이드하기 위해, 저자들은 객체 리스트의 위치 및 크기 사전 정보를 활용하여 도출된 **데포러블 가우시안 마스크(deformable Gaussian mask)**를 도입합니다.
   • 객체 리스트의 좌표는 카메라 파라미터를 사용하여 2D 이미지 평면에 투영되며, 이를 통해 다중 타겟 공유 가우시안 마스크($M$)를 생성합니다.
   • 이 마스크는 Transformer 디코더의 크로스 어텐션 메커니즘에 통합됩니다. 어텐션 점수는 표준 어텐션 계산에 가우시안 마스크의 로그 값($\log G$)을 더함으로써 재가중치 됩니다:
     $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}} + \frac{\log G}{\sqrt{d_k}}\right)V$$
   • 이 메커니즘은 모델의 주의력을 객체 리스트에 의해 정의된 특정 타겟 영역으로 유도하여, 수렴을 가속화하고 로컬라이제이션(localization)을 개선합니다.

3. 의사 객체 리스트 생성 (POLG):

   • 독립적인 모달리티로서 객체 리스트를 포함하는 공개 데이터셋이 없기 때문에, 저자들은 POLG 모듈을 개발했습니다.
   • 이 모듈은 위치/크기에 대한 가우시안 노이즈, 객체 탈락(허위 음성), 허위 양성, 레이블 오분류를 포함한 현실적인 탐지기 동작을 시뮬레이션하여 정답 바운딩 박스로부터 의사 객체 리스트를 생성합니다.
   • 노이즈 수준은 다양한 성능 역량을 가진 탐지기를 시뮬레이션할 수 있도록 설정 가능합니다.

주요 기여

본 논문은 다음과 같은 주요 기여를 주장합니다:

1. 최초의 교차 레벨 퓨전 프레임워크: 전통적인 고수준 퓨전을 넘어, 객체 리스트와 원시 센서 데이터를 융합하는 엔드 투 엔드 Transformer 기반 3D 객체 탐지 프레임워크를 도입한 첫 번째 연구입니다.
2. 플러그 앤 플레이 통합: 쿼리 기반 아키텍처를 가정할 때, 추가적인 파라미터나 상당한 계산 오버헤드 없이 쿼리 디노이징과 명시적 어텐션 유도(SMCA)를 활용하여 모달리티를 융합합니다.
3. 의사 객체 리스트 생성 (POLG): 정답으로부터 다양한 노이즈가 섞인 객체 리스트를 생성하는 방법을 개발하여, nuScenes와 같은 표준 데이터셋에서 교차 레벨 퓨전의 학습 및 검증을 가능하게 했습니다.

실험 결과

본 접근 방식은 PETRv2 베이스라인을 사용하여 nuScenes 데이터셋에서 평가되었습니다.

• 성능 향상: 제안된 모델은 비전 전용 베이스라인을 크게 앞질렀습니다. 검증 세트에서 베이스라인의 NDS 0.4038, mAP 0.4136 대비, 제안 모델은 NDS 0.5685 및 mAP 0.5499를 달이트했습니다.
• 어블레이션 연구 (Ablation Studies):
  • QDN만 추가했을 때 베이스라인 대비 NDS는 8.01%, mAP는 2.30% 향상되었습니다.
  • QDN 위에 SMCA(명시적 어텐션)를 추가했을 때 NDS는 5.94%, mAP는 4.30% 추가로 향상되었습니다.
  • 두 모듈의 결합은 시너지 효과를 입증했습니다.
• 모달리티 손실에 대한 강건성: 추론 중 객체 리스트가 제거되었을 때(외부 센서의 실패를 시뮬레이션), 모델의 성능이 크게 하락했습니다(mAP 약 25% 감소). 이는 현재의 학습 체계에서 제공된 사전 정보에 대한 높은 의존도를 나타냅니다. 그러나 SMCA 구성 요소가 이러한 성능 저하를 약간 완화하는 역할을 했습니다.
• 일반화: 모델은 합성된 리스트의 다양한 노이즈 수준에 대해 강건함을 보였으며, 실제 탐지기(CenterPoint 및 PointPillars)의 객체 리스트를 사용했을 때도 대등한 성능을 보여 POLG 노이즈 파라미터의 충실도를 입증했습니다.

의의 및 주장

본 논문은 고수준 퓨전과 저수준 퓨전 사이의 간극을 메우는 새로운 단계로 본 연구를 포지셔닝합니다. 객체 리스트를 최종 결정이 아닌 정보가 풍부한 사전 정보로 취급함으로써, 본 프레임워크는 추상적인 정보와 원시 데이터의 "조기 통합(early integration)"을 가능하게 합니다.

저자들은 이 접근 방식이 다음과 같은 효과를 가진다고 주장합니다:

• 고수준 정보의 컨텍스트와 원시 데이터의 세밀한 디테일을 결합하여 시너지 효과를 창출합니다.
• 상태 추정 오류를 줄이고, 특히 보조 센서의 원시 데이터를 사용할 수 없는 시나리오에서 탐지 정확도를 높입니다.
• 기존 DETR 계열의 탐지기에 통합할 수 있는 모듈형 솔루션을 제공합니다.

저자들은 한계점도 인정했는데, 현재 디노이징 쿼리가 위치와 크기에 집중되어 있어 속도 추정 정확도(mAVE)에서 약간의 트레이드오프가 발생했음을 언급했습니다. 이들은 향후 연구에서 속도 인지 디노이징과 누락된 객체 리스트에 더 강건하게 대응할 수 있는 적응형 퓨전 전략을 포함해야 한다고 제안합니다. 결론적으로, 본 방법론은 상당한 가능성을 보여주지만, 자율 주행에서의 실제 적용 가능성을 완전히 평가하기 위해서는 전통적인 고수준 퓨전 방법들과의 추가적인 비교가 필요하다고 밝히고 있습니다.