기술 요약: BeyondSight: 엔드 투 엔드 자율주행을 위한 객체 영속성(Object Permanence)

1. 문제 정의

자율주행 시스템은 인프라나 다른 차량에 의해 행위자(차량, 보행자)가 빈번하게 완전히 가려지는 부분 관측 가능한 환경에서 작동합니다. nuScenes 데이터셋 분석 결과, 현재 시점에서 약 30%의 행위자들이 완전하게 관측 불가능한 상태이며, 여기에는 자율주행 차량(ego vehicle)과 근접한 행위자들도 포함됩니다.

현재의 엔드 투 엔드 자율주행(E2E-AD) 시스템은 일반적으로 행위자의 존재를 즉각적인 관측치와 결합합니다. 행위자가 완전히 관측 불가능해지면, 모델 내의 해당 행위자 표현은 저하되거나 완전히 사라집니다. 이러한 "보이지 않는" 에이전트를 장면 표현에서 제거하는 방식은 다운스트림 예측 및 계획 모듈이 현재 보이는 에이전트만을 대상으로 추론하게 만듭니다. 결과적으로, 이러한 시스템은 폐쇄(occlusion)가 심한 시나리오(예: 교차로)에서 반응적(reactive)이거나 취약한 동작을 보이며, 일시적으로 숨겨져 있지만 여전히 존재하는 행위자에 대해 안전한 궤적을 유지하는 데 실패합니다. 나아가, 표준 인지 벤치마크는 관측 가능성을 곧 존재와 동일시하여, 관측 불가능한 행위자를 감독(supervision)과 평가 모두에서 필터링함으로써 모델이 관측 가능성 간극(observability gaps) 동안 지속적인 표현을 학습하는 것을 방지합니다.

2. 방법론: BeyondSight

저자들은 행위자의 존재를 즉각적인 관측 가능성과 명시적으로 분리하는 영속성 인지형(permanence-aware) E2E-AD 프레임워크인 BeyondSight를 제안합니다. 이 시스템은 지속적인 행위자 가설을 시간에 따라 유지하여, 합동 인지, 예측, 계획이 행위자가 일시적으로 관측 불가능할 때도 이를 추론할 수 있도록 합니다.

핵심 아키텍처

BeyondSight는 희소 쿼리(sparse queries)를 사용하여 동적 행위자와 맵 요소를 표현하는 SparseDrive 아키텍처를 기반으로 구축되었습니다. 핵심 혁신은 베이지안 필터링에서 영감을 얻은 3단계 추론 파이프라인으로, 행위자 가설을 전파하고 업데이트하도록 설계되었습니다:

1. 시계열 사전 디코더 (Temporal Prior Decoder): 이 모듈은 이전 프레임의 행위자 쿼리($q_{t-1}$)를 현재 타임스텝($t$)으로 전파하여 모션 조건부 가설 집합($q_t^{\text{prior}}$)을 생성합니다. 결정적으로, 이 단계는 현재 이미지 특징에 접근하지 않고 오직 쿼리 임베딩만을 사용하여 셀프 어텐션과 경량 MLP를 통해 작동합니다. 이를 통해 모델은 시각적 증거가 없는 상황에서도 행위자에 대한 가설을 유지할 수 있습니다.
2. 관측 디코더 (Observation Decoder): 이 단계는 시계열 사전(temporal prior)을 새로 초기화된 객체 쿼리 및 현재 BEV 특징($F_t$)과 결합하여 관측 조건부 가설($q_t^{\text{obs}}$)을 생성합니다. 이 구성 요소는 관측 가능한 지면 진실(ground-truth) 행위자만을 사용하여 감독됩니다.
3. 사후 융합 디코더 (Posterior Fusion Decoder): 이 모듈은 전파된 사전(prior)과 관측 조건부 가설을 조정합니다. 각 행위자에 대해 더 높은 분류 신뢰도를 가진 제안(proposal)을 선택하고 이를 정교화하여 최종 장면 표현($q_t^{\text{post}}$)을 생성합니다. 이 융합된 표현은 관측 가능한 행위자와 관측 불가능한 행위자를 모두 포함하며, 다운스트림 계획을 위한 풍부한 컨텍스트를 제공합니다.

최적화 및 감독

학습은 2단계 프로토콜(인지 사전 학습 후 엔드 투 엔드 합동 학습)을 따릅로 합니다. 객체 영속성을 강제하기 위해 저자들은 **영속성 인지형 감독(Permanence-Aware Supervision)**을 도입했습니다:

• 확장된 지면 진실 (Extended Ground Truth): 탐지 및 모션 손실은 현재 관측 불가능한 행위자를 포함한 전체 행위자 집합($G_{\text{all}} = G_{\text{obs}} \cup G_{\text{unobs}}$)에 대해 계산됩니다.
• 관측 가능성 분류 (Observability Classification): 사후 디코더는 각 쿼리에 대해 관측 가능 상태($\hat{o}_t^i$)를 예측하며, 이는 이진 교차 엔트로피를 통해 감독됩니다. 이는 모델이 가려진 행위자와 부재하는 행위자를 명시적으로 구분하도록 가르칩니다.
• 손실 함수: 전체 목적 함수는 표준 탐지, 맵, 모션, 계획 손실을 포함하며, 관측 불가능한 행위자를 감독하는 수정된 탐지 손실($\mathcal{L}_{\text{det}}'$)과 관측 가능성 분류 손실($\mathcal{L}_{\text{obs}}$)으로 증강됩니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 소개합니다:

1. 객체 영속성의 공식화: 저자들은 객체 영속성을 E2E-AD를 위한 표현 수준의 제약 조건으로 정의하며, 이는 이전에 관측된 행위자가 일시적으로 관측 불가능할 때도 모델의 가설 집합에 계속 남아 있어야 함을 의미합니다.
2. nuScenes-Permanence 벤치마크: 관측 불가능한 행위자에 대한 감독 및 평가 프로토콜을 제공하는 nuScences 데이터셋의 확장판입니다. 이는 센서 지원이 없는 구간에 대해 물리적으로 근거 있는 모션 프라이어를 사용하여 누락된 궤적 상태를 재구성함으로써, 주석 세트를 약 30% 확장합니다.
3. BeyondSight 프레임워크: 시계열 전파와 관측 가능성 인지 융합을 통해 지속적인 가설을 유지하고, 장기적인 폐쇄 상황에서도 추론을 가능하게 하는 희소 쿼리 기반 E2E-AD 아키텍처의 영속성 인지형 확장 모델입니다.

4. 실험 결과

실험은 nuScenes 검증 세트와 제안된 nuScenes-Permanence 벤치마크에서 수행되었습니다.

표준 성능

표준 nuScenes 메트릭에서 BeyondSight는 경쟁력 있는 성능을 유지하면서 다운스트림 계획을 개선했습니다:

• 계획 (Planning): 오픈 루프 계획 오차($L2_{\text{avg}}$)가 0.61 (SparseDrive)에서 0.54로 개선되었고, 충돌율은 0.08%에서 0.07%로 감소했습니다.
• 인지 (Perception): 탐지 성능(mAP)은 0.415에서 0.427로, 트래킹 성능(AMOTA)은 0.372에서 0.401로 향상되었습니다.
• 오탐 (False Positives): 모델은 공식 평가 프로토콜 하에서 추가적인 오탐을 발생시키지 않았으며, 이는 지속적인 가설을 유지하는 것이 표준 벤치마크 성능을 저하시키지 않음을 입증합니다.

객체 영속성 성능 (nuScenes-Permanence)

제안된 관측 가능성 조건부 메트릭은 가려진 행위자에 대한 추론에서 상당한 이득을 보여줍니다:

• 관측 불가능 탐지 (Unobservable Detection): 모델은 mAP$_{\text{unobs}}$ 0.249를 달성하였으며, 이는 관측 불가능한 행위자를 탈락시키는 베이스라인인 SparseDrive의 점수인 0에 비해 극적인 향상입니다.
• 전체적 이해 (Holistic Understanding): 통합 메트릭인 mAP$_{\text{all}}$은 0.389에서 0.413으로 향상되었습니다.
• 폐쇄 하의 계획 (Planning under Occlusion): 숨겨진 행위자의 미래 궤적이 자율주행 차량에 접근하는 고폐쇄(high-occlusion) 서브셋에서, BeyondSight는 계획 오차를 0.64에서 0.56으로, 충돌율을 0.163에서 0.08로 줄였습니다.

절제 연구 (Ablation Studies)

절제 실험을 통해 다음을 확인했습니다:

• (영속성 인지형 감독 없이) 시계열 전파만으로는 완전히 관측 불가능한 행위자를 탐지할 수 없습니다 (mAP$_{\text{unobs}}$가 0으로 유지됨).
• 시계열 전파, 사후 융합, 그리고 관측 불가능한 행위자에 대한 감독의 조합이 보고된 이득을 달성하는 데 필수적입니다.
• 사후 융합 디코더는 전파된 가설과 현재 관측치를 조정하는 데 결정적인 역할을 합니다.

5. 의의 및 한계

본 논문은 객체 영속성이 견고한 엔드 투 엔드 자율주행을 위한 중요한 모델링 원칙이라고 주장합니다. 행위자의 존재를 즉각적인 관측 가능성과 분리함으로써, BeyondSight는 시스템이 전체 동적 환경을 추론할 수 있게 하여 폐쇄가 심한 시나리오에서 더 안전한 계획을 가능하게 합니다. nuScenes-Permanence의 도입은 이러한 능력을 훈련하고 평가하기 위한 첫 번째 체계적인 프로토콜을 제공합니다.

한계점:

• 정체된 가설 (Stale Hypotheses): 학습된 시계열 프라이어로부터 크게 벗어나는 경우, 매우 긴 폐쇄 기간 동안 지속적인 가설이 부정확해질(stale) 수 있으며, 이는 위치 드리프트(localization drift)를 초래할 수 있습니다.
• 모션 가정 (Motion Assumptions): nuScenes-Permanence 주석은 대략적인 연속 운동을 가정합니다. 이 벤치마크는 주변 관측으로부터 신뢰성 있게 추론할 수 없는 급격한 기동(예: 갑작스러운 정지, 급회전 또는 의도 변화)을 포착하지 못할 수 있습니다.
• 향후 연구 방향: 저자들은 불확실성 인지 메모리(uncertainty-aware memory), 특권 레이블(privileged labels)을 활용한 시뮬레이션 기반 주석, 그리고 직접적인 폐쇄 평가를 위한 다중 관측자 데이터셋에 대한 연구를 제안합니다.