기술 요약: 자율주행을 위한 입력 모니터링용 비전 파운데이션 모델 벤치마킹

문제 정의

자율주행 (AD) 과 같은 복잡한 오픈 월드 도메인에 배포된 심층 신경망 (DNN) 은 분포 변화에 대해 상당한 도전에 직면해 있습니다. 이러한 변화는 의미적 변화(훈련 중 접하지 못한 새로운 객체나 클래스를 접하는 경우) 또는 공변량 변화(조명, 날씨, 카메라 아티팩트와 같은 시각적 스타일의 변화) 로 나타납니다. 현재 분포 외 (OOD) 감지 방법은 종종 중요한 한계를 겪습니다: 내부 모델 레이어에 대한 접근이 필요할 수 있으며 (이는 독점적 AD 시스템에서는 비현실적), 특정 아키텍처에 의존하거나, 훈련 중 OOD 샘플을 통한 감독이 필요할 수 있습니다. 결과적으로 운영 안전을 보장하기 위해 예기치 않은 분포 변화를 식별할 수 있는 신뢰할 수 있고, 비지도 기반이며, 모델에 구애받지 않는 모니터링 도구의 부재가 존재합니다.

방법론

저자들은 의미적 변화와 공변량 변화의 감지를 통합하는 비지도 기반, 모델에 구애받지 않는 입력 모니터링 프레임워크를 제안합니다. 핵심 접근 방식은 두 단계로 구성됩니다:

1. 비전 파운데이션 모델 (VFMs) 을 통한 특징 추출: 제한된 데이터셋으로 훈련된 표준 DNN 이나 오토인코더를 사용하는 대신, 이 방법은 사전 훈련된 VFMs(특히 CLIP, DINO, DINOv2, Grounding DINO) 를 특징 추출기로 활용합니다. 다양하고 대규모인 데이터셋으로 훈련된 이러한 모델들은 잠재 표현 내에 풍부한 의미적 맥락과 미묘한 시각적 구분을 인코딩합니다.
2. 밀도 모델링: 시스템은 훈련 데이터의 특징 공간 분포를 모델링합니다. 새로운 입력 이미지의 경우, VFM 인코더가 특징 벡터를 추출하고, 밀도 추정 기법이 학습된 분포 내 해당 점의 가능성이나 밀도를 기반으로 "분포 내 (ID)" 점수를 계산합니다.

이 연구는 복잡도가 증가하는 네 가지 밀도 모델링 기법을 벤치마킹했습니다:

• 인스턴스 기반: 코사인 유사도를 사용하는 평균 쌍별 유사도 (APS) 및 평균 특징 유사도 (MFS).
• 원-클래스 서포트 벡터 머신 (OC-SVM): 데이터를 원점에서 분리하는 초평면을 찾는 신기성 감지 알고리즘.
• 가우시안 혼합 모델 (GMM): 아카이케 정보 기준 (AIC) 을 통해 최적화된 구성 요소 수를 가진 가우시안 혼합으로 특징을 모델링.
• 정규화 흐름 (NF): 특히 고차원 확률 밀도를 추정하기 위해 가역적 매핑을 사용하는 Real-NVP 아키텍처.

이 프레임워크는 의미적 변화 (예: Lost and Found, Bravo-Synobj), 공변량 변화 (예: Foggy Cityscapes, ACDC), 그리고 결합된 변화 (SegmentMeIfYouCan, Indian Driving Dataset) 를 다루는 12 개의 데이터셋 (합성 및 실제 세계 데이터 모두 포함) 에서 평가되었습니다.

주요 기여

1. 모듈형 파이프라인: VFM 특징 인코딩과 밀도 모델링을 사용하여 의미적, 공변량, 및 결합 분포 변화를 비지도 방식으로 감지하기 위한 모듈형 파이프라인 제안.
2. 종합적 벤치마킹: 자율주행이라는 까다로운 도메인에서 OOD 감지를 위한 VFMs 에 대한 첫 번째 체계적 평가. 여기에는 7 개의 확립된 OOD 기준선 및 ImageNet 훈련 모델과 대비하여 다양한 백본 (ResNet, ViT, Swin) 을 가진 4 개의 VFM 에 대한 테스트가 포함됨.
3. 실용적 사용성 증명: 제안된 방법이 하류 인식 작업 (시맨틱 세그멘테이션) 에서 오류를 일으킬 가능성이 높은 고위험 입력을 식별하여 필터로 사용될 때 전체 시스템 신뢰성을 향상시킨다는 증거.
4. 벤치마킹 프레임워크: 다양한 변화 유형, 데이터셋, 및 평가 프로토콜을 결합한 자율주행에서의 이진 OOD 분류 평가를 위한 종합적 프레임워크 수립.

결과

광범위한 실험을 통해 몇 가지 주요 발견이 도출되었습니다:

• VFMs 의 우위: 밀도 추정 (특히 정규화 흐름 및 GMM) 과 결합된 VFM 임베딩은 표준 DNN 인코딩 (ImageNet 훈련 모델) 과 고전적 OOD 감지 방법 (예: GradNorm, Energy, Entropy, KNN) 일관적으로 능가합니다.
• 아키텍처 및 방법 시너지: 성능은 VFM 아키텍처와 밀도 모델링 기법의 짝짓기에 크게 의존합니다. 예를 들어, Grounding DINO(Swin Transformer) 와 정규화 흐름의 짝짓기는 여러 공변량 변화 시나리오와 합성 의미적 변화에서 거의 완벽한 감지 (FPR95 ≈ 0) 를 포함한 최첨단 결과를 달성했습니다.
• 실제 대 합성 일반화: 일부 모델 (CLIP 등) 은 실제 세계 데이터에서는 일관된 성능을 보였으나 합성 이상치에서는 어려움을 겪은 반면, 흐름 기반 모델링을 사용한 Grounding DINO 는 양쪽 모두에서 효과성을 유지하여 다양한 변화 유형에 대한 우수한 일반화를 시사했습니다.
• 하류 영향: 시맨틱 세그멘테이션 네트워크 (DeepLabV3+) 에 입력하기 전에 OOD 샘플을 필터링하는 입력 모니터링으로 적용될 때, 이 방법은 Indian Driving Dataset 과 같은 OOD 데이터셋에서 세그멘테이션 성능 (mIoU 및 mAcc) 을 크게 향상시켜 모니터링 도구가 오류가 발생하기 쉬운 입력을 성공적으로 식별함을 입증했습니다.
• 기준선 대비 비교: 모델 내부 (로그이트, 기울기, 또는 신뢰도 점수) 에 의존하는 전통적 OOD 방법은 특히 의미적 변화에서 중간에서 낮은 성능을 보인 반면, VFM 기반 접근법은 모니터링되는 네트워크의 내부와 무관하게 작동합니다.

중요성 및 주장

이 논문은 강력한 밀도 모델링 기법과 결합된 비전 파운데이션 모델이 복잡한 비전 작업을 위한 모델에 구애받지 않고, 비지도 기반이며, 신뢰할 수 있는 안전 모니터링을 실현하는 유망한 길을 제시한다고 주장합니다.

저자들은 그들의 접근 방식이 독점적 모델 내부에 대한 접근이나 OOD 예시에 대한 사전 노출 없이 예기치 않은 분포 변화를 감지함으로써 자율주행의 "롱 테일" 문제를 해결한다고 강조합니다. 이 연구는 완화보다는 감지에 초점을 맞추고 있지만, 하류 DNN 에서 오류를 유발할 위험이 높은 입력을 식별하는 것이 가능하다는 결과가 시사합니다. 이 작업은 사전 훈련된 VFMs 의 풍부한 표현력이 데이터 분포를 효과적으로 모델링하기에 충분하며, 자율주행 입력 모니터링의 맥락에서 표준 특징 추출기 및 기존 이진 OOD 분류 방법 모두를 능가함을 확립합니다.