기술 요약: UniDrive

문제 정의

복잡하고 역동적인 환경에서 작동하는 자율주행 시스템은 단순한 저수준 제어 명령이나 불투명한 의사결정 그 이상을 필요로 합니다. 즉, **해석 가능한 위험 이해(interpretable risk understanding)**가 필수적입니다. 주행에 적용되는 기존의 멀티모달 거대언어모델(MLLM)들은 **시간적 추론(temporal reasoning)**과 공간적 정밀도(spatial precision) 사이에서 근본적인 트레이드오프에 직면해 있습니다:

• 시간적 한계: 단일 프레임 또는 저해상도 입력에 의존하는 모델들은 작고 멀리 떨어져 있거나 부분적으로 가려진 위험 요소를 감지하지 못하거나, 시간에 따른 위험의 진화 과정을 놓치는 경우가 많습니다.
• 공간적 한계: 비디오 기반 모델은 역동성을 포착하지만, 특히 객체가 작은 이미지 영역을 차지할 때 정밀하게 위험 객체를 위치시키는 데 필요한 미세한 공간적 접지(grounding) 능력이 부족합니다.
• 접지 격차(Grounding Gap): 기존의 주행 지향형 MLLM은 정밀한 시각적 근거 없이 언어적 설명만을 제공하거나, 동적인 위험 관련성을 충분히 설명하지 못한 채 객체 위치만을 특정하곤 합니다. 이러한 공동 추론 및 접지의 결여는 안전 검증, 사후 감사, 인간의 신뢰 구축을 저해합니다.

방법론: UniDrive 프레임워크

저자들은 시간적 의미론(temporal semantics)을 고해상도 공간적 근거(spatial evidence)와 명시적으로 정렬하도록 설계된 통합 시각-언어 및 접지 프레임워크인 UniDrive를 제안합니다. 이 아키텍처는 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 이중 분기 아키텍처 (Dual-Branch Architecture)

UniDrive는 두 개의 시너지 효과를 내는 경로를 통해 시각적 입력을 처리합니다:

• 시간적 추론 분기 (Temporal Reasoning Branch, T-RB): 장면의 역동성을 모델링하기 위해 $L$개의 프레임으로 구성된 저해상도 비디오 시퀀스를 처리합니다. 이는 프리징된 CLIP 사전 학습된 ViT-L/14 인코더와 경량화된 특징 집합 도구(feature aggregator)를 사용하여 압축된 시간적 표현을 생성합니다. 이 분기는 움직임, 상호작용 및 위험의 진화를 이해하는 데 집중합니다.
• 고해상도 인지 분기 (High-Resolution Perception Branch, P-B): 미세한 공간적 세부 사항을 포착하기 위해 단일 고해상도 이미지(일반적으로 가장 최근의 프레임)를 처리합니다. 전용 비전 트랜스포머(ViT) 인코더를 사용하여 고충실도 특징 맵을 추출함으로써, 해상도 제약으로 인해 작거나 멀리 있는 객체가 손실되지 않도록 보장합니다.

2. 게이트형 교차 주의 집중 퓨전 모듈 (Gated Cross-Attention Fusion Module)

이 서로 다른 정보 스트림을 통합하기 위해, UniDrive는 단순한 결합(concatenation) 대신 시공간 융합(Spatio-Temporal Fusion) 메커즘을 사용합니다.

• 메커니즘: T-RB에서 생성된 집계된 시간적 특징($F_{aggr}$)은 쿼리(Query, Q) 역할을 수행하며, P-B의 고해상도 공간 특징($F_{HR}$)은 키(Key, K) 및 값(Value, V) 역할을 수행합니다.
• 게이팅(Gating): 학습된 게이팅 파라미터($\alpha$)는 어텐션이 적용된 고해상도 특징과 원래의 시간적 특징 사이의 균형을 동적으로 조절합니다. 이를 통해 모델은 시간적 문맥을 가이드로 삼아 공간 맵으로부터 가장 안전과 관련 있는 미세한 세부 사항을 선택적으로 추출할 수 있습니다.
• 결과: 융합된 표현($F_{fused}$)은 동적 문맥과 정밀한 공간적 접지를 모두 갖춘 풍부한 정보를 LLM 입력에 제공합니다.

3. 통합 추론 및 접지 생성 (Unified Reasoning and Grounding Generation)

융합된 표현은 Llama2-7B를 백본으로 하는 Flamingo 스타일의 아키텍처인 대규모 언어 모델(LLM)로 전달됩니다.

• 출력: 모델은 자연어 위험 설명(위험 객체 식별, 원인, 자차 의도 포함)과 접지된 바운딩 박스 출력을 공동으로 생성합니다.
• 접지 기술: 바운딩 박스 좌표는 캡션에 추가되는 일반 텍ền 토큰(예: <box>x1, y1, x2, y2</box>) 형식으로 구성됩니다. 이를 통해 전체 시스템을 별도의 회귀 헤드 없이 표준 언어 모델링 목적 함수를 사용하여 엔드투엔드(end-to-end)로 학습할 수 있습니다.

학습 (Training)

모델은 확장된 DRAMA-Reasoning 데이터셋을 통해 **지도 미세 조정(Supervised Fine-Tuning, SFT)**을 거칩니다. 이 데이터셋은 기존 DRAMA 주석에 위험 객체에 대한 설명적 묘사, 자차 의도, 안전 주행 제안을 추가하여 풍부하게 만든 것입니다. 학습 시에는 서로 다른 초기화 상태를 고려하여 시간적 분기($1\times10^{-4}$)와 인지 분기($4\times10^{-4}$)에 대해 서로 다른 학습률을 적용합니다.

주요 기여

1. 통합 프레임워크: 고수준의 추론과 저수준의 인지 사이의 간극을 해결하며, 자연어 위험 설명과 바운딩 박스 근거를 공동으로 생성하는 UniDrive를 도입했습니다.
2. 이중 분기 아키텍처: 다중 프레임 입력을 통한 시간적 추론과 최신 프레임의 고해상도 공간 인지를 결려하고, 이를 게이트형 교차 주의 집중 퓨전 모듈을 통해 통합하는 참신한 설계를 제시했습니다.
3. 확장된 벤치마크: 위험 설명과 시각적 접지를 동시에 평가할 수 있도록, 설명 텍스트와 안전 행동 제안을 포함하여 위험 객체 주석을 강화한 DRAMA-Reasoning 설정을 개발했습니다.
4. 포괄적 평가: 캡셔닝, 객체 위치 특정, 제로샷 일반화, 강건성 및 인간 평점 신뢰도 측면에서 성능 향상을 입증하는 광범적인 실험을 수행했습니다.

실험 결과

DRAMA-Reasoning 벤치마크와 미학습 데이터셋(NuScenes, BDD100K)에서 평가된 UniDrive는 다음과 같은 최첨단(SOTA) 성능을 보여줍니다:

• 벤치마크 성능: 캡셔닝(CIDEr: 277.5)과 탐지(mIoU: 61.2) 모두에서 대표적인 이미지 기반(예: InstructBLIP, Shikra) 및 비디오 기반(예: Video-LLAMA, eP-ALM) 베이스라인을 능가합니다.
• 소형 객체 위치 특정: 소형 객체 탐지(IoU$_S$: 31.0)에서 상당한 이득을 얻었으며, 이는 고해상도 분기의 효용성을 강조합니다.
• 제로샷 일반화: 미세 조정 없이도 NuScenes 및 BDD100K에서 우수한 일반화 능력을 보였으며, 특히 "상황 추론(Situation Reasoning)" 작업에서 Video-LLAMA 대비 +9.1% 높은 성능을 기록했습니다.
• 강건성: 시간적 및 공간적 분치의 상호 보완적인 특성 덕분에 열악한 조건(야간, 우천)에서도 베이스라인 대비 더 완만한 성능 저하를 보였습니다.
• 인간 중심 평가: 25명의 면허 소지 운전자를 대상으로 한 연구에서, UniDrive의 설명은 "신뢰성" 측면에서 82.0%, "유용성" 측면에서 **74.7%**의 경우 베이스라인보다 선호되었습니다.

의의 및 주장

본 논문은 시간적 의미론과 고해상도 인지를 명시적으로 결합하는 것이 해석 가능하고 안전 지향적인 자율주행을 위한 강력한 토대를 제공한다고 주장합니다.

• 분리된 과제의 초월: 결과는 안전 관련 이해가 단순히 캡셔닝 문제나 탐지 문제 중 하나로만 취급될 수 없음을 시사합니다. 설명은 올바른 위험원과 연결될 때만 안전 관련성이 있으며, 위치가 특정된 객체는 그 동적인 위험 관련성이 설명될 때 비로소 해석 가능해집니다.
• 아키텍처 정렬: 게이트형 교차 주의 집중 융합의 성공은 단순히 LLM에 여러 모달리티를 노출하는 것만으로는 부족하며, 모델이 동적 문맥을 미세한 공간 영역과 정렬하는 법을 학습해야 함을 나타냅니다.
• 신뢰 및 안전: 의미론적으로 유의미하면서도 공간적으로 접지된 설명을 생성함으로써, UniDrive는 안전 모니터링 및 사후 감사를 위한 투명한 계층을 제공하여 인간-AI 신뢰 구축을 향해 나아갑니다.

한계점

저자들은 다음과 같은 한계점을 인정합니다:

• 위험 우선순위 지정: 여러 위험 요소가 동시에 발생할 때(예: 이동 중인 보행자를 우선시하느라 경로를 막고 있는 정지 장애물을 놓치는 경우), 모델이 타당해 보이지만 주된 위험이 아닌 객체를 선택할 수 있습니다.
• 데이터셋 단순화: 현재의 평가는 단일 주요 위험 객체 주석에 의존하고 있어, 실제 세계의 다중 위험 시나리오의 복잡성을 단순화하는 측면이 있습니다.
• 입력 범위: 현재 모델은 시각-언어 추론에 의존하며, 전체 자율주행 스택 데이터(예: LiDAR, HD 맵, 차량 역학 또는 계획 가능성)를 명시적으로 통합하지 않습니다.
• 배포: 추론 속도는 경쟁력 있는 수준(A100 기준 9.8 FPS)이지만, 실시간 차량 탑재 배포를 위해서는 지연 시간, 신뢰성 및 폐쇄 루프(closed-loop) 검증에 대한 추가적인 조사가 필요합니다.