기술 요약: DriveSafe

문제 제기

자율주행 차량이 안전이 중요한 환경에서 위험을 식별하고 완화하기 위해서는 포괄적인 상황 인식이 필수적입니다. Multimodal Large Language Models(MLLMs) 는 일반적인 비전 - 언어 작업에서 성공을 거두었지만, 저자들은 zero-shot MLLM 이 운전과 관련된 세밀하고 공간적으로 근거된 위험 평가에서는 성능이 미흡함을 발견했습니다. 구체적으로, 기존 범용 모델들은 잠재적 위험을 식별하거나 실행 가능한 안전 지침을 제공하지 못하는 일반적이고 기술적인 캡션을 생성하는 경향이 있습니다. 또한, 이전의 도메인 특화 접근법은 위험 예측이나 궤적 예측에 초점을 맞추는 경우가 많지만, 실제 배포에 필요한 명시적이고 인간이 이해할 수 있는 안전 제안 생성은 소홀히 했습니다. 또한, 중요한 객체와 위험 관련 행동 키워드 및 안전 제안을 명시적으로 연관시키는 데이터셋이 부족합니다.

방법론

저자들은 raw 비디오에 거대한 MLLM 을 직접 미세 조정하는 대신 구조화된 자연어 설명을 활용하여 위험 인식 장면 이해를 위한 DriveSafe 프레임워크를 제안합니다. 이 프레임워크는 두 가지 주요 단계로 운영됩니다:

1. 멀티모달 컨텍스트를 활용한 캡션 생성

시각 인코더에만 의존하는 대신, DriveSafe 는 구체적인 컨텍스트 단서를 통합하여 장면 이해를 풍부하게 합니다:

• 공간 컨텍스트 ($S_t$): 주행 가능 영역을 구분하기 위해 도로 및 차선 분할 마스크에서 유래합니다.
• 운동 컨텍스트 ($M_t$): 광학 흐름을 통해 추출되어 에이전트 (차량, 자전거, 보행자) 의 상대적 움직임을 강조합니다.
• 깊이 컨텍스트 ($D_t$): 객체 수준에서 계산되어 ego-vehicle 과의 공간적 근접성을 추정합니다.
• 비디오 설명 ($d_v$): MLLM 이 생성한 고수준 의미 요약입니다.

이러한 모달리티들은 통합된 입력 ($X_v$) 으로 결합되어 구조화된 프롬프트를 통해 Large Language Model(LLM) 에 입력됩니다. 이 과정을 통해 ego-vehicle 의 기동, 주변 에이전트의 행동, 차선 위치, 깊이/운동 단서가 포함된 바운딩 박스를 명시적으로 포함하는 기하학적 인식 캡션($C_v$) 이 생성됩니다.

2. 위험 평가 및 안전 제안

생성된 캡션 ($C_v$) 은 LLM 에 의해 처리되어 다음을 추론합니다:

• 이진 위험 레이블 ($\hat{r}$: 예/아니오).
• 위험을 설명하는 정제된 위험 캡션 ($C_r$).
• 행동을 포착하는 위험 관련 키워드 ($\hat{K}$).
• 위험한 객체에 대한 바운딩 박스 ($\hat{b}$).

안전 제안 도출: 추출된 키워드는 DRAMA 데이터셋에서 유래한 규칙 기반 매핑 함수 ($g(\cdot)$) 를 사용하여 "서행", "정지", "양보" 등 9 가지 사전 정의된 안전 제안 카테고리에 매핑됩니다.

학습 전략:

• Zero-Shot: 프레임워크는 LLM 을 직접 프롬핑팅하여 미세 조정 없이 작동할 수 있습니다.
• 어댑터 미세 조정: 성능을 향상시키기 위해 저자들은 캡션 - 지시 - 응답 3 중항으로 학습된 경량 어댑터 모듈 (LLaMA-Adapter) 을 사용합니다. 이는 전체 규모의 비디오 사전 학습 없이도 LLM 을 도메인 특화 위험 추론에 정렬시킵니다. 학습 목표는 구조화된 응답 (위험 레이블, 캡션, 키워드, 바운딩 박스) 의 음의 로그 가능도를 최소화하는 것입니다.

주요 기여

1. DriveSafe 프레임워크: 비디오에 대한 직접적인 MLLM 미세 조정을 피하는 새로운 파이프라인입니다. 대신 광학 흐름, 분할, 깊이와 같은 멀티모달 단서를 비디오 설명과 통합하여 운전 특화 캡션을 생성한 후, 이를 LLM 이 처리하여 위험 예측 및 안전 제안을 수행합니다.
2. 데이터셋 확장: 저자들은 DRAMA 데이터셋을 확장하여 위험 행동을 중요한 객체와 명시적으로 연관시키고 안전 제안 주석을 도입했습니다. 훈련 세트의 자동 주석에는 LLM 을 활용하고, 신뢰성을 보장하기 위해 테스트 세트에는 수동 주석을 할당했습니다.
3. 실행 가능한 안전 지침: 탐지에만 초점을 맞춘 이전 연구들과 달리, DriveSafe 는 탐지된 위험과 연결된 근거 있는 안전 제안을 명시적으로 생성합니다.

실험 결과

실험은 DRAMA 벤치마크에서 수행되었으며, DriveSafe 를 기존 위험 평가 모델 (LCP, VTS, HoP) 과 범용 MLLMs(Qwen2.5-VL, LLaVA-NeXT, VideoLLaMA3) 과 비교했습니다.

• 캡션 생성: DriveSafe-Finetuned 는 zero-shot MLLM 과 전문화된 베이스라인 모두를 크게 능가했습니다. 예를 들어, BLEU-4 점수가 60.38로 HoP 의 약 56 점과 일반 VLM 의 30 점 미만보다 훨씬 높았습니다.
• 위험 객체 Grounding: 미세 조정된 모델은 Acc@0.5 가 74.8이고 Mean IoU 가 59.8 로, 위치 파악에 어려움을 겪었던 일반 VLM 들 (예: Qwen2.5-VL 의 Acc@0.5 는 0.0) 을 크게 앞섰습니다. 저자들은 IoU 만으로는 zero-shot 모델에 대해 오해의 소지가 있을 수 있다고 지적했습니다. 즉, 드물게 정확한 매칭으로 인해 높은 IoU 점수가 나올 수 있지만 대부분의 위험을 놓칠 수 있기 때문입니다. DriveSafe 는 동시에 높은 정확도와 IoU 를 유지합니다.
• 안전 제안 예측: DriveSafe-Finetuned 는 52.85% 정확도와 37.15 의 가중 F1 점수를 달성하여 zero-shot 대응 모델 (23.49% 정확도) 보다 두 배 이상 높은 성능을 보였으며, 모든 베이스라인 (13~19% 정확도 범위) 을 크게 능가했습니다.
• 정성적 분석: 사례 연구에 따르면 DriveSafe-Finetuned 는 zero-shot 모델에서 흔히 발생하는 환각과 과장을 줄이고, 근거 있는 해석 (예: 정지된 차량과 움직이는 차량을 올바르게 식별) 과 상황에 적합한 제안을 제공합니다.

중요성과 주장

이 논문은 DriveSafe 가 실행 가능한 안전 지침과 위험 이해를 연결함으로써 자율주행의 중요한 격차를 해소한다고 주장합니다. 기하학적 및 운동 단서가 풍부한 명시적 언어 기반 장면 표현에 위험 평가를 조건부로 설정함으로써, 이 프레임워크는 위험 탐지 및 안전 제안 생성에서 최첨단 성능을 달성합니다.

저자들은 위험을 특정 안전 권고안과 명시적으로 연결함으로써 투명성을 제공한다는 점을 강조하며, 이는 자율 시스템에 대한 신뢰 구축에 필수적이라고 말합니다. 그들은 이 작업을 기초적인 단계로 위치시키며, 현재 위험 - 안전 매핑은 정적이지만 안전이 중요한 추론을 위한 새로운 프레임워크를 확립했다고 지적합니다. 논문은 도메인 특화 적응 (경량 어댑터 및 멀티모달 컨텍스트를 통해) 이 안전이 중요한 운전 시나리오에서 범용 VLM 의 한계를 극복하는 데 필요하다고 결론 내립니다.