TraVEL: Trajectory-Guided Video Embedding Learning for Driving-Video Retrieval

기술 요약: TraVEL – 주행 비디오 검색을 위한 궤적 가이드 비디오 임베딩 학습

문제 정의

대규모 자율 주행 차량 로그에서 특정 주행 시나리오를 효율적으로 검색하는 것은 데이터 큐레이션, 모델 개발 및 안전 분석에 있어 매우 중요합니다. 구조화된 규칙 기반 검색 시스템은 특정 이벤트를 타겟팅할 수 있지만, 전문가가 정의한 규칙, 보조 데이터(예: 객체 탐지, 지도) 및 다단계 인지 파이프라인이 필요하며, 이는 새로운 도메인으로 확장할 때 많은 비용이 듭니다. 반면, 멀티모달 임베딩 모델은 비디오를 하나의 검색 가능한 벡터로 표현함으로써 더 단순하고 효율적인 대안을 제공합니다. 그러나 범용 시각-언어 모델(VLM)은 정적인 장면 맥락(static scene context)에 의존하는 경향이 있어, 미세한 움직임을 포착해야 하는 주행 도메인에서는 성능이 저하됩니다. 이러한 모델들은 시각적 배경이 유사할 경우, 서로 반대되는 동작(예: 가속 vs 감속, 좌회전 vs 우회전)을 구분하는 데 어려움을 겪습니다.

방법론

저자들은 일반적인 멀로모달 임베딩 모델을 주행 비디오 검색에 적응시키기 위해, 추론 시에는 물리적 움직임 신호를 요구하지 않으면서도 학습 과정에서 이를 통합하는 프레임워크인 **TraVEL (Trajectory-Guided Video Embedding Learning)**을 제안합니다. 이 접근 방식은 두 단계의 학습 파이프라인으로 구성됩니다.

1. 주행 도메인 지도 미세 조정 (SFT)

저자들은 먼저 일반 사전 학습 데이터와 주행 비디오 사이의 도메인 격차를 해결합니다. 이들은 nuReasoning 데이터셋의 쌍을 이룬 주행 비디오 클립과 추론 과정이 포함된 캡션을 사용하여 Qwen3-VL-Embedding 모델을 미세 조정합니다. 이 단계에서는 InfoNCE 목적 함수를 사용하여 텍스트와 비디오 표현을 정렬하며, 이를 통해 전반적인 검색 성능을 크게 향상시킵니다. 그러나 저자들은 캡션 기반의 감독만으로는 미세한 차량 역학을 전달하기에 신호가 희소하여, 움직임 중심의 쿼리(예: 특정 가속 프로파일)를 처리하는 데 한계가 있음을 지적합니다.

2. 궤적 인식 그룹 상대 정책 최적화 (GRPO)

캡션 기반 감독의 한계를 해결하기 위해, TraVEL은 **그룹 상대 정책 최적화 (GRPO)**를 사용하는 강화 학습 단계를 도입합니다.

• 특권 감독 (Privileged Supervision): 학습 중에 각 비디오 클립은 동기화된 자차 포즈 시퀀스(ego-pose sequence)(횡방향 변위 및 속도)와 쌍을 이룹니다. 이러한 포즈는 특권(privileged) 정보입니다. 즉, 이 정보는 오직 학습 시의 보상 신호로만 사용되며, 임베딩 모델의 입력값으로 제공되거나 검색 시 요구되지 않습니다.
• 움직임 표현: 자차 포즈 시퀀스는 0 근처의 변화(예: 정지에서 가속으로의 변화)를 강조하기 위해 로그 워핑 함수(logarithmic warping function)를 사용하여 재샘플링 및 변환됩니다. 움직임 신호 간의 유사도는 시간적 불일치를 처리하기 위해 **동적 시간 워핑 (DTW)**을 사용하여 계산됩니다.
• 보상 구성: 학습 과정은 두 가지 유형의 후보 그룹을 구성합니다.
  • 텍스트-대-비디오 ($G_{t2v}$): 정답 비디오와 하드 네거티브(hard negatives)를 포함합니다. 보상은 교차 모달 정렬을 유지하기 위해 이진 값(정답 쌍은 1, 나머지는 0)을 가집니다.
  • 비디오-대-비디오 ($G_{v2v}$): 현재 모델에 의해 높은 점수를 받은 비디오 후보들을 포함합니다. 보상은 자차 궤적 유사도(DTW 거리)로부터 유도된 **등급화된 값(graded value)**입니다. 움직임이 유사한 클립은 더 높은 보상을 받습니다.
• 최적화: GRPO 목적 함수는 모델이 올바른 쌍과 움직임이 유사한 비디오의 이점을 최대화하도록 업데이트하여, 단일 벡터 검색의 효율성을 유지하면서도 차량의 움직임에 민감하게 반응하도록 임베딩 공간을 재형성합니다.

주요 기여

1. TraVEL 프레임워크: 물리적 움직임 신호를 학습 루프에 통합하여 범용 멀티모달 임베딩 모델을 주행 비디오 검색에 적응시키는 단순하고 효과적인 방법을 제시합니다.
2. 움직임 인식 미세 조정: GRPO 프레임워크 내에서 궤적 유래 보상을 도입했습니다. 이를 통해 추론 파이프라인을 변경하지 않고도(검색 시 자차 포즈나 보조 인지 기능이 필요 없음) 비디오 임베딩이 자차 움직임(종방향 및 횡방향)에 민감하게 반응하도록 만듭니다.
3. 주행 비디오 검색 벤치마크: 움직임 중심의 쿼리를 평가하기 위해 nuReasoning 데이터셋으로부터 구축된 검색 벤치마크를 제공합니다.

실험 결과

저자들은 Qwen3-VL-Embedding 모델을 2B 및 8B 파라미터 규모로 사용하여 nuReasoning 데이터셋에 대해 TraVEL을 평가했습니다.

• 베이스라인 성능: 오프더쉘프(off-the-shelf) 모델들(CLIP4Clip, InternVideo2, 사전 학습된 Qwen3-VL 포함)은 상당한 도메인 격차를 보였으며, R@1 점수는 일반적으로 2.5% 미만이었고 중앙 순위(median rank)는 무작위 확률에 가까웠습니다.
• SFT의 영향: 쌍을 이룬 클립에 대한 지도 미세 조정은 검색 성능을 크게 향상시켰으나, 미세한 움직임 구별에는 여전히 불충분했습니다.
• TraVEL 성능:
  • 인스턴스 수준 검색: TraVEL은 재현율(recall)을 실질적으로 개선했습니다. 2B 모델의 경우, R@1이 1.3%(사전 학습)에서 8.7%(SFT)로 증가했고, 중앙 순위는 266에서 23으로 낮아졌습니다. 8B 모델의 경우, R@1은 **10.1%**에 도달했으며, 중앙 순위는 17이었습니다.
  • 움직임 중심 검색: TraVEL은 움직임 특화 쿼리에서 가장 큰 성과를 보였습니다.
    • 2B 모델: 종방향 mAP는 45.9%(SFT 적용 시)에서 55.7%(TraVEL 적용 시)로 9.8 포인트 개선되었습니다. 횡방향 mAP는 31.0%에서 **35.7%**로 4.7 포인트 개선되었습니다.
    • 8B 모델: 종방향 mAP는 **57.5%**로 7.2 포인트 개선되었고, 횡방향 mAP는 **39.9%**로 1.5 포인트 개선되었습니다.
  • 정성적 분석: 시각화를 통해 TraVEL이 시각적으로는 유사하지만 움직임이 다른 클립(예: 좌측 가속 회전 vs 우측 감속 회전) 사이의 유사성을 성공적으로 감소시키고, 시각적 맥락이 다르더라도 동일한 궤적을 공유하는 클립(예: 낮 vs 밤) 사이의 유사성을 높였음을 확인했습니다.

의의 및 주장

본 논문은 TraVEL이 단일 벡터 임베딩 검색의 효율성과 자율 주행을 위한 움직임 민감형 검색의 필요성 사이의 간극을 성공적으로 메운다고 주장합니다. 자차 궤적 유사도를 특권 학습 신호로 사용함으로써, 이 방법은 추론 시 복잡한 인지 파이프라인이나 보조 데이터를 요구하지 않고도 차량 역학에 따라 비디오 임베딩 공간을 구성합니다.

저자들은 TraVEL이 움직임 중심 쿼리(특히 정지 및 회전 동작)에서 명확한 이득을 얻었지만, 차선 내 미세한 이동(within-lane shifts)에 대해서는 여전히 과제가 남아 있음을 강조합니다. 저자들은 TraVEL을 구조화된 규칙 기반 시스템의 대체재가 아닌, 일반적인 멀티모달 모델의 표현력을 높이기 위해 물리적으로 근거가 있는 신호를 활용하는 보완적이고 효율적인 접근 방식으로 포지셔닝합니다. 이 연구는 물리적으로 근거가 있는 감독(supervision)과 임베딩 기반 검색을 결래하는 것이 데이터 큐레이션 및 안전 검증과 같은 다운스트림 주행 워크플로우를 개선하기 위한 유망한 경로임을 시사합니다.