기술 요약: 시각 언어 모델을 통한 1인칭 시점의 보행자 횡단 의도 해독

문제 정의

본 연구는 1인칭 시점(egocentric vision)을 사용하여 보행자의 횡단 의도(구체적으로 보행자가 "횡단(cross)"할 것인지 또는 "양보(yield)"할 것인지)를 예측하는 과제를 다룹니다. 차량 탑재 카메라나 감시 카메라에 의존하는 기존의 외부 시점(exocentric) 방식과 달리, 본 연구는 보행자의 관점에서 촬영된 짧은(2초) 단안 비디오 클립으로부터 의도를 해독하는 데 집중합니다. 목표는 1초의 미래 지평(future horizon) 내에서 보행자의 행동을 예측하는 것입니다.

저자들은 이 예측 작업을 폐쇄형 시각 질의응답(closed-ended Visual Question Answering, VQA) 문제로 재정의합니다. 모델은 에고센트릭 비디오 클립($V$), 선택적 문맥 정보($C$), 그리고 특정 질의($Q$)를 입력받아, 미리 정의된 집합 $\{cross, yield\}$ 중에서 올바른 의도를 선택해야 합니다.

방법론

1. 모델 선택 및 베이스라인

본 연구는 두 가지 계열의 시각-언어 모델(VLM)을 평가합니다:

• 멀티모달 대규모 언어 모델(MLLM): 구체적으로 Qwen3-VL 제품군(2B 및 8B 변체)과 Qwen2.5-VL-7B, 그리고 InternVL3 모델을 포함합니다. 이들은 광범위한 세상 지식과 일반적인 추론 능력을 갖추고 있어 선택되었습니다.
• 비디오-언어 사전 학습(VLP) 모델: 에고센트릭 비디오-텍스트 데이터로 사전 학습되었으나 주로 실내 활동에 치중되어 있는 GroundVQA를 포함합니다.
• 베이스라인: 전문화된 CLIP+Transformer 베이스라인(비디오 전용 딥러닝)이 주요 성능 벤치마크 역할을 수행하며, 무작위 추측(random guessing) 및 다수 클래스 예측(majority-class prediction)과 함께 비교됩니다.

2. 프롬프팅 전략 (제로샷 평가)

미세 조정(fine-tuning) 전, 저자들은 모델의 내재된 추론 능력을 평가하기 위해 세 가지 프롬프팅 전략을 벤치마킹합니다:

• 표준 프롬프팅(Standard Prompting): 가장 가능성 높은 행동을 직접적으로 묻는 질의입니다.
• 텍스트 사고 사슬(Text Chain-of-Thought, CoT): 모델이 답변을 내놓기 전에 중간 추론 단계(예: 시각적 요소, 위험 요소, 논리 분석)를 생성하도록 유도합니다.
• 시각적 프롬프팅(Visual Prompting): 탐지기(GroundDINO)가 생성한 "set-of-marks" 오버레이(경계 상자 및 ID)를 비디오 입력에 추가하여 차량 및 횡단 목표와 같은 관련 객체를 강조합니다.

3. 문맥 정보 통합

비디오 외에도 추론을 개선하기 위해 추가적인 모달리티를 통합합니다:

• 에고 모션(Ego Motion): 보행자의 위치와 속도.
• 차량 모션(Vehicle Motion): 자동 주행 차량의 위치와 속도.
• 시선(Eye Gaze): 텍스트 설명(도 단위의 방향) 또는 시각적 오버레이(고정 지점의 빨간 점)로 표현됩니다.
• 개인 속성(Personal Attributes): 프롬프트에 포함된 인구통계학적 데이터(예: 연령, 성별, 손잡이 방향 등).

저자들은 시간에 따라 변하는 문맥을 통합하는 두 가지 전략을 조사합니다: 프리페이스(Preface)(프롬프트 시작 부분에 문맥을 추가)와 인터리브드(Interleaved)(특정 비디오 프레임과 함께 문맥을 삽입)입니다.

4. 미세 조정 전략

사전 학습된 모델을 교통 도메인에 적응시키기 위해, 저자들은 **저순위 적응(Low-Rank Adaptation, LoRA)**을 사용한 **지도 미세 조정(Supervised Fine-Tuning, SFT)**을 채택합니다. 이 방식은 원래 모델의 파라미터는 고정하고 선택된 레이어에서 저순위 업데이트만을 학습시킵니다. 이들은 다음 항목들을 실험합니다:

• 언어 인코더만 튜닝.
• 교차 모달 융합 모듈만 튜닝.
• 언어와 교차 모달 구성 요소를 모두 공동 튜닝.
  비전 인코더는 특징 추출기로서의 역할을 보존하기 위해 고정됩니다.

주요 결과

제로샷 성능

• 제한된 추론 능력: 제로샷 설정에서 최첨단 VLM들은 무작위 추측보다는 높은 성과를 보였으나(예: Qwen2.5-VL-7B는 약 63% 정확도 달성), 전문화된 CLIP+Transformer 베이스라인(72.7% 정확도)을 넘어서지는 못했습니다.
• 프롬프팅의 한계: 텍스트 CoT 프롬프팅은 성능을 개선하지 못했으며 추론 지연 시간을 크게 증가시켰습니다. 일부 경우, 모델이 "yield"로 기본 설정되도록 유도하여 성능을 저하시키기도 했습니다. 시각적 프롬프팅(set-of-marks) 또한 탐지 불일치 및 VR 환경의 특수성으로 인해 측정 가능한 개선을 이끌어내지 못했습니다.
• 입력 민감도: 더 큰 모델(예: Qwen3-VL-8B)은 프레임 샘플링이 늘어날 때(4개에서 32개로) 성능이 저하되는 경향을 보여 중복 입력에 대한 민감도를 나타낸 반면, 더 작은 모델(Qwen3-VL-2B)은 더 많은 프레임에서 이득을 얻었습니다.

미세 조정 성능

• 상당한 성능 향상: 파라미터 효율적 미세 조정은 성능을 크게 향상시켰습니다. 미세 조정된 Qwen3-VL-2B는 **77.7%**의 정확도를, 미세 조정된 **VLP(GroundVQA)**는 **78.9%**의 정확도를 달성했습니다.
• 최첨단 성능(SOTA): 이러한 결과는 전문화된 CLIP+Transformer 베이스라인보다 9% 높은 정확도 향상을 나타냅니다.
• 아키텍처 적응: Qwen 모델의 경우, 교차 모달 모듈만 튜닝하는 것으로 충분했습니다. VLP 모델의 경우, 언어와 교차 모달 구성 요소를 모두 튜닝했을 때 최상의 결과를 얻었습니다.

문맥 단서의 영향

• 제로샷: 문맥(예: 에고 모션, 시선)을 추가하는 것은 일반적으로 제로샷 성능을 향 향상시켰으며, 특히 에고 모션이 가장 정보력이 높은 단일 단서였습니다. 그러나 미세 조정 없이 단서들을 결합하면 때때로 환각 현상이 발생하거나 성능이 저하되었습니다.
• 미세 조정: 미세 조정을 거친 모델은 문맥을 효과적으로 활용하는 법을 학습했습니다. 에고 모션과 시선(특히 스크린 상의 시선)의 조합은 가장 좋은 일반화 성능을 보였으며, 트랜스포머 베이스라인 대비 14.5%의 정확도 향상을 달 achieved 했습니다.
• 문맥 형식: 프리페이스(Preface) 전략(시작 부분에 문맥 추가)이 인터리브드 전략보다 일관되게 우수한 성능을 보였으며, 이는 이 작업에서 문맥에 대한 전역적 조건화(global conditioning)가 프레임별 인터리빙보다 더 효과적임을 시사합니다.

의의 및 주장

본 논문은 에고센트릭 보행자 의도 해독을 위한 **새로운 최첨단(SOTA)**을 구축했다고 주장합니다. 주요 기여는 다음과 같습니다:

1. VLM의 타당성: 범용 VLM이 교통 추론을 위한 비사소한 제로샷 능력을 갖추고 있으나, 전문화된 딥러닝 베이스라인을 따라잡거나 능가하기 위해서는 반드시 도메인 적응(미세 조정)이 필요함을 입증했습니다.
2. 미세 조정의 효과성: 파라미터 효율적 미세 조정(LoRA)이 일반 목적의 VLM을 안전이 중요한 교통 작업에 적응시키는 매우 효과적인 전략이며, 비디오 데이터만으로 처음부터 학습된 모델보다 뛰어남을 보여주었습니다.
3. 멀티모달 문맥의 가치: 시선과 에고 모션을 통합하는 것이 특히 모델이 이러한 신호를 해석하도록 훈련되었을 때 예측 정확도와 일반화 능력을 크게 향상시킨다는 점을 확립했습니다.
4. 방법론적 통찰: 텍스트 기반 CoT 프롬프팅과 시각적 오버레이가 이 특정 작업에는 유익하지 않을 수 있는 반면, 구조화된 문맥 통합(프리페이스를 통한)과 미세 조정이 핵심적이라는 증거를 제공했습니다.

저자들은 VR 기반 데이터셋 사용으로 인한 실제 세계의 복잡성 포착 미흡, 균일하게 샘플링된 프레임에 대한 의존성 등의 한계를 언급했습니다. 향에 대한 연구는 교통 특화 사전 학습, 적응형 시간 샘플링, 그리고 희귀 사건이 포함된 실제 데이터에서의 평가에 집중되어야 한다고 제언합니다.