FSDAM: Few-Shot Driving Attention Modeling via Vision-Language Coupling

1. 연구 배경 및 문제 정의 (Problem)

자율주행 시스템에서 인간의 안전하고 해석 가능한 협업을 위해서는 운전자가 **어디를 보는지 (Where)**뿐만 아니라 **왜 시선이 이동하는지 (Why)**에 대한 이해가 필수적입니다. 기존 연구들은 주로 대규모 눈동자 추적 (Eye-tracking) 데이터를 기반으로 시선 분포 (Gaze heatmap) 를 예측하는 지도 학습 (Supervised Learning) 방식에 의존했습니다. 그러나 이러한 접근법은 다음과 같은 한계를 가집니다.

• 데이터 부족 및 프라이버시 문제: 대규모의 정밀하게 주석 달린 시선 데이터 수집은 비용이 많이 들고, 안전에 치명적이거나 드문 상황 (사고, 건설 구역 등) 에 대한 데이터 다양성이 부족합니다.
• 과적합 및 일반화 한계: 기존 모델들은 수만 장의 데이터를 필요로 하며, 데이터가 부족한 Few-shot 환경에서는 성능이 급격히 저하됩니다.
• 정적 인식의 한계: 운전자의 주의를 단순한 시각적 중요도 (Saliency) 로만 보아, 교통 규칙이나 에이전트 행동을 기반으로 한 **미래 지향적 (Anticipatory)**이고 **의미론적 (Semantically structured)**인 주의 이동을 설명하지 못합니다.

2. 제안 방법론: FSDAM (Methodology)

저자들은 **90 개의 주석 예시 (Few-shot)**만으로 공간적 시선 예측과 구조화된 설명 생성을 동시에 학습하는 프레임워크 FSDAM을 제안합니다.

2.1 핵심 아이디어: 구조화된 주의 추론

운전자의 주의를 정적 고정점이 아닌, 다음 4 가지 구성 요소로 분해된 **구조화된 추론 (Structured Reasoning)**으로 정의합니다.

1. Scene Context: 장면의 전역적 맥락 (예: "도시 교차로, 횡단보도").
2. Current Gaze: 현재 시선이 집중된 대상 (예: "보행자 및 교통 경찰").
3. Next Gaze: 예상되는 다음 시선 이동 (예: "보행자에게 머무름").
4. Why (Causal Explanation): 시선 이동의 인과적 이유 (예: "보행자 안전 확보 및 전진 타이밍 판단").

2.2 아키텍처: 듀얼 패스웨이 (Dual-Pathway Architecture)

기존의 공유된 크로스 어텐션 모듈은 태스크 간 간섭 (Task Interference) 을 유발하여 한 태스크는 과적합되고 다른 태스크는 과소적합되는 문제를 일으킵니다. 이를 해결하기 위해 듀얼 패스웨이를 도입했습니다.

• Gaze Pathway: 시각적 특징을 입력받아 공간적 시선 지도 (Gaze Map) 를 예측하는 전용 모듈.
• Caption Pathway: 시각적 특징을 기반으로 위의 4 가지 구성 요소를 포함한 구조화된 텍스트 설명을 생성하는 전용 모듈 (LLaVA 기반).
• 공유 특징: 두 경로 모두 동일한 비전 - 언어 백본 (Vision-Language Backbone, CLIP-ViT + Mistral-7B) 에서 추출된 공유 시각 특징을 활용하지만, 태스크별 어댑터 (LoRA) 를 통해 독립적으로 학습됩니다.

2.3 학습-only 비전 - 언어 정렬 메커니즘 (Training-Only Alignment)

추론 시 복잡성을 증가시키지 않으면서 의미론적 지식을 공간 예측에 주입하기 위해 학습 단계에서만 작동하는 정렬 (Alignment) 모듈을 설계했습니다.

• 예측된 시선 지도를 사용하여 시각 특징을 가중 평균 (Pooling) 하여 얻은 벡터와, 텍스트 설명에서 추출된 특징 벡터 간의 InfoNCE Contrastive Loss를 최소화합니다.
• 이를 통해 모델이 시선 예측을 할 때 의미 있는 시각적 영역 (예: 보행자, 신호등) 에 집중하도록 유도하며, 추론 시에는 이 모듈이 제거되어 오버헤드가 없습니다.

2.4 데이터 큐레이션 (Data Curation)

• BDD-A 데이터셋을 기반으로 KL 발산 (KL Divergence) 을 계산하여 시선 분포가 급격히 변하는 중요한 프레임 쌍 (Anchor-Target) 을 자동 선별합니다.
• GPT-4o 를 활용하여 구조화된 템플릿에 맞춰 캡션을 생성하고, 인간 전문가가 품질을 검증하여 최종 90 개의 고품질 Few-shot 데이터를 구성했습니다.

3. 주요 기여 (Key Contributions)

1. Few-shot 환경에서의 최초 통합 모델: 90 개의 예시만으로 공간적 시선 예측과 자연어 설명 생성을 동시에 학습하는 최초의 접근법입니다. 기존 Joint 모델 (수만 개 데이터 필요) 대비 데이터 효율성이 2 차수 (Orders of magnitude) 이상 뛰어납니다.
2. 구조화된 주의 추론 형식: 정적 중요도 예측을 넘어, 맥락, 현재/미래 시선, 인과적 이유를 포함하는 구조화된 표현을 도입하여 모델의 해석 가능성 (Interpretability) 을 크게 향상시켰습니다.
3. 듀얼 패스웨이 아키텍처: 제한된 데이터에서 태스크 간 간섭을 방지하고, 학습-only 정렬 메커니즘을 통해 의미론적 사전 지식을 공간 예측에 효과적으로 주입했습니다.
4. 강력한 제로샷 일반화: 학습 데이터가 극히 적음에도 불구하고, 다양한 주행 시나리오 (교차로, 차선 변경, 보행자 횡단 등) 에서 기존 풀-서퍼바이드 (Full-supervised) 모델과 경쟁력 있는 성능을 보이며, 다른 데이터셋 (W3D, DADA-2000 등) 에 대한 제로샷 일반화 성능도 입증했습니다.

4. 실험 결과 (Results)

• 시선 예측 성능 (BDD-A): 90 개의 데이터로 학습한 FSDAM 은 KL 발산 (1.13) 에서 기존 풀-서퍼바이드 모델 (DBNet, LLada 등) 과 유사하거나 더 나은 성능을 기록했습니다. 특히 Few-shot 설정에서 기존 모델 (U2-Net, LLada) 의 성능이 급격히 떨어지는 것과 대조적으로 높은 정확도를 유지했습니다.
• 타 도메인 전이 (Zero-shot): BDD-A(90 개) 로만 학습한 모델이 DADA-2000, DR(eye)VE, W3D 등 다른 데이터셋에서 제로샷으로 테스트 시, 풀-서퍼바이드 베이스라인과 경쟁하거나 우월한 성능을 보였습니다.
• 캡션 생성 성능: W3D 데이터셋의 다양한 시나리오 (일반 주행, 안전 위험, 사고) 에서 생성된 캡션의 BLEU, METEOR, CIDEr 점수가 풀-서퍼바이드 모델 (LLada, GazeXplain) 에 근접했으며, Few-shot 베이스라인 (DeepGaze+LLaVA 등) 보다 월등히 우수했습니다.
• Few-shot 학습 분석: 1-shot 에서 5-shot 으로 증가함에 따라 성능이 급격히 향상되었으며, 5-shot 에서만 풀-데이터 학습 모델의 성능 (CC 기준 96.7% 회복) 을 거의 달성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 의미론적으로 기반을 둔 (Semantically grounded) 주의 모델링이 데이터 제약이 심한 환경에서도 효율적인 학습과 확장 가능한 해석 가능한 자율주행 시스템 구축을 가능하게 함을 증명했습니다.

• 데이터 효율성: 대규모 주석 데이터 없이도 안전에 중요한 드문 상황 (Rare scenarios) 에서도 작동하는 모델 개발 가능성을 제시했습니다.
• 해석 가능성: 단순히 "어디를 보는지"를 넘어 "왜 그렇게 보는지"에 대한 논리적 추론을 생성함으로써, 인간 - AI 협업 시스템의 신뢰성을 높였습니다.
• 미래 방향: 비디오 입력을 통한 시계열 모델링과 극한 기상 조건 (비, 안개) 에 대한 일반화 능력을 향후 연구 과제로 제시했습니다.

요약하자면, FSDAM 은 적은 데이터로도 복잡한 주행 상황에서 인간의 주의 메커니즘을 이해하고 설명할 수 있는 새로운 패러다임을 제시한 획기적인 연구입니다.