DriverGaze360: OmniDirectional Driver Attention with Object-Level Guidance

이 논문은 전방 시야의 한계를 극복하고 차선 변경 및 보행자 상호작용 등 주변 환경까지 포괄하는 360 도 운전 시선 예측을 위해 대규모 데이터셋 'DriverGaze360' 과 객체 분할을 활용한 'DriverGaze360-Net' 모델을 제안합니다.

핵심

이 논문은 자율주행차가 운전자를 더 잘 이해하고, 안전한 운전을 돕기 위해 새로운 기술을 개발한 연구입니다. 복잡한 기술 용어 대신, 일상적인 비유를 들어 쉽게 설명해 드릴게요.

🚗 핵심 아이디어: "운전자의 시야를 360도로 모두 보는 것"

기존의 자율주행 기술이나 운전자의 눈동자 추적 연구는 마치 **"앞 유리창으로만 보는 운전"**과 비슷했습니다. 차 앞쪽의 상황만 보고 "운전자가 어디를 보고 있나?"를 분석했죠. 하지만 실제 운전에서는 뒤를 돌아보거나, 옆구리를 확인하며 차선을 바꾸는 경우가 많습니다.

이 연구는 **"운전자가 차 안팎을 360도全方位으로 어떻게 둘러보는가?"**를 처음부터 끝까지 기록한 새로운 데이터를 만들었습니다.

---

🌟 이 연구의 세 가지 주요 성과

1. DriverGaze360: 운전자의 '전방위 시야'를 담은 거대한 사진첩

• 비유: 기존 연구는 운전자가 앞만 보고 있을 때의 사진만 1,000 장 모은 것이었다면, 이 연구는 운전자가 앞, 뒤, 좌, 우, 심지어 지붕 위까지 360도 회전하며 보는 모든 순간을 담은 100 만 장의 사진첩을 만들었습니다.
• 무엇이 특별한가요?
  • 19 명의 실제 운전자가 시뮬레이터에서 운전하는 모습을 기록했습니다.
  • 차선 변경 시 뒤를 돌아보는 행동, 보행자가 옆에서 지나갈 때 눈이 가는 방향 등 기존에는 놓쳤던 중요한 시선들을 모두 잡아냈습니다.
  • 마치 운전자의 눈을 차 안팎으로 360 도 회전하는 카메라로 대체한 것과 같습니다.

2. DriverGaze360-Net: "무엇을 보았는지"까지 아는 똑똑한 AI

• 비유: 기존 AI 는 "운전자가 저쪽을 보고 있구나"라고 어느 방향만 알려주었습니다. 하지만 이 새로운 AI 는 **"운전자가 저쪽의 '버스'를 보고 있구나!"**라고 구체적인 대상까지 알려줍니다.
• 어떻게 작동하나요?
  • 이 AI 는 두 가지 일을 동시에 합니다.
    1. 운전자의 시선이 어디에 집중되었는지 지도를 그립니다.
    2. 그 시선이 차, 사람, 자전거, 신호등 중 무엇에 맞춰져 있는지 분류합니다.
  • 마치 운전자가 "저기 빨간 신호등이 있네!"라고 말하며 시선을 고정하는 것처럼, AI 가 중요한 대상을 찾아내어 시선을 더 정확하게 예측하게 도와줍니다.

3. 왜 이것이 중요한가요? (실생활 적용)

• 비유: 기존 시스템은 운전자가 앞만 보고 있을 때만 "안전하다"고 판단했습니다. 하지만 운전자가 옆구리를 확인하며 차선을 바꾸려 할 때, 기존 시스템은 "왜 차선을 바꾸지?"라고 혼란을 겪을 수 있었습니다.
• 이 연구의 효과:
  • 이제 AI 는 운전자가 옆이나 뒤를 보고 있다는 것을 정확히 알아챕니다.
  • 자율주행차가 운전자의 의도를 미리 예측하여, "아, 운전자가 옆 차선을 확인하고 있구나. 내가 먼저 양보해야겠다"라고 판단할 수 있게 됩니다.
  • 이는 혼합 교통 환경(사람이 운전하는 차와 자율주행차가 함께 달리는 상황) 에서 사고를 예방하고, 더 자연스러운 운전 경험을 만들어 줍니다.

---

💡 한 줄 요약

"이 연구는 운전자가 차 안팎을 360 도全方位으로 둘러보는 모습을 완벽하게 기록하고, AI 가 운전자가 '무엇'을 보고 있는지까지 정확히 이해하도록 가르쳐, 더 안전하고 똑똑한 자율주행차를 만드는 첫걸음을 뗐습니다."

이 기술은 앞으로 우리가 타는 차가 운전자의 '눈'과 '생각'을 더 잘 읽어서, 마치 숙련된 조수석 친구처럼 함께 운전해 주는 시대를 열어줄 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 운전자 주의도 (Driver Attention) 예측 연구는 다음과 같은 한계를 가지고 있습니다:

• 제한된 시야 (Narrow FoV): 대부분의 기존 데이터셋과 모델이 차량 전방의 좁은 시야 (Frontal FoV) 만을 대상으로 합니다. 이로 인해 차선 변경, 회전, 사각지대의 보행자나 자전거와 같은 주변 (Peripheral) 및 후방 객체와의 상호작용을 포착하지 못합니다.
• 공간적 맥락의 부재: 운전자 행동의 전체적인 공간적 맥락 (360 도 환경) 을 이해하지 못하여, 실제 주행 환경에서의 복잡한 상황 (예: 후방 확인을 위한 거울 사용) 을 모델링하지 못합니다.
• 데이터의 다양성 부족: 기존 데이터셋은 주로 안전에 치명적인 순간 (Emergency braking 등) 에 집중하거나, 실제 운전을 하지 않고 영상을 보는 방식 (Passive watching) 으로 수집되어, 연속적이고 다방향적인 시선 동역학을 반영하지 못합니다.

이러한 한계를 극복하기 위해 360 도 전방위 (Omnidirectional) 시선 데이터와 이를 효과적으로 학습할 수 있는 새로운 아키텍처가 필요합니다.

2. 제안 방법 (Methodology)

A. DriverGaze360 데이터셋

이 논문은 인간 운전자의 시선 추적을 기반으로 한 대규모 360 도 운전자 주의도 데이터셋 DriverGaze360을 처음 소개합니다.

• 수집 환경: CARLA 시뮬레이터 기반의 통제된 환경에서 19 명의 실제 운전자를 대상으로 수집되었습니다.
• 하드웨어 설정: 3 개의 전방 디스플레이와 2 개의 PIP(화면 속 화면) 디스플레이를 사용하여 360 도 시야를 구현하고, Pupil Core 안경형 아이트래커를 통해 120Hz 로 시선을 기록했습니다.
• 데이터 규모: 약 9 시간의 주행 영상, 100 만 장 이상의 시선 주석 (Gaze-labeled) 프레임, 다양한 날씨 및 교통 상황 (비, 밤, 고속도로, 도시 등) 을 포함합니다.
• 시나리오: 무작위 주행, 목적지 기반 주행, 그리고 고속도로 급정거, 차선 합류, 보행자 횡단 등 5 가지 안전 치명적 (Safety-critical) 상황을 포함합니다.
• 특징: 기존 데이터셋과 달리 후방 및 측면 시선 (Rear-view fixations) 이 전체 시선의 약 6% 를 차지하여, 실제 운전 행동을 충실히 반영합니다.

B. DriverGaze360-Net (모델 아키텍처)

전방위 주의도 예측을 위해 제안된 DriverGaze360-Net은 비전 트랜스포머 (ViT) 기반의 모델로, 다음과 같은 특징을 가집니다:

• Backbone: Video Swin Transformer (VST) 를 사용하여 시공간적 특징 (Spatio-temporal features) 을 추출합니다. VST 는 계층적 구조와 이동된 윈도우 (Shifted Window) 메커니즘을 통해 계산 복잡도를 줄입니다.
• 공동 학습 (Joint Learning): 두 가지 디코더를 통해 동시에 학습합니다.
  1. Attention Decoder: 운전자 주의도 맵 (Heatmap) 을 생성합니다.
  2. Attended Object Decoder (핵심 기여): 주의가 집중된 객체 (차량, 보행자, 신호등 등) 의 의미론적 분할 (Semantic Segmentation) 을 예측합니다.
• Attended Object Extraction: 시선 맵과 객체 인스턴스 분할 마스크를 결합하여, 운전자가 실제로 주시하는 객체만 선택하는 'Attended Object Mask'를 생성합니다. 이는 전체 장면이 아닌, 관련성 있는 객체에 초점을 맞추어 학습을 유도합니다.
• 손실 함수 (Loss Function): 주의도 예측 손실 (KLD + CC) 과 객체 분할 손실 (Dice + IoU + Cross-Entropy) 을 가중치 합으로 결합하여 최적화합니다.

3. 주요 기여 (Key Contributions)

1. DriverGaze360 데이터셋: 시뮬레이션 환경에서 수집된 최초의 대규모 360 도 운전자 주의도 데이터셋으로, 차선 변경, 회전, 주변 객체 상호작용 등 다양한 시나리오를 포함합니다.
2. DriverGaze360-Net: 보조 의미론적 분할 헤드를 통해 주의도 맵과 주의 대상 객체를 동시에 예측하는 트랜스포머 기반 아키텍처를 제안하여, 희소한 전방위 주의도 분포에 대한 공간적 인식 능력을 향상시켰습니다.
3. 주의 대상 객체 추출 파이프라인: 시선 분포를 객체 인스턴스에 매핑하여 객체 수준의 주의도 주석을 생성하고, 이를 모델 학습의 감독 신호 (Supervision) 로 활용하는 방법을 제시했습니다.

4. 실험 결과 (Results)

• 성능 비교: DriverGaze360 데이터셋에서 제안된 모델은 Dr(eye)VE, BDDA, DADANet, ViNet++, FBLNet 등 기존 최첨단 (SOTA) 모델들을 모든 지표 (KLD, SIM, CC, NSS) 에서 능가했습니다. 특히 KLD(12.18% 개선) 와 NSS(4.94% 개선) 에서 두드러진 향상을 보였습니다.
• 일반화 능력: 실제 주행 데이터셋인 DADA-2000 에서도 테스트되었으며, 기존 모델들보다 우수한 성능을 보여주어 데이터셋에 구애받지 않는 일반화 능력을 입증했습니다.
• Ablation Study: 'Attended Object Segmentation' 헤드를 추가한 것이 주의도 예측 성능을 크게 향상시켰음을 확인했습니다. 단순히 모든 객체를 분할하는 것보다, 운전자가 주시하는 객체만 선별하여 학습하는 것이 공간적 주의도를 더 정확하게 예측하는 데 결정적인 역할을 했습니다.

5. 의의 및 결론 (Significance)

• 전방위 인식의 중요성: 자율주행 시스템의 설명 가능성 (Explainable AI) 과 혼합 교통 환경에서의 인간 의도 예측을 위해, 전방뿐만 아니라 360 도 전체 시야를 고려한 운전자 행동 모델링이 필수적임을 증명했습니다.
• 객체 수준의 가이드: 단순한 픽셀 단위의 주의도 예측을 넘어, '무엇을 보고 있는가 (Object-level)'에 대한 정보를 학습에 통합함으로써 모델의 공간적 일관성과 해석 가능성을 높였습니다.
• 미래 전망: 이 연구는 자율주행 시스템이 인간의 주의 패턴을 더 정확하게 이해하고, 이를 바탕으로 안전하고 투명한 의사결정을 내리는 데 기여할 수 있는 기반을 마련했습니다.

이 논문은 운전자 주의도 연구의 지평을 좁은 전방 시야에서 360 도 전방위 시야로 확장하고, 객체 중심의 학습 방식을 도입하여 새로운 표준을 제시했다는 점에서 의의가 큽니다.