Towards Driver Behavior Understanding: Weakly-Supervised Risk Perception in Driving Scenes

이 논문은 운전자의 위험 인식과 맥락적 위험 평가를 위한 대규모 데이터셋 RAID 를 구축하고, 이를 활용하여 운전자의 의도된 기동과 반응을 기반으로 잠재적 위험원을 식별하는 약지도 학습 프레임워크를 제안하여 기존 최첨단 방법 대비 성능을 크게 향상시켰음을 보여줍니다.

핵심

🚗 1. 문제: 왜 운전자는 갑자기 차를 멈추거나 방향을 틀까?

운전할 때 우리는 수많은 정보를 처리합니다. "저기 사람이 건너가네", "앞차 브레이크가 켜졌네", "신호등이 빨간색이야" 같은 것들이죠. 하지만 인공지능 (자율주행차) 에게는 이 모든 게 단순한 '화면'일 뿐입니다.

• 기존의 접근: "앞에 차가 멈추면 충돌 확률이 높으니 위험해!"라고 계산합니다. (수학적 접근)
• 이 논문의 접근: "운전자가 왜 멈췄을까? 아, 저 사람이 건너는 걸 보고 멈춘 거구나!"라고 운전자의 행동을 통해 위험을 추론합니다. (심리적/행동적 접근)

이것은 마치 의사가 환자의 표정과 행동을 보고 병을 진단하는 것과 비슷합니다. 환자가 "아프다"고 말하지 않아도, 얼굴이 창백하고 손이 떨리면 "아, 위급한 상황이구나"라고 알 수 있죠.

📦 2. 해결책: 'RAID'라는 거대한 데이터 도서관

연구진은 이 문제를 해결하기 위해 **'RAID'**라는 새로운 데이터셋을 만들었습니다. RAID 는 'Risk Assessment In Driving scenes(주행 장면의 위험 평가)'의 약자입니다.

• 비유: 기존 데이터들은 '운전 시뮬레이션'처럼 제한된 상황만 담고 있었습니다. 하지만 RAID 는 실제 샌프란시스코의 거리를 찍은 4,691 개의 영상 클립으로, 다양한 상황 (보행자, 자전거, 주차된 차, 신호등 등) 을 담고 있습니다.
• 특별한 점: 다른 데이터셋에는 없던 **'보행자의 눈빛'**까지 기록했습니다.
  • 보행자가 차를 보고 있나요? (눈이 마주침 = "나를 봤어, 멈출 거야"라는 신호)
  • 아니면 보행자가 스마트폰을 보고 있나요? (눈이 안 마주침 = "차에 관심 없어, 위험해")
  • 이 '눈빛'까지 분석해야 운전자가 얼마나 위험을 느끼는지 정확히 알 수 있습니다.

🧠 3. 방법론: AI 가 어떻게 배우는가? (약한 지도 학습)

이 연구의 핵심은 **'약한 지도 학습 (Weakly Supervised Learning)'**입니다.

• 기존 방식: AI 에게 "이 영상에서 위험한 물체는 빨간색 박스로 표시해"라고 일일이 가르쳐야 합니다. (엄청난 비용과 시간 필요)
• 이 연구의 방식: "운전자가 차를 멈췄어. 그 멈춤의 원인이 된 물체는 뭐였을까?"라고 결과 (행동) 를 보고 원인을 역추적하게 합니다.
  • 비유: 요리사가 "이 요리에 소금 맛이 너무 강해"라고 말했을 때, 요리사가 직접 소금통을 가리키지 않아도 AI 가 "아, 소금통이 위험 요소였구나"라고 추론하는 것과 같습니다.

연구진은 AI 에게 두 가지 일을 시켰습니다:

1. 시나리오 분석: 도로 위의 사람, 차, 자전거 등을 그래프 형태로 연결합니다. (누가 누구와 관계가 있는지)
2. 운전자 행동 예측: "운전자가 앞으로 직진할까, 우회전할까?"를 예측하게 합니다.

이 두 가지 정보를 합쳐서, **"운전자가 멈춘 이유는 바로 저 사람 (또는 저 차) 때문이야!"**라고 찾아냅니다.

👀 4. 핵심 발견: '눈맞춤'의 힘

이 논문에서 가장 흥미로운 부분은 **보행자의 '눈맞춤 (Attention)'**을 분석한 부분입니다.

• 상황: 보행자가 차를 건너려 합니다.
  • 눈을 마주친 경우: 운전자는 "아, 저 사람이 나를 봤으니 멈출 거야"라고 생각하며 위험을 덜 느낍니다.
  • 눈을 피한 경우: 운전자는 "저 사람은 나를 못 봤네, 갑자기 튀어나올 수도 있어"라고 생각하며 위험을 크게 느낍니다.
• 결과: AI 가 보행자의 눈빛까지 고려하면, 위험을 판단하는 정확도가 기존 기술보다 20~23%나 향상되었습니다.

이는 마치 대화할 때 상대방의 눈을 보고 이해하는 것과 같습니다. 말만 들으면 오해가 생길 수 있지만, 눈을 마주치면 의도를 정확히 파악할 수 있는 것과 같습니다.

🏆 5. 결론: 왜 이것이 중요한가?

이 연구는 자율주행차가 단순히 "물체를 감지하는 카메라"를 넘어, **"운전자의 마음을 읽는 AI"**로 발전하는 첫걸음입니다.

• 기존: "저 차가 멈췄으니 나도 멈춰." (수동적)
• 미래: "저 사람이 차를 보고 있네, 그래서 운전자가 천천히 지나갈 거야. 나도 천천히 지나가자." (능동적 이해)

이 기술이 발전하면, 자율주행차는 더 안전하고 자연스러운 운전이 가능해져, 도로 위의 '사고'를 '0'으로 만드는 데 큰 기여를 할 것입니다.

---

한 줄 요약:

"이 연구는 AI 가 운전자의 행동과 보행자의 눈빛을 분석해, 인간이 느끼는 '위험'을 더 똑똑하게 이해하게 만드는 새로운 데이터와 방법을 개발했습니다."

기술 요약

이 논문은 자율주행 및 지능형 차량 시스템의 핵심 목표인 '무사고 이동 (zero-collision mobility)'을 달성하기 위해, **운전자의 위험 인식 **(Risk Perception)을 이해하는 데 초점을 맞추고 있습니다. 특히, 외부 자극에 대한 운전자의 자발적 반응과 도로 사용자 (보행자 등) 의 주의 집중 (attentiveness) 이 위험 평가에 어떻게 영향을 미치는지 분석하기 위한 새로운 데이터셋과 방법론을 제안합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 기존 연구의 한계: 기존 연구들은 주로 충돌 확률 예측에 기반하여 위험을 정의하거나, 제한된 시나리오와 행동적 단서 (예: 보행자의 주의 집중 여부) 가 부족하여 운전자의 실제 인지 과정을 충분히 반영하지 못했습니다.
• 핵심 과제: 운전자의 위험 인식은 단순한 충돌 예측이 아니라, 운전자가 위험 상황을 인지하고 경로 이탈이나 정지 등의 **행동 반응 **(Behavioral Response)을 보일 때 발생합니다. 또한, 보행자가 운전자와 눈을 맞추는지 (Joint Attention) 와 같은 비언어적 소통은 위험 평가에 중요한 요소이나, 이를 체계적으로 연구할 수 있는 대규모 데이터셋과 모델이 부재했습니다.

2. 주요 기여 (Key Contributions)

이 논문은 다음과 같은 세 가지 주요 기여를 합니다.

1. **RAID 데이터셋 **(Risk Assessment In Driving scenes)

   • 규모 및 구성: 샌프란시스코 베이 지역에서 수집된 4,691 개의 주석 처리된 비디오 클립으로 구성된 대규모 데이터셋입니다.
   • 다양한 레이블: 운전자의 의도된 기동 (Left/Right Turn, Go-Straight), 도로 지형, 10 가지 위험 상황 (예: 횡단보도 보행자, 정지 신호 등), 운전자의 반응 (Continue/Alter), 그리고 **보행자의 주의 집중 **(Pedestrian Attention) 레이블을 포함합니다.
   • 고유한 특징: 기존 데이터셋 (JAAD, HDDS 등) 과 달리, 보행자의 **얼굴 **(Face) 및 **주의 집중 상태 **(Looking/Not Looking)를 명시적으로 주석 처리하여, 얼굴 기반의 주의 집중 분석이 가능합니다. 또한, 실제 운전 환경의 긴 꼬리 분포 (희귀한 사고 상황) 를 반영합니다.

2. 약지도 학습 기반 위험 객체 식별 프레임워크:

   • 운전자의 행동 변화 (Cause) 와 반응 (Effect) 간의 인과 관계를 모델링하여 위험 원인을 식별하는 약지도 (Weakly-Supervised) 모델을 제안합니다.
   • **그래프 컨볼루션 네트워크 **(GCN)를 사용하여 교통 참여자 (차량, 보행자 등) 간의 시공간적 관계를 모델링합니다.
   • **부분 컨볼루션 **(Partial Convolution)을 통해 특정 객체를 가리고 (Masking) 운전자의 반응이 어떻게 변하는지 시뮬레이션하여, 가장 큰 영향을 미치는 객체 (위험 객체) 를 식별합니다.

3. 보행자 주의 집중과 위험 평가의 통합 분석:

   • 얼굴 기반 주의 집중 감지 모델을 개발하여, 보행자가 운전자 쪽을 보고 있는지 여부를 분류 및 탐지합니다.
   • 식별된 위험 객체 점수와 보행자의 주의 집중 상태를 결합한 **공동 위험 평가 **(Joint Risk Assessment) 지수를 제안합니다.

3. 방법론 (Methodology)

• **위험 객체 식별 **(Risk Object Identification)

  • 입력: RGB 프레임 시퀀스와 객체 트랙릿 (Tracklets).
  • 그래프 구성: Mask R-CNN 과 Deep SORT 를 사용하여 객체를 탐지 및 추적하고, 이를 노드로 하는 시공간 그래프를 구성합니다.
  • 모델 구조:
    1. **그래프 신경망 **(GCN) 객체 간의 외관 및 관계 특징을 학습합니다.
    2. **운전자 행동 예측 **(Driver Action Prediction) ResNet-50 과 인코더 - 디코더 LSTM 구조를 사용하여 운전자의 미래 행동을 예측합니다. 이는 운전자의 의도를 파악하는 데 도움을 줍니다.
    3. 결합 및 추론: 그래프 특징과 운전자의 행동 특징을 결합하여 운전자의 반응 (Continue/Alter) 을 예측합니다. 추론 시, 각 객체를 순차적으로 마스킹하여 운전자의 반응이 'Continue(계속 주행)'로 가장 크게 변하는 객체를 위험 객체로 판별합니다.

• **보행자 주의 집중 **(Pedestrian Attentiveness)

  • 분류: 보행자 전체 몸통 이미지와 얼굴 이미지를 ResNet-101 에 입력하여 'Looking', 'Not Looking', 'Not Sure'로 분류합니다. 얼굴 정보가 더 강력한 단서임을 입증했습니다.
  • 탐지: WIDER FACE 기반의 탐지기에 주의 집중 분류 헤드를 추가하여, 얼굴 박스 내에서 주의 집중 상태를 동시에 예측합니다.

• **공동 위험 평가 **(Joint Risk Assessment)

  • 식별된 위험 객체 점수 ($s_{roi}$) 와 보행자의 주의 집중 점수 ($s_{look}$) 를 결합하여 최종 위험 점수를 계산합니다.
  • 공식: $s_{risk} = s_{roi} + \frac{(1 - s_{look})}{2}$
  • 즉, 보행자가 운전자 쪽을 보고 있다면 ($s_{look}$이 높음), 위험 점수가 감소하도록 설계되었습니다.

4. 실험 결과 (Results)

• 데이터셋 비교: RAID 는 기존 데이터셋 (JAAD, PIE, HDDS 등) 에 비해 위험 상황의 다양성, 보행자 주의 집중 레이블, 얼굴 주석 등 훨씬 풍부한 정보를 제공합니다.
• 성능 향상:
  • HDDS 데이터셋: 기존 최첨단 (SOTA) 방법론 대비 **20.6%**의 성능 향상 (평균 정확도 기준) 을 기록했습니다. 특히 운전자의 행동 정보를 추가한 모델 (Ours+) 은 더 높은 성능을 보였습니다.
  • RAID 데이터셋: 제안된 방법론이 기존 방법론 대비 **23.1%**의 성능 향상을 보였습니다.
  • 보행자 주의 집중: 얼굴 기반 분류 모델은 기존 몸통 기반 모델 (JAAD 기반) 보다 평균 정밀도 (mAP) 에서 21.66%p (83.76% vs 62.10%) 높은 성능을 보였습니다.
• 분석: 보행자가 운전자와 눈을 맞추는 경우, 객관적인 위험은 존재하지만 운전자의 인지된 위험은 감소하여 최종 위험 점수가 낮아지는 것을 정성적, 정량적으로 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 인간-AI 상호작용의 심화: 이 연구는 단순히 물리적 충돌을 예측하는 것을 넘어, 운전자의 심리적 인지 과정과 보행자의 비언어적 신호 (주의 집중) 를 통합적으로 고려한 위험 평가 체계를 최초로 제안했습니다.
• 데이터셋의 가치: RAID 데이터셋은 보행자의 얼굴과 주의 집중을 포함한 대규모 자연주의 주행 데이터로, 향후 자율주행 시스템의 안전성 향상과 인간 중심의 위험 인식 연구에 필수적인 벤치마크를 제공합니다.
• 미래 전망: 도로 지형 (Road Topology) 정보를 추가로 통합하여 모델 성능을 더욱 고도화하고, 희귀하지만 치명적인 사고 상황에 대한 연구를 확장할 계획입니다.

요약하자면, 이 논문은 RAID 데이터셋과 약지도 학습 기반의 통합 모델을 통해 운전자의 위험 인식을 보행자의 주의 집중과 결합하여 분석함으로써, 자율주행 시스템이 인간 운전자의 사고 방식을 더 잘 모방하고 안전성을 높일 수 있는 새로운 방향을 제시했습니다.