YawDD+: Frame-level Annotations for Accurate Yawn Prediction

기술 요약: YAWDD+ – 엣지 플랫폼을 위한 정확한 하품 인식용 프레임 단위 주석

문제 제기
운전자의 피로는 치명적인 안전 문제이며, 도로 사고의 약 24% 를 차지합니다. 하품은 이러한 피로의 주요 초기 행동 지표로 작용합니다. 기존 데이터셋인 YawDD 와 같은 비디오 기반 주석은 거친 시간적 레이블링으로 인해 체계적인 노이즈를 겪습니다. 이러한 데이터셋에서는 대부분의 프레임이 하품하지 않는 행동 (예: 정상적인 운전, 대화, 미소) 을 묘사함에도 불구하고 전체 비디오 클립이 "하품"으로 레이블링됩니다. 이러한 불일치는 견고한 머신러닝 모델의 훈련을 방해하는 노이즈를 유발합니다. 또한, 현재 최첨단 솔루션들은 종종 클라우드 인프라나 무거운 비디오 트랜스포머 아키텍처에 의존하는데, 이는 계산 비용이 많이 들고 연결성이 제한적이며 데이터 프라이버시가 최우선인 차량 내 실시간 온디바이스 배포에는 비실용적입니다.

방법론
레이블 노이즈를 해결하고 효율적인 엣지 배포를 가능하게 하기 위해, 저자들은 원래 YawDD 에서 파생된 정밀한 프레임 단위 주석을 갖춘 개선된 데이터셋 **YawDD+**를 제안합니다. 그들의 접근 방식의 핵심은 인간-루프 검증이 포함된 반자동 주석 파이프라인으로, 세 단계로 구성됩니다:

1. 입술 상태 분류: 약 42 만 1,000 개의 파라미터를 가진 경량 합성곱 신경망 (CNN) 을 훈련시켜 입술 상태를 "열림" 또는 "닫힘"으로 분류합니다. 이 모델은 기존 입술 상태 데이터셋의 부족을 극복하기 위해 데이터 증강을 활용하여 이진 분류 작업에서 96% 의 정확도를 달성합니다.
2. 얼굴 감지 및 랜드마크 추출: 파이프라인은 다양한 조명과 자세에 걸쳐 견고한 운전자 얼굴 감지를 위해 YOLOv8 을 사용합니다. 정밀한 입술 영역 추출을 보장하기 위해 시스템은 468 개의 3D 얼굴 랜드마크를 생성하는 MediaPipe Face Mesh 를 통합합니다. 이 접근법은 차량 환경에서 Dlib 감지기의 시간적 불안정성을 극복합니다. 시스템은 운전자 얼굴 (가장 큰 바운딩 박스) 을 자동으로 선택하고 구성 가능한 패딩을 가진 특정 입술 랜드마크를 사용하여 입술 영역을 추출합니다.
3. 자동 주석 및 인간 검증: 훈련된 CNN 은 잘라낸 입술 영역을 분류합니다. 높은 신뢰도 (>95%) 를 가진 예측은 자동으로 승인됩니다. 낮은 신뢰도 사례는 64 장 이미지 단위로 오탐지와 오검출을 수정할 수 있도록 사용자 정의 GUI 로 라우팅되어 인간 검증에 회부됩니다. 이 프로세스는 약 80% 의 주석 작업을 자동화하면서 인간 노력을 도전적인 엣지 사례에 집중시킴으로써 수동 노력을 줄입니다.

결과적으로 생성된 **YawDD+**데이터셋은 124,201 개의 주석된 "하품" 프레임과 222,837 개의 "비하품" 프레임을 포함하여 총 287,225 개의 프레임으로 구성됩니다.

주요 기여

• YawDD+ 데이터셋: 비디오 수준 주석에 존재하는 체계적인 노이즈를 제거하고 다른 입술 움직임과 특정 하품 사례를 구분하는 고품질 프레임 단위 주석 데이터셋의 생성.
• 반자동 파이프라인: 높은 데이터 품질을 유지하면서 주석 시간을 획기적으로 단축하는 확장 가능한 인간-루프 주석 프레임워크.
• 엣지 최적화 훈련 및 추론: 서버 측 계산에 의존하지 않고 엣지 장치 (NVIDIA Jetson NANO 및 AGX) 에서 직접 모델을 훈련하고 배포 (분류를 위한 MNasNet 및 감지를 위한 YOLOv11) 하는 것의 입증.

실험 결과
저자들은 NVIDIA Jetson 플랫폼을 사용하여 YawDD+ 데이터셋에서 MNasNet 과 YOLOv11 을 평가했습니다:

• 정확도 향상: 비디오 수준 감독에 비해 YawDD+ 로 훈련할 경우 프레임 정확도가 최대 6% 향상되고 평균 정밀도 (mAP) 가 5% 향상되었습니다.
• 성능 지표:
  • MNasNet (분류): **99.34%**의 정확도와 98.30% 의 F1 점수를 달성했습니다.
  • YOLOv11 (감지): **95.69%**의 mAP50–95 와 98.67% 의 F1 점수를 달성했습니다.
• 효율성:
  • 추론 지연 시간: 모델은 Jetson AGX 에서 분류 시 12.03 ms, 감지 시 24.33 ms라는 낮은 추론 시간으로 실시간 능력을 입증했으며, 이는 최대 115 FPS에 해당합니다.
  • 훈련 시간: 온디바이스 훈련이 가능했으며, MNasNet 은 Jetson AGX 에서 한 에포크를 단 8.69 분에 완료했습니다.
• 비교: 이러한 결과는 이전 프레임 기반 연구들 (93.31% 에서 94.5% 의 정확도 범위) 보다 우수하며, 비디오 기반 트랜스포머 아키텍처 (예: 2s-STGCN, DLS) 와 관련된 높은 추론 비용 및 엣지 배포 지표 부재를 피합니다.

의의 및 주장
이 논문은 YawDD+ 가 제공하는 향상된 데이터 품질이 경량 아키텍처의 우수한 성능을 이끄는 주요 동력이라고 주장합니다. 레이블 노이즈를 제거함으로써 저자들은 복잡하고 자원이 많이 소요되는 비디오 트랜스포머가 고정밀 하품 감지를 위해 반드시 필요하지 않음을 입증합니다. 대신, 정밀한 프레임 단위 주석은 상용 엣지 하드웨어의 계산 및 메모리 제약 내에서 작동하면서도 최첨단 정확도를 달성할 수 있는 효율적이고 경량인 모델을 가능하게 합니다.

이 연구는 클라우드 의존 없이 실시간으로 작동하는 온디바이스 운전자 피로 모니터링 시스템의 실현 가능성을 검증하여 자동차 안전 응용 분야에서 데이터 프라이버시, 지연 시간, 신뢰성에 대한 중요한 요구 사항을 해결합니다. 저자들은 반자동 파이프라인을 다른 비전 작업으로 이전하여 수동 주석 부담을 줄일 수 있으며, 이 데이터셋은 다중 모달 피로 분석 및 정밀한 얼굴 행동 분석이 필요한 다른 분야를 지원할 수 있다고 제안합니다.