Real-Time Driver Emotion Detection Using Convolutional Neural Network and Computer Vision for Road Safety.

운전은 사람과 기계 사이의 끊임고 조용한 협상 과정이다. 수십 년 동안 우리를 안전하게 지키기 위해 만들어진 기술은 거의 전적으로 기계와 도로에 집중해 왔다. 센서는 타이어를 감시하고, 카메라는 차선 표시를 스캔하며, 레이더는 앞차를 추적한다. 그러나 차량에서 가장 중요한 변수는 여전히 운전대 뒤에 앉은 사람, 구체적으로는 그들의 내부 상태이다. 운전자가 화가 나거나, 스트레스를 받거나, 혹은 지쳐 있을 때, 그들의 집중력은 흐려지고 반응 속도는 느려지며, 이는 일상적인 주행을 잠재적인 위험 요소로 바꾼다. 눈의 움직임이나 하품을 추적하여 졸음을 감지하는 시스템은 존재하지만, 인간 감정의 전체 스펙트럼이 안전에 역할을 한다는 인식이 확산되고 있다. 문제는 이제 운전자가 깨어 있느냐의 문제가 아니라, 정서적으로 안전하게 운전할 수 있는 상태인가의 문제이다.

마유리 살루케(Mayuri Salunke)의 최근 연구는 운전자의 얼굴을 관찰하여 기분을 추측하는 프로토타입 시스템을 구축함으로써 이 질문에 답하는 새로운 방법을 탐구한다. 이 연구는 도로 안전 문제를 해결했다고 주장하거나, 오늘날의 자동차에 바로 적용할 수 있는 완성된 제품을 제시하는 것이 아니다. 대신, 단순한 기존 도구들의 조합이 실시간으로 함께 작동할 수 있는지에 대한 예비적인 관찰을 제공한다. 연구진은 비디오 피드를 받아 운전자의 얼굴을 찾고, 그 후 합성곱 신경망(convolutional neural network)이라고 알려진 디지털 뇌를 사용하여 그 얼굴이 무엇을 표현하고 있는지 분류하는 파이프라인을 구축했다. 이 디지털 뇌는 수천 장의 이미지를 통해 분노, 혐오, 공포, 행복, 슬픔, 놀람, 그리고 중립 상태라는 일곱 가지 기본 인간 감정을 인식하도록 훈련되었다. 그런 다음 시스템은 관찰된 감정이 안전한지 아니면 위험한지를 결정한다. 이 특정 설계에서는 행복, 놀람, 중립적인 표정은 안전한 것으로 간주되는 반면, 분노, 슬픔, 공포, 혐오는 잠재적으로 안전하지 않은 것으로 분류된다.

하지만 연구진은 컴퓨터가 실수를 할 수 있으며, 인간의 얼굴은 순식간에 표정이 변할 수 있다는 점을 이해하고 있었다. 만약 시스템이 찰나의 찌푸림이나 순간적인 분노를 볼 때마다 경보를 울린다면, 그것은 무용지물이 될 것이다. 이를 해결하기 위해 프로토타입에는 단일 프레임을 무시하는 규칙이 포함되어 있다. 시스템은 경보를 울리기 전에 불안전한 감정이 일정 시간 동안 지속되는지 확인한다. 이 접근 방식은 경보를 단일 이미지에 대한 반응이 아니라, 지속적인 상태에 대한 반응으로 취급한다. 전체 시스템은 특수한 고가의 하드웨어 없이 표준 소프트웨어 도구를 사용하여 구축되었으며 일반 컴퓨터 프로세서에서 실행되었다. 목표는 이러한 경량 시스템이 복잡한 결정을 내리면서도 비디오 피드의 속도를 따라잡을 수 있는지 확인하는 것이었다.

아이디어를 테스트하기 위해 팀은 카메라 앞에 앉아 있는 사람의 짧은 비디오 클립에 소프트웨어를 실행했다. 비디오는 115개의 프레임을 포함하고 있었으며, 시스템은 114개의 프레임에서 얼굴을 성공적으로 찾아냈다. 얼굴을 찾은 후, 소프트웨어는 표정을 분석하고 결과를 기록했다. 시스템은 약 초당 14.7 프레임의 속도로 비디오를 처리했는데, 이는 비디오의 원래 속도인 초당 24.7 프레임보다 약간 느린 수치이다. 이 특정 테스트에서 컴퓨터는 해당 인물이 대부분의 시간 동안 행복하다고 예측했지만, 슬픔과 분노의 순간 또한 식별해 냈다. 결정적으로, 이러한 "안전하지 않은" 예측들이 매우 짧은 폭발적인 형태로만 나타났기 때문에 시스템의 규칙은 경보를 발생시키지 않았다. 경보 메커니즘은 연구진이 동일한 "슬픈" 이미지를 2초 동안 반복해서 시스템에 입력했을 때만 작동하여, 타이밍 로직이 의도한 대로 작동함을 증명했다.

이 연구의 결과는 엄격히 예비적인 수준이다. 연구진은 비디오에 진실을 검증할 라벨이 없었기 때문에 컴퓨터의 감정 추측이 실제로 맞는지 알 수 없었다는 점을 주의 깊게 명시했다. 비디오 속 인물은 차를 운전하고 있지 않았으며, 조명과 각도 또한 실제 도로의 상황이 아니었다. 또한, 사용된 특정 디지털 뇌가 피로나 졸음 상태를 인식하도록 훈련되지 않았기 때문에 시스템은 피로나 졸음을 직접 감지할 수 없었다. 더욱이 시스템은 비디오 속도와 관련하여 약간 어려움을 겪었는데, 이는 실제 자동차 환경에서는 속도를 맞추기 위해 일부 프레임을 건너뛰어야 할 수도 있음을 시사한다. 저자는 이 작업이 개념 증명(proof of concept)이며, 구성 요소들을 조립하여 일반적인 하드웨어에서 실행할 수 있음을 보여주는 것이지, 아직 신뢰할 수 있는 실제 운전용 도구는 아니라고 강조한다.

이러한 한계에도 불구하고, 이 실험은 명확한 발전 방향을 보여준다. 이는 얼굴 감지, 감정 분류, 그리고 지속적인 상태를 기다리는 논리 규칙을 하나의 작동하는 시스템으로 결합하는 것이 가능하다는 것을 보여준다. 이 연구는 기술이 인간의 판단이나 기존의 안전 기능을 대체할 준비가 되었다는 것이 아니라, 기본적인 아키텍처가 실행 가능하다는 것을 시사한다. 향후 연구는 실제 차량 내의 실제 운전자를 대상으로 시스템을 테스트하고, 감정 감지의 정확도를 높이며, 움직이는 자동차의 과제를 다루는 더 나은 방법들을 찾아내야 할 것이다. 현재로서는, 이 연구는 자동차가 언젠가 도로뿐만 아니라 그것을 운전하는 사람까지도 이해할 수 있는 미래를 향한 조용한 한 걸음으로 남아 있다.