Leakage-Resistant Evaluation of Calibrated Multimodal Driver Drowsiness Detection Across Drivers and Routes

당신이 로봇에게 운전자가 졸음 운전을 하기 직전의 상태를 포착하는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇에게 카메라, 스마트워치, 그리고 대시보드 센서를 주어 운전자를 관찰하게 합니다. 하지만 여기서 까다로운 점이 있습니다. 주의를 기울이지 않으면, 로봇이 '지름길'에 의존할 수 있다는 것입니다. 로봇은 실제로 '졸음'이 무엇처럼 보이는지를 배우는 대신, 특정 운전자의 얼굴이나 특정 도로를 인식하는 법을 배울 수도 있습니다. 이는 수학 공식 대신 연습 문제의 답을 통째로 외워서 시험을 공부하는 것과 같습니다. 시험 문제가 조금이라도 바뀌면 로봇은 실패하게 됩니다. 이것이 바로 인공지능에서의 "데이터 누수(data leakage)" 문제입니다.

진정으로 안전한 시스템을 구축하려면, 우리는 로봇이 '무거운 눈꺼풀', '느린 반응', 또는 '심박수 변화'와 같은 보편적인 졸음의 징후를 학습하여, 본 적 없는 도로에서도, 어떤 운전자에게도 적용될 수 있도록 만들어야 합니다. 또한 로봇이 단순히 "깨어 있음" 또는 "잠듦"을 추측하는 것이 아니라, 자신이 얼마나 확신하는지도 말할 수 있어야 합니다. 만약 로봇이 운전자가 잠들었다고 99% 확신한다면, 우리는 그 숫자를 신뢰할 수 있어야 합니다. 이 논문은 이러한 질문들을 깊이 있게 파고들며, 이전의 졸음 운전 탐지기에 대한 주장들이 정말 공정했는지, 아니면 그저 지름길에 의존한 운 좋은 추측이었는지를 확인하는 엄격한 심판 역할을 합니다.

---

위대한 졸음 탐정 감사 (The Great Drowsiness Detective Audit)

이 연구에서 연구진은 "누수 탐정" 역할을 하기로 했습니다. 그들은 두 개의 거대한 데이터 집합—고속도로, 험한 지형, 도시 도로에서 수집된 15명의 운전자에 대한 225,000개의 관측치 데이터와, 20명의 사람으로부터 얻은 87,000개 이상의 피부 전도도 데이터—을 가져와서, 지름길을 허용하지 않는 엄격한 테스트를 거치게 했습니다. 그들의 목표는 이전 연구에서 가장 뛰어난 성능을 보였던 모델들이, 정답을 훔쳐보거나 특정 운전자를 암기하는 것이 금지되었을 때도 여전히 제 역할을 수행할 수 있는지 확인하는 것이었습니다.

"지름길" 청소하기
먼저, 연구진은 데이터를 깨끗하게 정리했습니다. 그들은 일부 데이터 열(column)이 마치 탐정에게 정답지를 주는 것과 같다는 사실을 깨달았습니다. 예를 들어, 데이터에 "갑작스러운 브레이크 발생"이라는 열이 포함되어 있다면, 컴퓨터는 실제로 운전자의 상태를 이해하는 대신 브레이크가 밟힐 때마다 그냥 "졸음"이라고 추측할 수 있습니다. 그들은 또한 "졸음" 라벨을 다르게 표현한 것에 불과한 모든 열을 제거했습니다. 이러한 "지름길"들을 모두 제거하고 나니, 심박수, 움켜쥐는 압력, 발의 움직임, 차량 데이터와 같은 가공되지 않은 정직한 신호들만 남았습니다.

네 가지 테스트 방식
모델이 정말 똑똑한 것인지 아니면 단순히 암기하는 것인지 확인하기 위해, 팀은 게임의 규칙을 바꾸어 누가 진짜 규칙을 알고 있는지 확인하는 것처럼 네 가지 다른 테스트 전략을 사용했습니다:

1. 무작위 행 분할 (Random Row Split): 모든 데이터를 카드 덱처럼 섞는 방식입니다. 이는 컴퓨터가 훈련과 테스트 양쪽 모두에서 동일한 운전자의 조각들을 보게 되는 "이지 모드"입니다.
2. 시간 블록 방식 (Time-Blocked): 영화를 보고 마지막 20분을 보지 않고 결말을 예측하는 것처럼, 컴퓨터가 오직 과거의 데이터로부터 미래를 예측하도록 만드는 방식입니다.
3. 운전자 제외 방식 (Driver-Held-Out): 이것은 "새로운 운전자" 테스트입니다. 컴퓨터는 10명의 운전자로부터 학습하고, 한 번도 만난 적 없는 5명의 운전자를 대상으로 테스트를 받습니다.
4. 경로 제외 방식 (Route-Held-Out): 궁극의 "새로운 세상" 테스트입니다. 컴퓨터는 고속도로와 험한 도로에서 학습하지만, 한 번도 본 적 없는 복잡한 도시 교통 상황에서 테스트를 받습니다.

승자: "올인원(All-in-One)" 두뇌
연구진은 세 가지 유형의 AI 두뇌를 테스트했습니다: 단순한 선형 사고가(로지스틱 회귀), Pooled HGB(히스토그램 기반 그래디언트 부스팅)라고 불리는 복잡한 트리 학습기, 그리고 의견을 모아 투표하는 전문가 팀(CQMF, 즉 보정된 품질 가중 모달리티 퓨전)입니다.

놀라운 승자는 Pooled HGB였습니다. 이 모델을 모든 것을 동시에 보는 하나의 초스마트한 탐정이라고 생각해보세요. 이 모델은 심박수, 발의 움직임, 자동차 속도를 동시에 고려합니다. 이 모델은 단서들을 서로 다른 카테고리로 나누려고 하지 않았고, 데이터가 서로에게 직접 말하게 두었습니다.

• 새로운 운전자를 대상으로 테스트했을 때 (Driver-Held-Out), 이 모델은 깨어 있음과 잠듦을 구별하는 데 있어 0.9990 (1.0 만점)의 점수를 기록했으며, 드문 졸음 순간을 찾아내는 데 있어서도 0.9819의 점수를 기록하며 놀라운 정확도를 보였습니다.
• 또한 자신의 확신에 대해 매우 정직했습니다. 이 모델의 "브리어 점수(Brier score, 확신도가 실제와 얼마나 일치하는지를 측정하는 척도)"는 0.00355로 매우 낮았는데, 이는 모델이 "90% 확신합니다"라고 말했을 때 거의 항상 옳았음을 의미합니다.

"전문가 팀"의 실패
연구진은 "전문가 팀"(CQMF)이 더 나을 것이라고 기대했습니다. 아이디어는 이렇습니다: 한 AI는 심장을 관찰하고, 다른 AI는 손을 관찰하며, 세 번째 AI는 자동차를 관찰하게 한 뒤, 그들이 투표하게 하는 것입니다. 하지만 이 접근 방식은 실제로 성능이 더 떨어졌습니다. 각자의 의견을 결합하려고 할 때, 그들은 신호들 사이의 미묘한 연결 고리들을 놓치고 말았습니다. 결국, 전체 그림을 보는 단일한 탐정이 서로 대화할 수 없는 전문가 위원회보다 더 낫다는 것이 밝혀졌습니다. "올인원" 두뇌는 특정 심박수 패턴이 자동차의 상태에 따라 어떻게 다르게 의미를 갖는지에 대한 미묘한 관계를 포착해냈지만, 분리된 전문가들은 이를 놓쳤습니다.

"새로운 도로"에 대한 페널티
여기서 성능이 완벽하지 않은 부분이 나타납니다. 연구진이 완전히 새로운 유형의 도로에서 모델을 테스트했을 때 (Route-Held-Out), 성능이 떨어졌습니다.

• 고속도로에서는 모델이 여전히 훌륭했습니다.
• 하지만 밀집된 도시 경로에서는 졸음 운전자를 포착하는 능력이 떨어졌습니다. "민감도(sensitivity, 실제로 잡아낸 졸음 운전자의 비율)"는 0.7216으로 하락했습니다.
  이는 "경로 전이 페널티(route-transfer penalty)"를 보여줍니다. 모델은 고속도로에서의 졸음 운전자가 어떤 모습인지 학습했지만, 도시 주행은 혼란스럽고 다릅니다. 만약 고속도로에서만 학습된 모델을 바쁜 도시에 가져다 놓는다면, 졸음 운전자를 놓칠 수도 있습니다.

"고장 난 센서" 스트레스 테스트
현실 세계는 무질서합니다. 센서가 고장 나고, 전선이 헐거워지며, 데이터가 유실되기도 합니다. 연구진은 데이터를 무작위로 10%, 20%, 30%, 심지어 **50%**까지 삭제하여 어떤 일이 벌어지는지 시뮬레이션했습니다.

• "올인원" 모델(Pooled HGB)은 놀라울 정도로 잘 버텼습니다. 데이터가 **50%**나 사라진 상태에서도 여전히 0.6630이라는 준수한 점수를 유지했습니다.
• 반면 "전문가 팀"(CQMF)은 훨씬 빠르게 무너졌으며, 데이터가 50% 부족할 때 0.5260으로 떨어졌습니다.
  이는 하나의 견고한 모델을 갖는 것이, 특정 센서가 고장 났을 때 모두 침묵해버릴 수 있는 전문가 팀에 의존하는 것보다 더 낫다는 것을 시사합니다.

피부 전도도의 미스터리
팀은 피부 전도도(스트레스를 받거나 졸릴 때 피부가 얼마나 땀을 흘리는지)와 관련된 두 번째 데이터셋도 살펴보았습니다. "지름길"을 제거한 후에도 모델은 여전히 놀라운 성능을 보이며 0.9994의 점수를 기록했습니다. 그러나 연구진은 신중한 태도를 보였습니다. 원본 비디오나 오디오 로그가 없었기 때문에, "졸음" 라벨 자체가 처음부터 완벽하게 정확했는지 100% 확신할 수 없었기 때문입니다. 이는 마치 시험에서 만점을 받았지만, 선생님이 채점을 공정하게 했는지 알 수 없는 것과 같습니다. 따라서 수치는 훌륭해 보이지만, 이것이 실제 세상에서 작동한다는 것을 증명한다고 단정 지을 수는 없습니다.

결론 (The Bottom Line)

이 논문은 단순히 어떤 AI 모델이 "최고"인지 말하는 것이 아닙니다. 이 논문은 우리가 어떻게 지름길에 의존하는 것을 멈출 수 있는지 가르쳐줍니다. 주요 시사점은 당신이 보지 못한 운전자와 도로에 대해 테스트하지 않는 한, 운전자 졸음 감지 시스템을 신뢰해서는 안 된다는 것입니다.

연구는 모든 데이터를 함께 살펴보는 강력한 단일 모델(Pooled HGB)이 가장 신뢰할 수 있다는 것을 발견했습니다. 이 모델은 별도의 모델들을 결합하는 것보다 뛰어나며, 누락된 데이터를 처리할 만큼 견고합니다. 그러나 연구는 최선의 모델이라 할지라도 완벽하지 않다는 경고를 덧붙입니다. 만약 시스템을 고속도로에서 복잡한 도시로 옮기거나, 센서가 고장 나기 시작하면 시스템은 위험을 놓칠 수 있습니다.

저자들은 현재 우리가 졸음을 포착하기 위한 매우 강력한 도구를 가지고 있지만, 아직 이 시스템을 모든 차에 넣을 준비는 되지 않았다고 결론짓습니다. 우리는 더 많은 실전 테스트, 원시 센서로부터의 더 나은 데이터, 그리고 자신이 혼란스러울 때 도움을 요청할 줄 아는 시스템이 필요합니다. 그때까지 이 연구는 우리가 시스템이 안전하다고 주장할 때, 그것이 그저 운 좋은 추측에 속아 넘어가고 있는 것은 아닌지 확인하는 중요한 "누수 감사" 역할을 합니다.