🤖 AI

Spatiotemporal Facial Action Unit Detection using Twin Cycle Autoencoders for Driver Monitoring

본 논문은 까다로운 차량 내부 조건에서도 안면 행동 단위(Facial Action Units)를 강건하게 탐지하기 위해 공간적 외형 분리(spatial appearance disentanglement)와 시간적 궤적 일관성(temporal trajectory consistency)을 통합한 새로운 시공간 아키텍처인 Twin Cycle Autoencoder(TCA)를 제안하며, 이는 임베디드 하드웨어에서 실시간 처리량을 유지하면서 벤치마크에서 최첨단 성능을 달성한다.

원저자: Sai Sidharth D

게시일 2026-07-21✓ Author reviewed ⓘ

📖 6 분 읽기🧠 심층 분석

CC0 1.0

원저자: Sai Sidharth D

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 탐정이 되어 미스터리를 풀고 있다고 상상해 보십시오. 하지만 당신에게 주어진 유일한 단서는 깜빡거리고 거친 보안 카메라 영상뿐입니다. 당신은 도둑을 찾는 것이 아니라, 운전 중에 졸음이 쏟아지려는 운전자를 찾고 있습니다. 이것이 바로 운전 중 우리의 표정을 관찰하여 안전을 지키는 데 전념하는 컴퓨터 과학 분야인 운전자 모니터링 시스템(DMS)의 세계입니다. 수년 동안 이러한 시스템은 눈을 얼마나 오래 감고 있는지 세거나 차가 어떻게 흔들리는지 확인하는 것과 같은 단순한 기술에 의존해 왔습니다. 하지만 진짜 이야기는 얼굴 근육의 아주 미세하고 불수의적인 떨림 속에 담겨 있습니다. 과학자들은 이러한 미세한 움직임을 "액션 유닛(Action Units, AUs)"이라고 부릅니다. AU를 하나의 원자적인 근육 명령이라고 생각하십시오. 예를 들어, 하품할 때 발생하는 특정한 떨림이나 잠과 싸울 때 눈꺼풀이 미세하게 조여지는 현상 같은 것입니다. 문제는 자동차 내부에서는 조명이 눈부신 햇빛에서 칠흑 같은 어둠으로 변하고, 머리가 앞뒤로 흔들리며, 때로는 선글라스를 착용하기도 한다는 점입니다. 이는 컴퓨터가 그림자나 유리 뒤에 숨겨진, 1초도 채 되지 않는 짧은 근육의 떨림을 포착해야 하는 혼란스러운 환경입니다.

이 논문은 "트윈 사이클 오토인코더(Twin Cycle Autoencoder, TCA)"라는 새로운 종류의 디지털 탐정을 소개합니다. TCA는 단순히 한 장의 스냅샷을 보고 운전자의 상태를 추측하는 대신, 두 개의 영리한 "루프(loop)"를 사용하여 시간에 따른 얼굴의 이야기를 학습합니다. 첫 번째 루프인 "공간(Spatial)" 브랜치는 사람의 신원이나 착용물을 무시하면서 근육의 움직임을 인식하는 법을 배웁니다. 두 번째 루프인 "시간(Temporal)" 브랜치는 시간 여행을 하는 편집자처럼 작동하며, 영상을 정방향과 역방향 모두로 재생하여 움직임의 이야기가 양방향 모두에서 논리적으로 타당한지 확인합니다. 이 두 루프가 서로 일치하도록 강제함으로써, 이 시스템은 카메라 성능이 저하된 상황에서도 느린 눈 깜빡임이나 반쯤 벌어진 입과 같은 아주 미세한 피로의 징후를 포착해 낼 수 있습니다. 연구진은 표준 데이터셋과 실제 주행 시뮬레이터를 통해 테스트를 진행했으며, 그 결과 이 "트윈" 시스템이 기존 방식보다 미세하고 찰나적인 졸음 징후를 훨씬 더 잘 잡아내며, 현재 실제 자동차에 적용될 수 있을 만큼 빠르게 작동한다는 것을 발견했습니다.

문제점: 혼란스러운 자동차 내부

자동차 안에서 졸음을 감지하는 것은 매우 어렵기로 유명합니다. 조용한 실험실에서는 카메라가 하품을 쉽게 포착할 수 있습니다. 하지만 움직이는 차량 내부의 세상은 도전 과제들로 가득합니다. 태양 빛이 렌즈를 직접 비출 수도 있고, 갑자기 터널 속으로 들어갈 수도 있습니다. 운전자는 사각지대를 확인하기 위해 고개를 돌릴 수도 있고, 눈을 가리는 선글라스를 쓸 수도 있습니다. 게다가 피로의 징후는 매우 미세한 경우가 많습니다. 운전자가 아직 잠든 것은 아니지만, 피로로 인한 미세 표정—눈썹의 미세한 떨림이나 거의 보이지 않을 정도의 짧은 눈 깜빡임—을 경험하고 있을 수 있습니다. 이러한 신호는 너무 희미하고 짧아서, 한 번에 한 프레임씩 살펴보는 기존의 컴퓨터 모델들은 이를 완전히 놓치기 일쑤입니다. 또한 레이블(label)이 지정된 데이터가 부족하다는 점도 문제입니다. 전문가가 모든 근육의 떨림을 일일이 표시한 수천 시간의 주행 영상을 확보하는 것은 비용이 많이 들고 어렵습니다.

해결책: 트윈 사이클 오토인코더 (TCA)

저자들은 트윈 사이클 오토인코더(TCA)라는 해결책을 제안합니다. 이것이 어떻게 작동하는지 이해하려면, 로봇에게 특정 춤 동작을 가르치려 하는데 춤 영상은 없고 무작위 사진 더미만 있는 상황을 상상해 보십시오.

1. 두 개의 브랜치 (쌍둥이)
TCA는 서로 다른 전문 기술을 가졌지만 협력하는 쌍둥이처럼 구성되어 있습니다:

공간 쌍둥이 ("닮은꼴" 탐지기): 이 브랜치는 영상의 단일 프레임을 봅니다. 이의 임무는 근육의 움직임이 아닌 모든 것을 제거하는 것입니다. 운전자의 신원, 헤어스타일, 혹은 모자 착용 여부를 무시합니다. 오직 "액션 유닛", 즉 특정 근육의 형태에만 집중합니다. 이 브랜치는 "사이클(cycle)" 기법을 사용합니다. 즉, 근육 데이터를 바탕으로 얼굴을 다시 재구성하려고 시도합니다. 만약 얼굴을 올바르게 재구성할 수 있다면, 근육 정보를 제대로 포착했다는 것을 알 수 있습니다.
시간 쌍둥이 ("시간 여행" 편집자): 이 브랜치는 짧은 영상 클립(약 1.6초)을 봅니다. 얼굴이 시간의 흐름에 따라 움직이는 것을 정방향으로 관찰한 다음, 영상을 역방향으로 재생해 봅니다. 여기서도 "사이클" 기법을 사용합니다. 움직임이 정방향으로 말이 된다면, 역방향으로도 말이 되어야 합니다. 이를 통해 시스템은 단순히 입 모양의 정지 화면을 보는 것이 아니라, 하품이나 눈 깜빡임의 "리듬"을 이해하게 됩니다.

2. 핸드셰이크 (잠재적 정렬)
이 두 쌍둥이는 독립적으로 작동하지 않습니다. 이들은 "핸드셰이크(handshake)" 메커니즘에 의해 연결됩니다. 시스템은 특정 순간의 공간 쌍둥이가 이해한 얼굴 모습이 그 순간의 움직임을 이해한 시간 쌍둥이의 모습과 일치하도록 강제합니다. 이는 "외형"과 "움직임"이 동일한 이야기를 하고 있음을 보장합니다. 만약 시간 쌍둥이가 하품이 시작되는 것을 본다면, 조명이 좋지 않더라도 공간 쌍둥이는 입이 벌어지고 있다는 사실에 동의해야 합니다.

3. 스승 없는 학습 (자기 지도 학습)
이 시스템의 가장 강력한 측면 중 하나는 학습 방식입니다. 보통 AI를 훈련시키려면 인간이 모든 근육의 떨림을 레이블링한 방대한 데이터셋이 필요합니다. 하지만 주행 데이터는 부족합니다. TCA는 "자기 지도 학습(self-supervised learning)"을 통해 이 문제를 해결합니다. 레이블이 없는 수 시간의 주행 영상을 보고, "사이클" 기법을 사용하여 스스로 얼굴 움직임의 규칙을 배울 수 있습니다. 영상을 정방향과 역방향으로 관찰하며 무엇이 "정상적인" 얼굴이고 어떻게 움직이는지를 스스로 학습합니다. 그 후에야 비로소 적은 양의 레이블된 데이터를 사용하여 특정 피로 징후를 포착하는 능력을 미세 조정(fine-tuning)합니다.

연구 결과

연구진은 이 "쌍둥이" 시스템을 단일 프레임을 보는 시스템, 3D 비디오 필터를 사용하는 시스템, 그래프 네트워크를 사용하는 시스템을 포함한 여러 인기 있는 방법들과 비교 테스트했습니다. 이들은 표준 벤치마크(DISFA 및 BP4D)와 실제 운전자가 참여한 시뮬레이터의 자연스러운 주행 데이터셋에서 테스트를 진행했습니다.

미세한 징후 포착 능력: TCA는 다른 방법들을 지속적으로 압도했습니다. 특히 졸음의 핵심 징후인 AU45(눈 감음) 및 AU43(천천히 눈 감기)와 같이 강도가 낮거나 매우 빠른 AU를 감지하는 데 탁-월했습니다. 또한 하품을 나타내는 AU26(턱 떨어짐)에서도 우수한 성능을 보였습니다.
시간의 힘: "시간(Temporal)" 브랜치를 제거했을 때 시스템의 성능이 크게 떨어졌습니다. 이는 피로를 포착하는 데 있어 시간을 따라 움직임을 관찰하는 것이 결정적이라는 것을 증명했습니다.
자기 학습의 힘: 자기 지도 학습 사전 훈련(unlabeled video로부터 학습)을 거친 버전의 TCA를 그렇지 않은 버전과 비교했을 때, 사전 훈련된 버전이 훨씬 더 뛰어난 성능을 보였습니다. 이는 시스템이 레이블 없는 주행 영상으로부터 유용한 패턴을 성공적으로 학습하여, 레이블 데이터 부족 문제를 극복했음을 시사합니다.
실제 환경에서의 속도: 이 시스템은 정확할 뿐만 아니라 빨랐습니다. 자동차에 탑재 가능한 임베디드 컴퓨터(NVIDIA Jetson Xavier NX)에서 테스트했을 때, 시스템은 초당 28.4 프레임(fps)으로 실행되었습니다. 이는 안전 시스템에 필요한 기준인 10~15 fps를 상회하는 속도로, 운전자에게 실시간 경고를 보내기에 충분히 빠릅니다.

한계 및 향-후 단계

이 시스템이 완벽한 것은 아닙니다. 연구진은 운전자가 선글라스를 착용했을 때, 상안부(눈썹이나 눈꺼풀 등)와 관련된 AU를 감지하는 데 상당한 어려움을 겪는다는 것을 발견했습니다. 선글라스가 시야를 차단하면 시스템은 하안부의 움직임만으로는 상안부의 움직임을 "추측"할 수 없었습니다. 그러나 입은 여전히 보이기 때문에 하품과 같은 하안부 동작에 대해서는 여전히 견고한 성능을 유지했습니다.

결론적으로, 이 논문은 이 "트윈 사이클" 접근 방식이 차세대 운전자 모니터링을 위한 실행 가능한 경로임을 보여줍니다. 공간 및 시간 사이클을 결합하고, 자기 지도 학습을 통해 레이블 없는 데이터를 최대한 활용함으로써, 보다 정확하고 실용적인 시스템을 구축할 수 있음을 시사합니다. 향후 연구는 선글라스와 같은 폐쇄(occlusion) 상황을 더 잘 처리하도록 시스템을 가르치고, 얼굴의 단서와 스티어링 휠의 움직임 같은 다른 데이터를 결합하여 운전자의 피로도를 더욱 명확하게 파악하는 데 집중할 것입니다.

기술 요약: 쌍방향 사이클 오토인코더를 이용한 운전자 모니터링용 시공간적 안면 행동 단위(AU) 탐지

문제 정의

운전자 모니터링 시스템(DMS)은 졸음, 주의 분산, 인지 부하와 같은 운전자의 상태를 추론하기 위해 안면 행동 단위(Facial Action Units, AUs)에 점점 더 의존하고 있습니다. 그러나 자연스러운 주행 환경에서 AU를 탐지하는 것은 통제된 실험실 환경에 비해 상당한 어려움을 수반합니다. 이러한 과제는 다음과 같습니다:

환경적 가변성: 급격히 변하는 조명 조건(햇빛 눈부심, 터널, 야간 적외선) 및 부분적 폐쇄(선글라스, 손, 마스크).
동적 조건: 숄더 체크 시 발생하는 극심한 머리 자세 변화.
신호 특성: 관련 AU(예: 피로 관련 AU45, AU43; 하품 관련 AU26)는 종종 강도가 낮고, 짧으며, 미미합니다.
데이터 부족: 공개된 AU 주석 데이터셋(예: DISFA, BP4D)은 정면을 향하고 조명이 밝은 비주행 조건에서 기록되었으므로, 실제 주행 영상에 대한 일반화 능력이 떨어집니다. 반대로, 밀도 있게 레이블링된 자연스러운 주행 데이터는 수집하기 어렵고 비용이 많이 듭니다.
구조적 한계: 기존의 딥러닝 접근 방식은 공간적 외형과 시간적 역동성을 별개로 취급하거나, 풍부한 레이블 없는 영상을 규제(regularization)에 활용하는 메커니즘이 부족합니다.

방법론: 쌍방향 사이클 오토인코더 (Twin Cycle Autoencoder, TCA)

저자들은 자기 지도 학습 기반의 사이클 일관성(cycle consistency)을 통해 레이블이 있는 영상과 레이블이 없는 주행 영상을 모두 활용하여 견고한 AU 표현을 학습하도록 설계된 시공간적 아키텍처인 **쌍방향 사이클 오토인코더(TCA)**를 제안합니다.

1. 아키텍처 개요

TCA는 서로 다른 입도(granularity)로 작동하는 두 개의 결합된 브랜치로 구성됩니다:

공간 사이클 오토인코더 (Spatial Cycle Autoencoder, SCA): 개별 프레임에서 작동합니다. 컨볼루션 인코더(ResNet-18 백본)를 사용하여 얼굴 이미지를 AU 관련 잠재 코드( $z_t^S$ )로 매핑하며, 이 과정에서 정체성(identity) 정보를 명시적으로 제거합니다. 디코더는 이 잠재 코드와 보조 정체성 코드를 사용하여 프레임을 재구성합니다. 공간 사이클은 학습된 AU 방향을 따라 잠재 코드를 섭동(perturbation)시키고, 다시 인코딩한 후 조작 대상과 비교함으로써 형성됩니다. 이는 AU 외형을 정체성과 분리하기 위해 이미지 수준의 사이클 일관성을 강제합니다.
시간 사이클 오토인코더 (Temporal Cycle Autoencoder, TCAE-T): 공간적 잠재 코드의 시퀀스 상에서 작동합니다. 시간적 인코더(양방향 GRU 또는 Transformer)는 시퀀스를 시간적 잠재 궤적으로 매핑합니다. 시간적 디코더는 역순으로 시퀀스를 재구성합니다. 재구성된 시퀀스와 실제 역순 시퀀스 간의 불일치는 시간적 사이클 일관성 손실을 형성하며, 이는 전방-후방 일관성을 강제하여 시작-정점-종료(onset-apex-offset)의 역동성을 포착하게 합니다.

2. 교차 브랜치 결합 및 융합

두 브랜치는 **교차 브랜치 잠재 정렬 손실(cross-branch latent alignment loss)**을 통해 결합됩니다. 이는 경량 MLP를 통해 공유 임베딩 공간으로 투영된 시간적 인코더의 은닉 상태( $h_t$ )와 공간적 잠재 코드( $z_t^S$ ) 사이의 거리를 최소화합니다.

손실 함수: 정렬에는 제곱 유클리드 거리 대신 코사인 거리를 사용합니다. 이는 임베딩의 방향이 크기보다 AU 의미론에 더 유의미하다고 판단되었으며, 자기 지도 학습 사전 훈련 단계에서 더 안정적인 것으로 증명되었기 때문입니다.
융합: 정렬된 공간 및 시간 임베딩은 멀티 헤드 어텐션 모듈을 사용하여 결합되어, 다중 레이블 AU 분류를 위한 시공간적 기술자( $f_t$ )를 생성합니다.

3. 훈련 전략

모델은 두 단계의 훈련 과정을 거칩니다:

자기 지도 사전 훈련 (Self-Supervised Pretraining): 오직 사이클 일관성 목적 함수( $L_{rec}^S, L_{cyc}^S, L_{cyc}^T, L_{align}$ )만을 사용하여 대량의 레이블 없는 차량 내부 주행 영상( $D_U$ )으로 훈련됩니다. 이때 분류 손실( $L_{cls}$ )은 0으로 설정됩니다.
지도 미세 조정 (Supervised Fine-Tuning): 가중치가 적용된 다중 레이블 AU 분류 손실을 포함한 모든 손실 항이 활성화된 상태에서 소수의 레이블이 있는 데이터( $D_L$ )로 훈련됩니다.

전체 손실은 다음과 같은 가중 합계입니다: $L = \lambda_1 L_{rec}^S + \lambda_2 L_{cyc}^S + \lambda_3 L_{cyc}^T + \lambda_4 L_{align} + \lambda_5 L_{cls}$ .

주요 기여

TCA 아키텍처: 정체성에 불변하는 외형을 위한 공간 사이클 오토인코더와 전방-후방 역동적 일관성을 위한 시간 사이클 오토인코더를 결합한 새로운 시공간적 프레임워크를 제시합니다.
교차 브랜치 정렬: 결합된 표현을 안정화하기 위해 시간적 표현과 공간적 표현을 결합하는 잠재 정렬 손실을 도입했습니다.
자기 지도 사전 훈련: 레이블이 있는 주행 데이터가 부족한 상황에서, 미세 조정을 수행하기 전 시공간적 구조를 학습하기 위해 대량의 레이블 없는 주행 영상을 활용하는 전략을 제시합니다.
포괄적 평가: 표준 벤치마크(DISFA, BP4D) 및 자연스러운 주행 데이터셋(NIR 조명, 선글라스, 손 폐쇄 포함)에 대한 광범 Engaged 실험, 절제 연구(ablation studies), 임베디드 하드웨어에서의 실시간 추론 분석을 수행했습니다.

실험 결과

TCA는 DISFA, BP4D 및 자연스러운 주행 시뮬레이터 데이터셋(NIR 조명, 선글라스, 손 폐쇄 특징)에서 평가되었습니다.

벤치마크 성능: TCA는 DISFA(64.7%)와 BP4D(67.3%) 모두에서 가장 높은 평균 F1 점수를 달em하며, 프레임 기반(JAA-Net), 순환 신경망(ConvLSTM-AU), 3D-CNN(I3D), 그래프 기반(ME-GraphAU) 베이스라인 모델들을 능가했습니다. 이러한 성능 향상은 특히 저강도 및 일시적인 AU에서 두드러졌습니다.
자연스러운 주행 성능: 주행 데이터셋에서 자기 지도 사전 훈련을 거친 TCA는 전체 F1 점수 **63.1%**를 달성하였으며, 이는 사전 훈련을 거치지 않은 동일 아키텍처(56.3%) 및 다른 베이스라인 모델들을 크게 상회하는 수치입니다. 이는 레이블 없는 데이터로부터 시공간적 구조를 전이하는 데 있어 효과적임을 입증합니다.
절제 연구 (Ablation Studies):
- **시간적 사이클 손실(temporal cycle loss)**을 제거했을 때 가장 큰 성능 저하(63.1%에서 57.8%로)가 발생하여, 이 손실이 개선의 주요 원천임을 확인했습니다.
- **교차 브랜치 정렬(cross-branch alignment)**을 제거하면 작지만 일관된 성능 저하(60.6%로)가 나타났습니다.
- 시간적 인코더를 GRU에서 Transformer로 교체하면 F1 점수가 약간 향상(+0.8%)되었으나 지연 시간(latency)이 증가했습니다.
실시간 성능: NVIDIA Jetson Xavier NX에서 GRU 기반 TCA는 28.4 fps (지연 시간 35.2 ms)를 달성하여, 졸음 경고에 필요한 10~15 fps 임계값을 초과 달성했습니다.
폐쇄 분석 (Occlusion Analysis): 모델은 하안부 폐쇄에는 견고함을 보였으나, 선글라스 폐쇄 시 상안부 AU(AU4, AU6, AU7)에서 상당한 성능 저하(F1 점수 24~27 포인트 하락)를 보였습니다. 이는 눈 영역이 관찰 불가능해짐에 따라 모델이 이를 보완할 신호를 확보하지 못함을 확인시켜 줍니다.

의의 및 주장

본 논문은 TCA 아키텍처가 레이블 없는 차량 내부 영상을 효과적으로 활용하여 견고한 시공간적 표현을 학습함으로써 운전자 모니터링의 핵심적인 격차를 해소한다고 주장합니다. 공간 및 시간 도메인 모두에서 사이클 일관성을 강제함으로써, 모델은 정체성에 불변하고 시간적으로 일관된 AU 특징을 학습하며, 이는 까다로운 주행 조건에서 미세하고 짧은 지속 시간의 피로 징후를 탐지하는 데 특히 유익합니다.

저자들은 자기 지도 사전 훈련과 TCA 아키텍처의 결 조합이 제한된 레이블 주행 데이터 환경에서도 고성능 AU 탐지를 가능하게 한다고 단언합니다. 또한, 임베디드 하드웨어(Jetson Xavier NX)에서의 실시간 처리량 입증은 생산 단계의 첨단 운전자 보조 시스템(ADAS)에 AU 기반 DMS를 배포할 수 있는 실질적인 타당성을 뒷받침합니다. 본 연구는 현재 시스템의 상안부 폐쇄(선글라스)에 대한 구체적인 한계를 강조하며, 이를 단순한 외형 기반 해결책이 아닌 폐쇄 인식 확장 모델로 해결해야 함을 시사합니다.