PO-GUISE+: Pose and object guided transformer token selection for efficient driver action recognition

이 논문은 차량 내성 효율성을 위해 드라이버의 자세와 상호작용 객체 정보를 활용하여 토큰을 선택하는 'POGUISE+'라는 다중 태스크 비전 트랜스포머 모델을 제안함으로써, 기존 방법 대비 연산 비용을 크게 줄이면서도 Drive&Act, 100-Driver, 3MDAD 데이터셋에서 최첨단 성능을 달성했다고 요약할 수 있습니다.

핵심

이 논문은 **"운전 중 스마트폰을 보거나 음식을 먹는 등 산만해지는 운전자를 AI 가 어떻게 빠르고 정확하게 찾아낼 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

기존의 최신 AI 기술 (트랜스포머) 은 매우 똑똑하지만, 차 안에 탑재하기에는 너무 무겁고 전기를 많이 먹습니다. 마치 고사양 게임용 컴퓨터를 소형 경차에 싣고 다니려는 것과 비슷하죠.

저자들은 이 문제를 해결하기 위해 **PO-GUISE+**라는 새로운 기술을 개발했습니다. 이 기술을 쉽게 이해할 수 있도록 세 가지 비유로 설명해 드리겠습니다.

---

1. 문제 상황: "모든 것을 다 보는 것은 비효율적이다"

기존의 똑똑한 AI 는 운전석 카메라 영상을 볼 때, 화면의 모든 픽셀과 모든 순간을 똑같은 중요도로 분석합니다.

• 비유: 운전자가 핸들을 잡고 있는 동안, AI 는 "핸들", "운전자의 눈", "창문 밖의 나무", "아무것도 없는 천장", "운전자의 손가락"을 모두 똑같이 자세히 조사합니다.
• 결과: 불필요한 정보 (나무, 천장) 를 분석하는 데 에너지를 너무 많이 써서, 차 안에 넣기엔 너무 무겁고 느려집니다.

2. 해결책: "PO-GUISE+ 의 '스마트 필터'"

저자들은 AI 가 **"무엇을 보고, 무엇을 무시할지"**를 스스로 판단하게 만들었습니다. 이를 **토큰 선택 (Token Selection)**이라고 하는데, 쉽게 말해 **"중요한 것만 골라내는 필터"**입니다.

PO-GUISE+ 의 핵심은 두 가지 힌트를 활용한다는 점입니다.

1. 운전자의 자세 (Pose): 손이 어디로 가는지, 고개가 어떻게 돌아갔는지.
2. 상호작용하는 물체 (Object): 스마트폰, 음료수 병, 라면 등 운전자가 만지고 있는 물건.

• 비유:
  • 기존 AI: "화면 전체를 훑어보며 '아, 저게 사람인가? 저게 나무인가?' 고민한다."
  • PO-GUISE+: "아! 운전자의 손이 휴대폰 쪽으로 움직이는구나! 그럼 나무나 천장은 무시하고 손과 휴대폰만 집중해서 보자!"
  • 이렇게 **손 (자세)**과 **물체 (휴대폰)**가 만나는 부분만 집중적으로 분석하면, 불필요한 데이터는 버릴 수 있어 속도는 빨라지고 정확도는 오히려 높아집니다.

3. 왜 이것이 특별한가? (기존 기술과의 차이)

기존에 비슷한 기술 (PO-GUISE) 이 있었지만, 이는 **'사람의 자세'**만 보고 중요한 부분을 골라냈습니다. 하지만 운전 중 산만함은 대부분 **'물건을 만지는 행위'**에서 옵니다.

• 비유:
  • 기존 기술: "운전자가 고개를 돌렸으니 무언가를 보고 있겠지." (하지만 스마트폰인지, 거울인지, 창문인지 모름)
  • PO-GUISE+: "운전자가 고개를 돌렸고, 손에 스마트폰이 들려있네! 이건 분명 '통화 중' distraction 이다!"
  • 결과: 물체 정보를 추가함으로써, AI 는 훨씬 더 정교하게 "위험한 상황"을 구별해냅니다.

4. 실제 효과: "작은 컴퓨터에서도 잘 작동한다"

이 연구는 단순히 이론에 그치지 않고, NVIDIA Jetson이라는 차량용 소형 컴퓨터에서 테스트했습니다.

• 기존 모델: 무거워서 차에서 돌리면 느리고 전기를 많이 먹음.
• PO-GUISE+: 계산량을 30~50% 줄이면서도, 오히려 정확도는 더 높임.
• 결론: 이 기술은 실제 자동차에 탑재되어 실시간으로 운전자를 감시하는 '지능형 조수' 역할을 할 수 있을 만큼 가볍고 빠릅니다.

요약

이 논문은 **"운전자가 무엇을 하고 있는지 알기 위해, AI 가 화면 전체를 다 볼 필요는 없다"**는 사실을 증명했습니다. 대신 **"운전자의 손과 그가 만지는 물건"**에 집중하게 함으로써, 더 빠르고, 더 정확하며, 더 저렴한 운전 감시 시스템을 만들었습니다.

이는 마치 수백 명의 경비원이 건물 전체를 돌며 감시하는 대신, '손에 물건을 든 사람'만 집중해서 감시하는 똑똑한 보안관을 고용한 것과 같습니다.

기술 요약

1. 문제 정의 (Problem)

• 배경: 운전 중 주의 산만 (Driver Distraction) 은 도로 안전에 심각한 위협이 되며, 유럽 통계에 따르면 사고의 상당 부분이 운전자의 주의 산만으로 발생합니다. 이를 해결하기 위해 차량 내 Driver Monitoring System (DMS) 의 중요성이 부각되고 있습니다.
• 현재의 한계: 최근 인간 행동 인식 (Human Action Recognition) 분야에서 Transformer 기반 모델 (VideoMAE, InternVideo 등) 이 뛰어난 성능을 보이지만, **이차적 계산 복잡도 (Quadratic Complexity)**로 인해 차량 내장 시스템 (Onboard systems) 과 같은 제한된 컴퓨팅 환경에서 실시간 적용이 어렵습니다.
• 기존 토큰 선택 (Token Selection) 의 부족: 기존 효율화 기법 (토큰 가지치기 등) 은 일반적인 행동 인식에는 효과적이지만, **운전자의 자세 (Pose) 와 사물 상호작용 (Object Interaction)**을 동시에 고려하지 못해, 특히 계산 자원이 제한된 환경에서 성능 저하가 발생합니다. 운전 중 주의 산만은 단순히 몸짓뿐만 아니라 휴대폰, 음료수 등 특정 사물과의 상호작용을 포함하기 때문입니다.

2. 제안 방법론 (Methodology)

저자들은 **PO-GUISE+**라는 새로운 멀티태스킹 비디오 Transformer 아키텍처를 제안합니다. 이는 입력 비디오 클립을 기반으로 주의 산만 행동 분류, 운전자 자세 추정, 상호작용 사물 위치 추정을 동시에 수행하며, 이를 통해 효율적인 토큰 선택을 가능하게 합니다.

핵심 구성 요소:

1. 멀티태스킹 아키텍처:

   • 입력: 비디오 클립은 시공간 큐브 임베딩 (Joint space-time cube embedding) 을 통해 시각적 토큰 ($X_{vis}$) 으로 변환됩니다.
   • 히트맵 토큰 ($X_{hm}$): 학습 가능한 토큰을 추가하여 운전자 관절 (Pose) 과 상호작용 사물 (Object) 의 위치를 나타내는 히트맵을 예측합니다. 이는 단일 프레임이 아닌 전체 클립에 걸친 **운동 히트맵 (Motion Heatmap)**으로 평균화되어 시간적 변화를 포착합니다.
   • 헤드 (Heads): 분류 헤드 (Distraction Class) 와 히트맵 헤드 (Pose & Object) 를 통해 멀티태스킹 학습을 수행합니다.

2. 자세 및 사물 유도 토큰 선택 모듈 (Pose-and-Object-Guided Token Selection):

   • 2 단계 프로세스:
     1. 가지치기 (Pruning): 주의 산만 클래스, 운전자 자세, 그리고 상호작용 사물에 대한 히트맵 토큰에 높은 주의를 기울이는 시각적 토큰만 선택합니다. (기존 PO-GUISE 는 사물 정보를 무시함)
     2. 병합 (Merging): 제거된 토큰 중 유사한 토큰을 병합하여 정보 손실을 최소화합니다.
   • 효과: 이 모듈은 Transformer 의 특정 단계에 통합되어, 불필요한 배경 정보를 제거하고 핵심적인 운전자 - 사물 상호작용 영역에 집중하도록 유도합니다.

3. 학습 전략:

   • 손실 함수: 분류 손실 (Cross-Entropy) 과 히트맵 예측 손실 (MSE) 을 결합합니다. 두 태스크 간의 균형을 위해 Nash-MTL 알고리즘을 사용하여 동적으로 가중치를 조정합니다.
   • 검증 데이터: 학습용 가짜 라벨 (Pseudo-labels) 생성에는 ViTPose 와 YOLO11x 를 사용하지만, 추론 (Inference) 시에는 외부 검출기가 필요 없는 완전 자체 종속 (Detector-free) 모델입니다.

3. 주요 기여 (Key Contributions)

1. 새로운 토큰 선택 메커니즘: 운전자 행동 인식의 특수성 (사물 상호작용) 을 반영하여, 자세와 객체 위치 정보를 토큰 가지치기 가이드로 활용하는 최초의 방법론을 제안했습니다.
2. 단일 모델 멀티태스킹: 외부 검출기 없이 비디오 입력만으로 주의 산만 분류, 자세 추정, 사물 위치 추정을 동시에 수행하는 모델을 개발했습니다.
3. 효율성과 정확도의 균형: 기존 Video Transformer 기반 방법론보다 계산 비용 (GFLOPs) 을 크게 줄이면서도 정확도를 유지하거나 향상시켰습니다.
4. 실제 환경 검증: NVIDIA Jetson Orin NX 임베디드 플랫폼에서 다양한 설정으로 벤치마크를 수행하여, 실제 차량 내장 시스템 배포 가능성을 입증했습니다.

4. 실험 결과 (Results)

세 가지 주요 데이터셋 (Drive&Act, 100-Driver, 3MDAD) 에서 State-of-the-Art (SOTA) 를 달성했습니다.

• 성능 (Accuracy):
  • Drive&Act: PO-GUISE+ 는 VideoMAEv2 베이스라인 대비 **GFLOPs 를 30% 감소 (251 vs 360)**시키면서도 Macro Accuracy 를 **70.35%**로 향상시켰습니다 (기존 SOTA 인 TransDARC 대비 15% 이상 우위).
  • 100-Driver: VideoMAEv2 베이스라인 대비 정확도 2.24% 향상 (93.54%).
  • 3MDAD: 이전 최상위 모델 (MIFI) 대비 정확도 9.52% 향상 및 계산량 28 GFLOPs 감소.
• 효율성 (Efficiency):
  • Jetson Orin NX 테스트: PO-GUISE+ 는 **초당 33 프레임 (33 FPS)**의 추론 속도를 달성하며, 메모리 사용량을 3.8GB로 줄였습니다 (히트맵만 추가한 베이스라인은 5.6GB 사용).
  • 저비용 설정: 가장 효율적인 설정 (GFLOPs 146) 에서도 66.87% 의 높은 정확도를 유지하여, 저사양 엣지 디바이스에서도 실시간 처리가 가능함을 보였습니다.
• 정성적 분석:
  • 시각화 결과, PO-GUISE+ 는 운전자와 상호작용하는 사물 (휴대폰, 음료수 등) 에 해당하는 토큰을 효과적으로 선택하는 반면, 기존 방법은 사물 정보를 놓치는 경향이 있음을 확인했습니다.

5. 의의 및 결론 (Significance)

• 실용적 배포 가능성: 고비용의 Transformer 모델을 차량 내장형 엣지 하드웨어 (Jetson 등) 에 배포할 수 있는 길을 열었습니다. 이는 차량의 GPU/CPU 공유 메모리 환경에서 다른 보조 작업에 자원을 할당할 수 있게 합니다.
• 안전성 향상: 계산 자원을 효율적으로 사용하면서도 높은 정확도를 유지함으로써, 실시간 운전 중 주의 산만 감지 시스템의 상용화를 가속화할 수 있습니다.
• 향후 과제: 야간 주행이나 극단적인 조명 조건에서의 성능 향상을 위해 NIR(근적외선) 모드와의 결합 및 더 긴 시간적 컨텍스트 (Time-action localization) 연구가 필요함을 지적했습니다.

요약하자면, PO-GUISE+ 는 운전자의 자세와 사물 상호작용 정보를 활용하여 Transformer 의 불필요한 토큰을 지능적으로 제거함으로써, 차량 내장 시스템에 최적화된 고효율·고정확도 운전 행동 인식 모델을 제시한 연구입니다.