💻 computer science

SGAP-Gaze: Scene Grid Attention Based Point-of-Gaze Estimation Network for Driver Gaze

이 논문은 운전자의 시선 방향을 추정하기 위해 운전자 얼굴 정보와 주변 교통 장면을 통합한 새로운 데이터셋 UD-FSG 와 장면 그리드 어텐션 메커니즘을 활용한 SGAP-Gaze 모델을 제안하여 기존 최첨단 모델 대비 평균 픽셀 오차를 23.5% 감소시켰음을 보여줍니다.

원저자: Pavan Kumar Sharma, Pranamesh Chakraborty

게시일 2026-04-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pavan Kumar Sharma, Pranamesh Chakraborty

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

운전자의 시선을 읽는 '스마트 눈' 이야기: SGAP-Gaze 소개

이 논문은 **"운전자가 지금 어디를 보고 있을까?"**라는 질문에 대해, 기존 기술보다 훨씬 똑똑하고 정확한 답을 찾아낸 새로운 방법론을 소개합니다. 마치 운전자의 눈동자뿐만 아니라, 그가 바라보는 도로의 풍경까지 함께 읽어서 시선을 예측하는 기술이라고 생각하시면 됩니다.

이 기술을 쉽게 이해할 수 있도록 몇 가지 비유를 들어 설명해 드릴게요.

1. 왜 이 기술이 필요한가요? (문제 상황)

지금까지 운전자의 시선을 추적하는 기술은 주로 운전자의 얼굴 사진만 보고 "아, 눈이 왼쪽으로 돌아가네, 그러니까 왼쪽을 보고 있겠지"라고 추측했습니다.

하지만 현실은 더 복잡합니다.

비유: 마치 안면인식 카메라만 보고 "이 사람은 화가 났다"고 판단하는 것과 비슷합니다. 얼굴 표정만으로는 그 사람이 왜 화났는지 (예: 옆 차가 끼어들었기 때문인지, 신호등이 빨간색이라서인지) 알 수 없죠.
현실: 운전자는 복잡한 교통 상황 (오토바이, 보행자, 다른 차들) 을 보고 시선을 이동시킵니다. 얼굴만 보고 시선을 예측하면, 특히 차가 많고 복잡한 도로에서는 오차가 커집니다.

2. 이 연구가 새로 만든 것: 'UD-FSG' 데이터셋

연구팀은 더 똑똑한 AI 를 가르치기 위해 새로운 **'교과서 (데이터셋)'**를 만들었습니다.

기존 교과서: 운전자의 얼굴 사진만 있는 책.
새 교과서 (UD-FSG): 운전자의 얼굴 사진과 동시에 찍힌 도로 풍경 사진, 그리고 운전자가 정확히 어디를 보았는지 (지상 진리) 가 모두 기록된 책입니다.
특징: 인도 카나푸르의 복잡한 도로에서 실제 운전자를 대상으로 수집했습니다. 햇빛 반사, 안경, 다양한 교통 상황 등 현실적인 어려움까지 모두 포함하고 있어, AI 가 실전에서도 잘 작동하도록 훈련시켰습니다.

3. SGAP-Gaze: 어떻게 작동할까요? (핵심 기술)

이 시스템의 이름은 SGAP-Gaze입니다. 이를 **'스마트 시선 지도 그리기'**라고 상상해 보세요.

A. 얼굴과 눈의 세부 사항 분석 (얼굴 탐지)

먼저, 운전자의 얼굴에서 **눈동자 (iris)**와 눈을 정교하게 찾아냅니다.

비유: 마치 고해상도 돋보기로 운전자의 눈동자가 눈꺼풀 안에서 얼마나 움직였는지 정밀하게 측정하는 것과 같습니다. 연구팀은 눈동자 위치에 가중치를 두어, 눈동자가 움직이는 패턴을 더 잘 포착하도록 만들었습니다.

B. 도로 풍경의 '그리드' 나누기 (장면 그리드)

도로 풍경 사진을 **7x7 개의 작은 사각형 (그리드)**으로 나눕니다.

비유: 도로 전체를 체스판처럼 나누어, 각 칸마다 "여기에 차가 있을까?", "보행자가 있을까?"라는 정보를 저장해 둔 것입니다.

C. '주의 집중' 메커니즘 (트랜스포머 어텐션)

이제 가장 중요한 부분입니다. AI 는 운전자의 **얼굴 정보 (시선 의도)**와 도로의 체스판 정보를 한꺼번에 봅니다.

비유: 운전자의 얼굴 정보를 **질문 (Query)**으로, 도로의 체스판 정보를 **답변 후보 (Key)**로 생각합니다.
- AI 는 "운전자의 눈이 왼쪽으로 쏠렸는데, 왼쪽 체스판 칸 중 어디에 가장 관심이 갈까?"라고 계산합니다.
- 이때 **트랜스포머 (Transformer)**라는 최신 AI 기술을 써서, 얼굴의 미세한 움직임과 도로의 상황을 연결합니다.
- 예를 들어, 운전자의 눈이 살짝 왼쪽으로 움직였을 때, AI 는 단순히 '왼쪽'이라고만 보는 게 아니라, "왼쪽 체스판의 그 특정 칸에 오토바이가 있으니 거기를 볼 확률이 높다"고 판단합니다.

4. 결과는 어땠나요? (성공 사례)

이 새로운 기술은 기존 최고의 기술 (GazePTR) 보다 훨씬 정확했습니다.

정확도 향상: 기존 기술보다 **약 23.5%**나 오차가 줄었습니다.
어디서 가장 잘 작동하나요?
- 중앙: 운전자가 주로 앞을 보므로 두 기술 모두 잘하지만, SGAP-Gaze 가 더 정확합니다.
- 가장자리 (핵심): 운전자가 사이드 미러나 옆 차선을 볼 때 (화면의 가장자리) 기존 기술은 많이 틀렸습니다. 하지만 SGAP-Gaze 는 도로 풍경까지 함께 보았기 때문에, "아, 옆에 차가 있으니 운전자가 저쪽 끝을 보고 있겠구나"라고 정확히 예측했습니다.
비유: 기존 기술은 "운전자가 고개를 돌렸으니 저쪽을 보겠지"라고 대략적으로 맞췄다면, SGAP-Gaze 는 "운전자가 고개를 돌렸고, 저쪽에는 위험한 오토바이가 있으니 정확히 그 오토바이를 보고 있겠지"라고 맞췄습니다.

5. 결론: 왜 이것이 중요한가요?

이 기술은 단순히 "운전자가 어디를 보나"를 아는 것을 넘어, 운전자의 '상황 인식 능력'을 이해하는 데 도움을 줍니다.

안전한 운전: 운전자가 주변 교통 상황을 제대로 보고 있는지, 아니면 딴생각을 하고 있는지 (예: 옆 차를 보지 않고 정면만 보고 오토바이를 놓치는 경우) 를 실시간으로 감지할 수 있습니다.
미래의 적용: 이 기술이 발전하면, 운전자가 위험한 상황을 놓치고 있을 때 차량이 "주의하세요!"라고 더 정확하게 경고해 줄 수 있습니다.

한 줄 요약:

"운전자의 얼굴만 보는 게 아니라, 그가 바라보는 도로 풍경까지 함께 읽어서, 운전자가 정확히 무엇을 보고 있는지 AI 가 더 똑똑하게 추측하는 기술입니다."

1. 연구 배경 및 문제 정의 (Problem)

배경: 도로 안전, 특히 인도와 같은 개발도상국의 복잡한 교통 환경에서는 운전자의 주변 상황에 대한 인식 (Situational Awareness) 이 매우 중요합니다. 운전자의 시선 (Gaze) 이 교통 상황의 어떤 부분에 주의를 기울이고 있는지 파악하는 것은 사고 예방에 필수적입니다.
기존 연구의 한계:
- 기존 시선 추정 모델은 주로 운전자의 얼굴 정보 (얼굴, 눈, 동공) 만을 입력으로 사용하여 시선 벡터나 영역 (Zone) 을 예측합니다.
- 운전자의 시선은 주변 교통 상황 (차량, 보행자 등) 에 크게 영향을 받지만, 기존 모델들은 장면 (Scene) 정보를 명시적으로 시선 추정 모델의 입력으로 통합하지 못했습니다.
- 기존 데이터셋은 대부분 주차된 차량 환경에서 수집되거나, 장면 정보가 시선 추정의 직접적인 입력이 아닌 '시선 지도 (Saliency Map)' 생성 용도로만 사용되었습니다.
- LBW(Look Both Ways) 데이터셋처럼 얼굴과 장면이 모두 포함된 데이터셋이 있지만, 주변 교통량이 제한적이고 데이터 규모가 작아 복잡한 실제 도로 환경에서의 모델 일반화에는 한계가 있었습니다.

2. 제안된 방법론 (Methodology)

저자들은 **SGAP-Gaze(Scene Grid Attention based Point-of-Gaze)**라는 새로운 네트워크를 제안하며, 이는 운전자의 얼굴 정보와 교통 장면 정보를 융합하여 시선 위치 (PoG) 를 추정합니다.

A. 데이터셋: UD-FSG (Urban Driving-Face Scene Gaze)

특징: 인도 카나푸르 (Kanpur) 의 복잡한 교통 환경 (이질적 교통) 에서 수집된 대규모 벤치마크 데이터셋입니다.
구성: 35 명의 전문 운전자가 주행하며 수집된 **동기화된 운전자의 얼굴 이미지, 전방 장면 이미지, 그리고 아이트래커 (Pupil Invisible) 를 통해 얻은 2D 시선 좌표 (Ground Truth)**로 구성됩니다.
규모: 약 37 만 개의 이미지 쌍 (373,488 pairs) 으로, 기존 LBW 데이터셋보다 훨씬 크고 다양한 조명 및 교통 밀도 조건을 포함합니다.
Ground Truth 생성: 아이트래커의 시선 좌표를 대시보드에 고정된 장면 카메라 좌표계로 변환하기 위해 AprilTags 마커와 호모그래피 (Homography) 행렬을 사용했습니다.

B. SGAP-Gaze 네트워크 아키텍처

모델은 크게 4 가지 주요 모듈로 구성됩니다.

얼굴 기하학 추출 모듈 (Facial Geometry Extraction):
- FEI Detector: YOLOv8 기반의 커스텀 모델로 얼굴, 눈, 동공 (Iris) 을 동시에 감지합니다.
- 동공 중심 좌표: 양쪽 눈의 동공 중심 좌표를 추출하며, 한쪽 눈이 가려진 경우 생리학적 원리 (공액 안구 운동) 를 이용해 추론합니다.
- 가드 메커니즘: 동공 감지가 실패할 경우, 노이즈를 방지하기 위해 해당 입력을 중화시키는 게이트 메커니즘을 적용합니다.
멀티-스트림 특징 추출 모듈 (Multi-Stream Feature Extraction):
- 얼굴 특징: ResNet-18 을 사용하여 얼굴 이미지의 4 개 계층 (Layer 1~4) 에서 특징을 추출하고, 256 차원 벡터로 통합합니다.
- 눈 및 동공 특징: 눈 영역을 ResNet-18 로 특징 추출 시, **동공 위치에 기반한 가우시안 가중치 (Gaussian-weighted)**를 적용하여 동공 주변의 특징을 강조합니다. 이는 눈의 미세한 움직임을 포착하는 데 핵심적입니다.
- 장면 특징: 전방 장면 이미지를 ResNet-18 로 처리하여 7x7 공간 그리드 (Spatial Grid) 형태의 특징 맵을 생성합니다. 각 그리드는 장면의 특정 지역을 나타냅니다.
멀티-모달 특징 융합 (Multi-Modal Feature Fusion):
- 얼굴, 눈, 동공 좌표 특징을 융합하여 **시선 의도 벡터 (Gaze Intent Vector, $z_{gaze}$ )**를 생성합니다.
- 이 벡터는 Transformer 기반의 어텐션 메커니즘에서 Query로 사용됩니다.
시선 예측 헤드 (Gaze Prediction Head):
- 어텐션 메커니즘: 시선 의도 벡터 (Query) 와 장면 그리드 특징 (Key) 간의 어텐션 점수를 계산합니다.
- PoG 추정: 계산된 어텐션 가중치를 기반으로 장면 그리드 중심 좌표의 가중 평균을 계산하여 최종 시선 위치 (Point-of-Gaze) 를 도출합니다.
- 보정: 그리드 이산화로 인한 오차를 보정하기 위해 학습 가능한 잔차 (Residual) 를 추가합니다.

3. 주요 기여 (Key Contributions)

UD-FSG 데이터셋 공개: 복잡한 이질적 교통 환경에서 수집된 대규모 동기화 얼굴 - 장면 - 시선 데이터셋을 최초로 공개했습니다.
동공 가중 눈 특징 표현: 동공 위치에 가우시안 함수를 적용한 가중치를 도입하여, 눈 이미지 내에서 동공의 움직임을 더 정밀하게 포착하도록 특징 표현을 개선했습니다.
SGAP-Gaze 네트워크 제안: 운전자의 얼굴 정보와 **장면 정보 (Scene Context)**를 명시적으로 통합하는 Scene Grid Attention 기반의 PoG 추정 네트워크를 개발했습니다. 이는 기존에 얼굴 정보만 사용하던 방식에서 벗어난 혁신입니다.

4. 실험 결과 (Results)

모델은 UD-FSG 데이터셋과 기존 벤치마크인 LBW 데이터셋에서 평가되었습니다.

성능 지표 (Mean Pixel Error, MPE):
- UD-FSG 데이터셋: MPE 104.73 픽셀 (이미지 대각선의 7.13%).
- LBW 데이터셋: MPE 63.48 픽셀 (이미지 대각선의 5.89%).
- SOTA 대비 개선: 기존 최첨단 모델인 GazePTR와 비교했을 때, UD-FSG 데이터셋에서 MPE 가 23.5% 감소했습니다 (GazePTR: 136.96 → SGAP-Gaze: 104.73).
공간적 분석:
- 시선 추정 오차는 장면의 중앙 영역보다 가장자리 (Outer regions) 에서 일반적으로 큽니다.
- SGAP-Gaze 는 모든 공간 영역 (중앙 및 가장자리) 에서 GazePTR 보다 일관되게 낮은 오차를 기록했습니다. 특히 운전자가 주변을 살필 때 중요한 화면 가장자리 영역에서의 성능 향상이 두드러졌습니다.
3D 시선 방향 추정: 얼굴 정보만 사용하여 3D 시선 방향을 추정했을 때도 기존 모델 (Gaze360, ETH-XGaze, GazePTR 등) 보다 낮은 평균 각도 오차 (MAE 6.04°) 를 기록하여 성능을 입증했습니다.

5. 의의 및 결론 (Significance)

실용적 가치: 운전자의 시선이 단순히 얼굴의 방향뿐만 아니라 **주변 교통 상황 (Scene)**에 의해 어떻게 결정되는지를 모델링함으로써, 실제 도로 환경에서의 운전자의 주의 집중 (Attention) 을 더 정확하게 파악할 수 있습니다.
안전성 향상: 복잡한 교통 환경 (특히 인도와 같은 혼잡한 도로) 에서 운전자의 시선이 주변 위험 요소 (이륜차, 보행자 등) 를 인식하고 있는지 모니터링하는 데 필수적인 기술을 제공합니다.
미래 전망: 이 연구는 다중 모달 (얼굴 + 장면) 접근법의 유효성을 입증했으며, 향후 차량 내외부 카메라 파라미터 통합 및 사이드 미러 영역 확장 등을 통해 실제 상용화 가능한 강건한 운전자 모니터링 시스템 (DMS) 의 기반이 될 것입니다.

요약하자면, 이 논문은 **새로운 대규모 데이터셋 (UD-FSG)**을 구축하고, **장면 정보를 어텐션 메커니즘에 통합한 새로운 모델 (SGAP-Gaze)**을 제안함으로써, 기존 얼굴 기반 시선 추정 기술의 한계를 극복하고 실제 도로 환경에서의 정확도와 강건성을 크게 향상시켰다는 점에서 의의가 있습니다.