GazeShift: Unsupervised Gaze Estimation and Dataset for VR

이 논문은 VR 환경의 데이터 부족 문제를 해결하기 위해 대규모 오프-축 안구 추측 데이터셋인 VRGaze 를 공개하고, 라벨 없이 학습 가능한 효율적인 어텐션 기반 프레임워크 GazeShift 를 제안하여 실시간 및 저비용 gaze 추정을 가능하게 합니다.

핵심

1. 왜 이 연구가 필요한가요? (문제 상황)

가상현실 안경을 쓸 때, 사용자가 어디를 보고 있는지 정확히 알면 화면을 더 선명하게 보여주거나, 눈만 깜빡여도 버튼을 누를 수 있게 해줍니다. 하지만 기존에는 두 가지 큰 문제가 있었습니다.

• 데이터가 부족해요: VR 안경의 카메라는 눈 옆에 비스듬하게 달려 있어서 (비대칭), 일반적인 카메라로 찍은 얼굴 사진과는 생김새가 완전히 다릅니다. 그런데 기존에 공개된 데이터는 대부분 정면에서 찍은 것이어서 VR 안경에 적용하기 어려웠습니다.
• 레이블 (정답) 을 매기는 게 너무 어려워요: "이 사람이 지금 이 물체를 보고 있다"라고 정답을 알려주려면, 실험 참가자가 정말로 그 물체를 집중해서 봤는지 확인해야 하는데, 사람의 눈은 자꾸 떠돌아다니기 때문에 정답을 적는 데 시간이 너무 오래 걸리고 오류도 많습니다.

2. 해결책 1: 새로운 데이터 모음 'VRGaze'

연구팀은 210 만 장이 넘는 VR 안경용 눈 사진을 직접 찍어 모았습니다.

• 비유: 마치 VR 안경을 쓴 68 명의 사람들이 다양한 물체를 따라가며 눈을 움직이는 모습을 30 초마다 찍어서, "VR 안경용 눈 사진"이라는 거대한 도서관을 만든 셈입니다.
• 이 데이터는 VR 안경 특유의 비스듬한 각도를 완벽하게 반영하고 있어, 앞으로 개발될 VR 기술의 기초가 될 것입니다.

3. 해결책 2: 새로운 기술 'GazeShift'

이게 이 논문의 핵심입니다. 정답 (레이블) 없이도 눈이 어디를 보고 있는지 배우는 스스로 학습하는 기술입니다.

🎨 비유: "눈의 변신 마법"

상상해 보세요. 같은 사람의 눈 사진 두 장이 있다고 칩시다.

1. 사진 A: 왼쪽을 보고 있는 눈.
2. 사진 B: 오른쪽을 보고 있는 눈.

이 두 사진의 차이는 무엇일까요? 눈꺼풀이나 피부 모양은 똑같지만, **동공이 있는 위치 (시선)**만 다릅니다.

GazeShift는 이 차이를 이용해 학습합니다.

• 학습 과정: 컴퓨터는 "사진 A(왼쪽 눈)"를 가지고, "사진 B(오른쪽 눈) 의 시선 정보"를 입력으로 주면, 사진 A 를 사진 B 처럼 변신시킬 수 있어야 한다고 배웁니다.
• 핵심 아이디어: "시선"이라는 정보만 따로 떼어내서 (분리해서), 그 정보를 다른 눈 사진에 적용하면 그 눈도 그 방향으로 바라보게 변신할 수 있어야 한다.
• 주의할 점: 이 과정에서 눈의 모양이나 피부색 같은 '외모' 정보는 변하지 않고 그대로 유지되어야 합니다. 마치 인형의 눈동자만 방향을 바꿔주는 것과 같습니다.

🔍 '주의 (Attention)'라는 렌즈

이 기술은 **'주의 (Attention)'**라는 렌즈를 사용합니다.

• 컴퓨터는 "어디를 봐야 시선 방향이 바뀔까?"를 스스로 찾아냅니다.
• 눈동자 (홍채) 주변은 시선과 관련이 깊으니 강조하고, 눈꺼풀이나 배경처럼 시선과 상관없는 부분은 무시합니다.
• 이 덕분에 정답이 없어도, 컴퓨터는 스스로 "아, 눈동자 위치가 시선을 결정하는구나!"라고 깨닫게 됩니다.

4. 놀라운 결과

이 기술은 정말로 훌륭합니다.

• 정확도: 정답을 알려주는 '지도 학습' 방식과 거의 비슷한 정확도 (약 1.84 도 오차) 를 냅니다.
• 개인 맞춤: 처음에는 모든 사람에게 똑같이 작동하다가, 몇 번의 눈 움직임만 보여주면 (소량의 데이터) 그 사람 눈의 특징에 맞춰 정확도가 더 올라갑니다.
• 빠른 속도: VR 안경 안에 들어갈 정도로 가볍고 빠릅니다. 5 밀리초 (0.005 초) 만에 처리해서, 사용자가 느끼는 지연 없이 실시간으로 작동합니다.
• 효율성: 기존 기술보다 10 배 적은 메모리와 35 배 적은 계산 능력으로 똑같은 일을 해냅니다.

5. 요약: 왜 이것이 중요한가요?

이 연구는 **"정답을 알려주지 않아도, 눈이 어떻게 변하는지 관찰만 하면 시선을 알아낼 수 있다"**는 것을 증명했습니다.

• VR 안경을 더 똑똑하고 가볍게 만들어줍니다.
• 데이터를 직접 찍어 모으는 번거로움을 줄여줍니다.
• 앞으로 **증강현실 (AR)**이나 다른 분야에서도 "외모는 그대로 두고, 특정 부분만 변하게 하는" 기술을 개발하는 데 큰 영감을 줄 것입니다.

결론적으로, GazeShift는 VR 안경이 사용자의 눈을 더 잘 이해하도록 돕는, 빠르고 똑똑한 '눈의 번역기'라고 할 수 있습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• VR 환경의 시선 추정 (Gaze Estimation) 의 중요성: 가상 현실 (VR) 시스템에서 시선 추정은 손 없는 상호작용, 포커스 렌더링 (foveated rendering), 적응형 콘텐츠 제공 등을 위해 필수적입니다.
• 데이터 부족 및 라벨링의 어려움:
  • 기존 연구는 주로 원격 카메라 (Remote-camera) 기반이었고, VR 헤드셋에 탑재된 오프축 (Off-axis) 카메라 구성을 반영한 대규모 데이터셋이 부족했습니다.
  • VR 환경에서는 사용자가 의도한 표적 (Target) 에 정확히 주시 (Fixation) 하는 것을 보장하기 어렵고, 자발적인 안구 운동 (Saccade) 이 발생하여 정확한 라벨링이 어렵고 비용이 많이 듭니다.
• 기존 비지도 학습 방법의 한계: 기존 비지도 학습 방법들은 대부분 원격 RGB 카메라 (전체 얼굴) 를 대상으로 설계되었으며, VR 의 근접 근적외선 (Near-eye Infrared) 이미징 모달리티나 오프축 기하학적 왜곡에 적합하지 않았습니다.

2. 제안 방법: GazeShift (Methodology)

저자들은 데이터 라벨링 없이 시선 정보를 학습할 수 있는 주의 기반 비지도 프레임워크인 GazeShift를 제안했습니다.

• 핵심 아이디어:
  • 동일한 사용자의 한쪽 눈에서 촬영된 두 프레임 (소스 프레임과 타겟 프레임) 을 쌍으로 구성합니다.
  • 프레임 간의 주요 변화가 시선 방향 (Gaze) 에 기인한다고 가정하고, 소스 이미지의 외모 (Appearance) 를 유지하면서 타겟의 시선 방향으로 이미지를 '재배향 (Redirection)'하는 과제를 수행합니다.
• 아키텍처:
  1. 분리된 인코더 (Separate Encoders):
     • Appearance Encoder: 소스 프레임의 공간적 구조와 외모 정보를 추출합니다 (깊은 구조를 유지).
     • Gaze Encoder: 타겟 프레임에서 시선 임베딩 (Latent Embedding) 을 추출합니다 (MobileNetV2 기반의 경량화 구조).
  2. 주의 기반 재배향 (Attention-Based Redirection):
     • 추출된 시선 임베딩을 쿼리 (Query) 로 사용하여, 외모 특징 (Key, Value) 과 크로스 어텐션 (Cross-Attention) 을 수행합니다.
     • 이를 통해 시선 정보에 따라 외모 특징을 전역적으로 변조 (Global Modulation) 하여 타겟 시선 방향에 맞는 특징을 생성합니다.
  3. 시선 인지 손실 함수 (Gaze-Focused Reconstruction Loss):
     • 기존 재구성 손실 (MSE) 은 배경 등 시선과 무관한 영역까지 학습하게 하여 노이즈를 유발합니다.
     • GazeShift 는 모델이 스스로 생성한 셀프 어텐션 맵 (Self-Attention Map) 을 가중치로 활용하여, 시선과 관련된 영역 (예: 홍채 주변) 에 집중하도록 손실을 가중합니다. 이는 외부 마스크나 기하학적 사전 지식 없이 자동으로 학습 초점을 맞추는 자기지도 학습 (Self-supervised) 방식입니다.
• 보정 (Calibration):
  • VR 환경: 소량의 라벨된 고정점 (Few-shot) 을 사용하여 사용자별 선형 회귀 모델을 통해 임베딩을 2D 시선 각도로 변환합니다.
  • 원격 카메라: 전체 사용자 풀에서 공유된 소량의 데이터로 보정합니다.

3. 주요 기여 (Key Contributions)

1. VRGaze 데이터셋:
   • VR 헤드셋의 오프축 기하학을 반영한 첫 대규모 근접 근적외선 시선 추정 데이터셋입니다.
   • 68 명의 참가자로부터 수집된 210 만 장의 동기화된 양안 이미지로 구성되었습니다.
   • 기존 데이터셋 (OpenEDS2020 등) 이 온축 (On-axis) 카메라에 치중했던 것과 달리, 실제 VR 헤드셋의 시야각 왜곡을 포함합니다.
2. GazeShift 프레임워크:
   • 기하학적 사전 지식이나 복잡한 왜곡 필드 없이, 표준 어텐션 메커니즘만으로 시선 - 외모 분리 (Disentanglement) 를 달성합니다.
   • 내부 어텐션 맵을 활용한 시선 인지 손실 함수를 도입하여, 라벨 없이도 시선 관련 영역에 집중하는 학습을 유도합니다.
3. 성능 및 효율성:
   • VR 및 원격 카메라 환경 모두에서 최첨단 (SOTA) 성능을 보여주며, 특히 경량화되어 VR 헤드셋 GPU 에서 실시간 (5ms) 추론이 가능합니다.

4. 실험 결과 (Results)

• VRGaze 데이터셋 성능:
  • 사용자별 보정 (Per-person): 평균 오차 **1.84°**를 달성하여 지도 학습 기반 방법 (1.54°) 에 근접하는 성능을 보였습니다.
  • 사용자 무관 보정 (Person-agnostic): 2.13°의 오차를 기록하며 기존 비지도 학습 방법 (Cross-Encoder, 2.26°) 보다 우수한 성능을 보였습니다.
  • 오프축 데이터의 중요성: 온축 데이터 (OpenEDS2020) 로 학습한 모델을 오프축 환경 (VRGaze) 에 적용했을 때 오차가 5.2°로 급증하여, 오프축 전용 데이터셋의 필요성을 입증했습니다.
• 원격 카메라 일반화 (MPIIGaze):
  • MPIIGaze 데이터셋에서 **7.15°**의 개인 무관 오차를 달성했습니다.
  • 효율성: 기존 방법 (Cross-Encoder) 대비 파라미터는 10 배, FLOPs 는 35 배 감소하면서도 더 높은 정확도를 기록했습니다.
• 장비 내 배포 (On-device):
  • 삼성 Exynos 2200 칩셋이 탑재된 VR 헤드셋 GPU 에서 양안 추론 시 5ms의 지연 시간을 기록하여 실시간 적용 가능성을 입증했습니다.
• 시선 - 외모 분리 분석:
  • 외모 변화 (조명, 대비) 에는 시선 임베딩이 안정적으로 유지되고, 시선 변화에는 외모 임베딩이 안정적으로 유지되는 것을 통해 효과적인 분리 (Disentanglement) 가 이루어짐을 확인했습니다.

5. 의의 및 결론 (Significance)

• 데이터 부족 해결: VR 환경의 오프축 기하학을 반영한 대규모 데이터셋 (VRGaze) 을 공개함으로써, 향후 VR 시선 추적 연구의 표준 벤치마크를 제공합니다.
• 라벨 효율성: 고비용의 정밀 라벨링 없이도 높은 정확도의 시선 추정이 가능한 비지도 학습 프레임워크를 제시하여, 데이터 수집 및 라벨링 비용을 크게 절감할 수 있습니다.
• 실제 적용 가능성: 경량화된 모델 구조와 빠른 추론 속도 (5ms) 로 인해 리소스가 제한된 VR/AR 헤드셋에서 실시간으로 작동할 수 있어, 실제 상용 XR 기기에의 배포 가능성을 높였습니다.
• 확장성: 시선 추정을 넘어 얼굴 표정, 머리 자세, 뷰포인트 조건부 표현 학습 등 다른 도메인의 비지도 표현 학습에도 적용 가능한 일반적인 프레임워크를 제시합니다.

이 논문은 VR 환경에서의 시선 추정을 위한 데이터와 알고리즘의 두 가지 핵심 장벽을 동시에 해결함으로써, 차세대 XR 인터페이스 개발에 중요한 기여를 하고 있습니다.