기술 요약: GazePrior

문제 정의

안구 추적 (ET) 은 초점 렌더링 (foveated rendering) 및 시선 기반 상호작용과 같은 기능을 가능하게 하는 고급 증강 현실 (AR) 및 가상 현실 (VR) 응용 프로그램의 기반 기술입니다. 그러나 새로운 장치 세대가 나올 때마다 고품질의 정답 데이터 (ground truth) 를 갖춘 실제 데이터를 수집하는 데 드는 높은 비용과 시간으로 인해 ET 를 위한 딥러닝 모델 훈련이 방해받고 있습니다. 하드웨어 구성 (카메라 배치, 해상도) 이 진화함에 따라 수백만 프레임으로 구성된 새로운 훈련 세트가 필요합니다. 기존 합성 데이터 생성 방법은 종종 현실성이 부족하고, 크라우드 소싱된 실제 데이터는 정확성이 부족합니다. furthermore, 안구 이미지를 합성하려는 현재의 반합성 (semi-synthetic) 접근 방식은 종종 명시적인 안구 마스크와 경직된 회전에 의존하며, 안구, 눈꺼풀 및 주변 얼굴 특징 사이의 복잡한 결합을 무시하여 물리적 타당성과 정확성을 저하시킵니다.

방법론

저자들은 기존 장치의 희소 입력 데이터만을 사용하여 새로운 ET 장치용 고품질 훈련 데이터를 합성하는 학습된 3 차원 시선 사전 (3D gaze prior) 을 활용하는 제로샷 (zero-shot) 접근법인 GazePrior를 제안합니다. 이 방법은 두 가지 주요 단계로 구성됩니다:

1. 분리된 3 차원 시선 사전 학습 (사전 훈련)

3 차원 아바타 방법에서 영감을 받아, 저자들은 다양한 정체성, 시선 방향, 조명 조건에 걸친 인간 눈의 분포를 모델링하는 조건부 신경 방사장 (Neural Radiance Field, NeRF) 을 훈련합니다.

• 조건부 방사장: 네트워크 $\Psi$는 3 차원 점 $x$, 시선 방향 $v$, 그리고 대상 정체성 ($\hat{s}$), 시선 방향 ($\hat{g}$), 조명 ($\hat{l}$) 에 대한 잠재 임베딩을 입력받습니다. 이는 밀도 $\sigma$와 색상 $c$를 출력합니다.
• 분리 (Disentanglement): 아키텍처는 이러한 요소를 명시적으로 분리합니다. 밀도 네트워크는 정체성과 시선에 의존하지만 조명 ($\hat{l}$) 에는 독립적이며, 색상 네트워크는 세 가지 모두에 의존합니다. 이는 기하학적 일관성이 조명 변화에 의해 혼동되지 않도록 보장합니다.
• 잠재 표현:
  • 대상 ($\hat{s}$): 각 정체성에 대한 학습 가능한 코드북 벡터로, 아티팩트 (플로터) 에 대한 정규화제로 작용하는 공유된 저주파 표현을 장려합니다.
  • 시선 ($\hat{g}$): 경직된 안구 회전 모델과 달리, 시선은 정답 시선 벡터의 사인파 인코딩을 통해 인코딩됩니다. 이를 통해 네트워크는 시선 변화와 결합된 눈꺼풀과 눈썹의 비경직성 움직임을 학습할 수 있습니다.
  • 조명 ($\hat{l}$): 색상 출력에만 영향을 미치는 학습 가능한 코드북 벡터로, 재구성된 기하학이 조명에 대해 불변임을 보장합니다.
• 훈련: 모델은 다양한 시선과 조명을 가진 다중 뷰 이미지를 포함하는 400 명 이상의 대상이 포함된 대규모 데이터셋 (Lin et al. [11]) 에서 사전 훈련되며, RGB 재구성, 지각적 손실 (perceptual loss), 그리고 잠재 공간을 정규화하는 KL 발산을 결합한 손실 함수를 사용합니다.

2. 희소 입력 리타게팅 (파인튜닝)

새로운 대상 장치 (예: 다른 카메라 구성을 가진 헤드셋) 에 사전 모델을 적응시키기 위해, 이 방법은 기존 헤드셋의 희소 소스 이미지 (예: 4 개의 뷰) 에 대해 2 단계 최적화를 수행합니다:

1. 잠재 최적화: 사전 훈련된 네트워크 가중치를 고정된 채로, 새로운 대상과 조명의 특정 잠재 코드 ($\hat{s}_I, \hat{l}_I$) 를 희소 소스 뷰에 적합하도록 최적화합니다. 정답 시선 임베딩 $\hat{g}_I$는 알려진 주석에서 계산되어 고정된 상태로 유지됩니다.
2. 파인튜닝: 네트워크 가중치를 고정 해제하고 잠재 코드와 함께 공동 최적화하여 개인별 세부 사항을 포착하고 재구성을 정교화합니다.
3. 합성: 결과적으로 생성된 고품질 방사장은 대상 장치의 카메라 관점에서 렌더링됩니다. 이는 원래의 정답 시선 주석을 유지하면서 새로운 장치의 광학적 특성과 일치하는 합성 훈련 이미지를 생성합니다.

주요 기여

• 최초의 학습된 시선 사전: 이 논문은 명시적인 안구 마스크나 경직된 회전에 의존하지 않고 생물학적으로 정확한 눈꺼풀 움직임을 특징으로 하는 대상, 시선, 조명을 분리한 최초의 3 차원 시선 사전을 소개합니다.
• 희소 뷰 3 차원 재구성: 이 방법은 이전 방법들이 요구했던 밀집된 다중 뷰 캡처에 비해 극도로 희소한 입력 (최소 2~4 개의 뷰) 에서 고품질 신규 뷰 합성을 가능하게 합니다.
• 제로샷 데이터 합성: 새로운 AR/VR 장치에 대한 훈련 데이터를 생성하기 위해 새로운 실제 데이터를 수집하지 않는 파이프라인을 제공하여, 레거시와 새로운 하드웨어 간의 도메인 격차를 효과적으로 해소합니다.
• 우월한 성능: 합성된 데이터는 경쟁 합성 베이스라인으로 훈련된 모델에 비해 더 높은 정확도와 견고성을 갖춘 ET 모델이 달성할 수 있게 합니다.

실험 결과

저자들은 Aria 헤드셋을 대상 장치로 사용하여 GazePrior 를 평가하고, 최첨단 베이스라인 (ControllableGaze [10], Lin et al. [11]) 과 비교했습니다.

• 신규 뷰 합성 (NVS): 정량적 평가 (PSNR, SSIM, MSE) 에서 GazePrior 는 입력 뷰 수가 감소함에 따라 베이스라인을 크게 능가했습니다. 단 2 개의 입력 뷰만으로도 GazePrior 는 최상의 베이스라인보다 약 10dB 의 성능 차이를 보였습니다. 정성적 결과는 GazePrior 가 실제 Aria 캡처와 비교하여 최소한의 도메인 격차로 속눈썹, 눈꺼풀과 같은 고품질 세부 사항을 생성하는 반면, 베이스라인은 플로터와 아티팩트를 보임을 보여주었습니다.
• 안구 추적 성능: GazePrior 합성 데이터로 훈련된 ET 모델은 실제 Aria 테스트 데이터에서 평균 시선 각도 오차 **5.85°**를 달성했습니다. 이는 베이스라인 (12.53° 및 12.69°) 보다 상당한 개선이며, 실제 장치별 데이터로 훈련된 모델의 성능 (4.35°) 에 근접합니다.
• 결손 연구 (Ablation Studies): 이 연구는 분리된 잠재 공간과 조명을 밀도로부터 분리하는 것이 중요함을 확인했습니다. 단일 잠재 벡터를 사용하거나 밀도를 조명 의존적으로 만들 경우 성능이 크게 저하되었습니다. 시선에 대한 사인파 인코딩은 학습된 코드북보다 더 효과적이었습니다.

중요성과 주장

이 논문은 GazePrior 가 제로샷 접근 방식을 통해 새로운 AR/VR 장치에 대한 데이터 수집의 과도한 비용을 해결한다고 주장합니다. 기존 헤드셋의 주석 데이터셋을 활용하고 학습된 3 차원 사전을 통해 리타게팅함으로써, 이 방법은 개발자들이 다음을 가능하게 합니다:

1. 물리적으로 제작되기 전에 새로운 장치용 견고한 안구 추적기를 훈련할 수 있습니다.
2. 물리적 프로토타이핑 없이 카메라 배치가 성능에 미치는 영향을 평가할 수 있습니다.
3. 고비용의 대규모 데이터 수집 캠페인 없이 높은 정확도를 달성할 수 있습니다.

저자들은 이 작업을 XR 에서 초점 렌더링 및 시선 핀치 상호작용과 같은 고급 기능을 해제하기 위한 기초적인 단계로 위치지으며, 현재 이 분야의 빠른 반복을 방해하는 데이터 수집 병목 현상을 제거합니다. 그들은 방사장으로 고주파 각막 반사 (corneal glints) 를 시뮬레이션하는 것의 어려움과 같은 한계를 인정하지만, 기존 합성 기술을 능가하는 다양하고 현실적인 훈련 데이터를 생성하는 방법의 성공을 강조합니다.