See Through the Noise: Improving Domain Generalization in Gaze Estimation

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 시선 추정 (Gaze Estimation) 기술은 인간 - 컴퓨터 상호작용, 가상현실, 의료 분석 등 다양한 분야에서 중요성이 부각되고 있으며, 딥러닝 기반의 외관 기반 (appearance-based) 방법이 큰 성과를 거두고 있습니다.
• 핵심 문제:
  1. 도메인 일반화 (Domain Generalization) 한계: 실험실 환경에서 학습된 모델은 조명, 헤드 포즈, 가림 등 환경 변화가 큰 실제 세계 (미확인 도메인) 에 배포될 때 성능이 급격히 저하됩니다.
  2. 레이블 노이즈 (Label Noise) 의 간과: 기존 일반화 연구들은 주로 도메인 불변 표현 학습에 집중했으나, 시선 추정 데이터셋 수집의 어려움 (불안정한 주의력, 환경 변수 등) 으로 인해 레이블에 내재된 노이즈를 간과했습니다.
  3. 회귀 작업의 특수성: 시선 추정은 분류가 아닌 회귀 (Regression) 작업입니다. 기존 노이즈 레이블 학습 (Noisy Label Learning, LNL) 방법들은 분류 작업을 전제로 하여, 연속적인 값의 편차를 가진 회귀 작업에 직접 적용하기 어렵습니다. 또한, 소스 도메인 내의 노이즈를 제거하는 것만으로는 소스 - 타겟 도메인 간의 분포 차이를 해결하지 못해 일반화 성능 향상에 한계가 있습니다.

2. 제안 방법: SeeTN (See-Through-Noise) Framework

저자들은 시선 추정에서 도메인 일반화 성능을 향상시키기 위해 레이블 노이즈 완화라는 새로운 관점에서 SeeTN 프레임워크를 제안했습니다. 이 방법은 크게 세 가지 단계로 구성됩니다.

2.1. 시맨틱 매니폴드 구축 (Semantic Manifold Construction)

• 목적: 특징 (Feature) 과 연속적인 시선 레이블 간의 의미론적 (Semantic) 관계를 보존하고 강화합니다.
• 프로세스:
  1. 프로토타입 기반 변환: 추출된 특징을 MLP 를 통해 변환한 후 단위 초구 (unit hypersphere) 에 투영합니다.
  2. 프로토타입 학습: $K$개의 프로토타입 ($\mu_k$) 을 무작위 초기화 후, 지수 이동 평균 (EMA) 을 사용하여 특징의 중심을 향해 점진적으로 이동시킵니다.
  3. 토폴로지 구조 보존: 시선 각도의 연속성을 반영하기 위해, 매니폴드 내 특징 간의 친밀도 (Affinity) 행렬 ($A^{(m)}$) 과 레이블 간의 친밀도 행렬 ($A^{(g)}$) 을 정렬합니다. 이를 통해 특징 공간이 레이블 공간의 위상적 구조를 따르도록 강제합니다.

2.2. 노이즈 샘플 식별 (Noise Identification)

• 지표 ($\eta$) 설계: 분류 작업의 교차 엔트로피와 달리, 회귀 작업에서는 특징과 레이블 간의 **친밀도 불일치 (Affinity Mismatch)**를 측정합니다.
  • 매니폴드에서의 특징 분포와 레이블 공간에서의 분포 간의 차이를 계산하여 $\eta$ 값을 산출합니다.
  • $\eta$ 값이 큰 샘플은 특징과 레이블의 관계가 불일치하므로 노이즈 샘플로 간주하고, 작은 샘플은 클린 (Clean) 샘플로 분류합니다.
• 전략: 전체 데이터를 $\eta$ 값에 따라 정렬하여 상위 $t\%$를 노이즈 세트로, 나머지를 클린 세트로 나눕니다. (에포크마다 재분할하여 확인 편향을 완화)

2.3. 노이즈 강건 정규화 (Noise-Robust Regularization)

분할된 클린 세트와 노이즈 세트에 대해 서로 다른 손실 함수를 적용합니다.

• 클린 세트 ($D^C_S$):
  • 신뢰할 수 있는 레이블을 사용하여 시선 추정 손실 ($L_{gaze}$) 을 계산합니다.
  • 매니폴드 내 특징 친밀도 행렬과 레이블 친밀도 행렬을 정렬하는 정규화 항 ($L^{C}_{align}$) 을 적용하여 의미론적 일관성을 강화합니다.
• 노이즈 세트 ($D^N_S$):
  • 노이즈가 있는 레이블을 직접 사용하지 않고, 클린 세트가 학습한 **친밀도 행렬 ($A^{(m)}$)**을 활용합니다.
  • 노이즈 샘플의 특징이 클린 샘플들의 특징 분포와 유사하도록 제약하는 **친밀도 정규화 ($L^{N}_{align}$)**를 적용합니다. 이는 클린 샘플의 감독 신호를 노이즈 샘플로 전이 (Transfer) 하여 저품질 레이블에 대한 의존도를 줄입니다.

3. 주요 기여 (Key Contributions)

1. 최초의 연구: 시선 데이터셋 수집 과정에서 필연적으로 발생하는 레이블 노이즈의 영향을 도메인 일반화 관점에서 체계적으로 조사하고 해결한 최초의 연구입니다.
2. SeeTN 프레임워크 제안: 프로토타입 기반 변환을 통해 구축된 시맨틱 매니폴드에서 연속적인 시선 각도와 특징을 연결합니다. 이를 통해 노이즈를 식별하고, 클린/노이즈 샘플에 대한 강건한 정규화 전략을 설계했습니다.
3. 성능 입증: 다양한 크로스 도메인 설정에서 실험을 수행하여, 소스 도메인의 정확도를 희생하지 않으면서도 타겟 도메인 일반화 성능을 크게 향상시켰음을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: ETH-XGaze, Gaze360, MPIIFaceGaze, EyeDiap 등 4 개의 주요 시선 추정 데이터셋을 사용했습니다.
• 성능 비교:
  • 기반 모델 대비: ResNet-18/50 기반 모델에 SeeTN 을 적용했을 때, 크로스 도메인 설정 (예: Gaze360 $\to$ MPIIFaceGaze) 에서 평균 각도 오차 (MAE) 가 13~18% 이상 개선되었습니다.
  • SOTA 대비: PureGaze, GazeCF, CGaG 등 기존 도메인 일반화 방법들보다 우수한 성능을 보였습니다. 특히 Gaze360(노이즈가 많은 데이터) 을 소스로 사용했을 때 다른 방법들보다 훨씬 큰 성능 향상을 기록하여, 노이즈 처리의 중요성을 입증했습니다.
  • 노이즈 학습 방법 대비: DivideMix, SUGE 등 기존 노이즈 레이블 학습 방법들은 회귀 작업에 부적합하거나 크로스 도메인 설정에서 성능이 저하되었으나, SeeTN 은 모든 설정에서 우세한 성능을 보였습니다.
• 정성적 분석 (t-SNE 시각화):
  • 기존 모델은 헤드 포즈에 따라 특징이 군집화되는 반면, SeeTN 은 시선 방향에 따라 특징이 군집화됨을 확인했습니다.
  • 시선 레이블의 연속성이 특징 공간에서 잘 보존되고 있음을 시각적으로 입증했습니다.
• 노이즈 탐지: 제안된 지표 $\eta$가 실제 노이즈가 있는 레이블을 정확하게 식별하고, 모델이 노이즈 레이블에도 불구하고 정확한 시선을 예측할 수 있음을 보여주었습니다.

5. 의의 및 결론 (Significance)

이 논문은 시선 추정 분야에서 레이블 노이즈가 도메인 일반화 성능에 미치는 부정적인 영향을 최초로 규명하고, 이를 해결하기 위한 새로운 패러다임을 제시했습니다.

• 실용성: 실제 응용 환경에서 데이터 수집의 어려움으로 인해 발생하는 노이즈를 명시적으로 처리함으로써, 모델의 견고성 (Robustness) 을 크게 향상시켰습니다.
• 방법론적 혁신: 분류 작업 중심의 기존 노이즈 학습 기법을 회귀 작업에 맞게 변형하고, 시맨틱 매니폴드를 활용한 특징 - 레이블 관계 정렬을 통해 도메인 불변성을 확보했습니다.
• 향후 전망: 단순한 분할 전략의 한계를 인정하면서도, 노이즈 레이블 학습과 시맨틱 매니폴드를 결합한 더 정교한 방법론에 대한 연구의 필요성을 제기했습니다.

결론적으로, SeeTN 은 소스 도메인의 노이즈를 "통과 (See Through)"하여 더 깨끗한 의미론적 정보를 추출함으로써, 다양한 환경에서도 안정적으로 작동하는 시선 추정 모델 개발에 중요한 기여를 했습니다.