Enhancing Eye Feature Estimation from Event Data Streams through Adaptive Inference State Space Modeling

1. 문제 정의 (Problem)

이 연구는 이벤트 기반 카메라 (Event Cameras) 를 이용한 안구 추적 (Eye Tracking) 에서 발생하는 핵심적인 문제를 해결하고자 합니다.

• 기존 프레임 기반 카메라의 한계: 고정된 프레임 속도와 노출 시간을 가지며, 움직임이 없는 영역 (피부 등) 에서도 불필요한 데이터를 전송하여 전력 소모가 크고 지연 (Latency) 이 발생합니다.
• 이벤트 센서의 도전 과제: 이벤트 센서는 저전력, 고해상도, 저지연의 장점이 있지만, 안구 운동의 역학 (Kinematics) 이 급격하게 변할 때 발생하는 이벤트 밀도 (Event Density) 와 신호 대 잡음비 (SNR) 의 급변에 취약합니다.
  • 사카드 (Saccade, 급격한 안구 이동): 이벤트가 밀집되어 SNR 이 높음.
  • 고정 (Fixation, 시선 고정): 이벤트가 거의 발생하지 않아 SNR 이 낮음.
• 기존 모델의 한계: 과거 정보를 기억하는 순환 신경망 (RNN) 이나 상태 공간 모델 (SSM) 은 SNR 이 높은 급격한 움직임 구간에서는 불필요한 과거 맥락을 포함하여 편향 (Bias) 을 일으키거나, SNR 이 낮은 고정 구간에서는 과거 정보에 의존하여 예측 성능이 저하되는 문제가 있습니다.

2. 제안 방법론 (Methodology)

저자들은 적응적 추론 상태 공간 모델 (Adaptive Inference State Space Model, AISSM) 을 제안하여 현재 정보와 과거 정보의 가중치를 동적으로 조절하는 방식을 도입했습니다.

2.1 AISSM 아키텍처

AISSM 은 베이즈 추론 (Bayesian Inference) 에 영감을 받아 설계되었으며, 다음과 같은 구성 요소로 이루어집니다:

• 인코더 (Encoder, Posterior): 현재 이벤트 프레임 ($o_t$) 을 기반으로 잠재 상태의 사후 분포 ($q(s_t|o_t)$) 를 추정합니다.
• 전이 모델 (Transition Prior): 이전 상태와 순환 상태 ($h_{t-1}$) 를 사용하여 다음 프레임에 대한 사전 분포 ($p(s_t|h_t)$) 를 생성합니다.
• 동적 가중치 결합: 현재 정보 (사후) 와 과거 정보 (사전) 를 선형 결합하여 최종 상태 표현 ($\bar{s}_t$) 을 만듭니다.
  $$\bar{s}_t = \hat{\alpha}_t \times s^q_t + (1 - \hat{\alpha}_t) \times s^p_t$$
  여기서 $\hat{\alpha}_t$는 현재 정보의 신뢰도를 나타내는 가중치입니다.

2.2 동적 신뢰도 네트워크 (Dynamic Confidence Network)

가중치 $\hat{\alpha}_t$를 동적으로 결정하기 위해 별도의 네트워크 모듈을 도입했습니다.

• 신뢰도 점수 계산: 현재 프레임의 신호 대 잡음비 (SNR) 와 이벤트 밀도 (Event Density) 를 기반으로 신뢰도 점수를 계산합니다.
  • SNR: 관심 영역 (ROI, 예: 동공 중심부) 내 이벤트 수와 영역 외 이벤트 수의 비율.
  • Event Density: ROI 내 이벤트 수와 픽셀 수의 비율.
• 동적 조정: SNR 이 높고 이벤트 밀도가 높을 때 (급격한 움직임) 는 현재 정보에 높은 가중치를 부여하고, SNR 이 낮을 때 (시선 고정) 는 과거 정보에 더 의존하도록 가중치를 자동 조정합니다.

2.3 장기 구간 훈련 기법 (Long-Horizon Training)

RNN 기반 모델 훈련 시 발생하는 '무상태 훈련 (Stateless Training)' 문제 (배치마다 상태 초기화로 인한 시간적 정보 손실) 를 해결하기 위해 제안된 훈련 전략입니다.

• 각 훈련 샘플마다 모델의 내부 상태 (사후/사전 분포, 순환 상태) 를 데이터셋에 저장하고, 훈련 시 해당 상태를 불러와 업데이트하여 긴 시간 의존성을 유지하도록 합니다.

3. 주요 기여 (Key Contributions)

1. AISSM 아키텍처 개발: 이벤트 밀도와 SNR 의 급변에 적응적으로 반응하여 과거와 현재 정보의 가중치를 동적으로 조절하는 새로운 상태 공간 모델 제안.
2. 동적 신뢰도 네트워크: SNR 과 이벤트 밀도를 기반으로 현재 관측값의 신뢰도를 추정하여 모델의 추론 과정을 최적화하는 모듈 도입.
3. 효율적인 훈련 기법: 장기 시간 의존성을 보존하고 훈련 안정성을 높이는 'Long-Horizon Training' 기법 제안.
4. 성능 입증: 기존 최첨단 (SOTA) 모델들보다 우수한 성능을 입증하고, 특히 사카드와 고정 구간 간의 전환 시 발생하는 예측 오류를 효과적으로 줄임.

4. 실험 결과 (Experimental Results)

• 데이터셋: 널리 사용되는 3ET+ 데이터셋 (고품질 이벤트 기반 안구 추적 데이터) 을 사용.
• 비교 모델: CNN, CNN-GRU, CNN-Mamba, CB-ConvLSTM, MambaPupil 등 기존 SOTA 모델들과 비교.
• 성능 지표:
  • P5, P10, P15: 예측된 동공 위치가 실제 위치로부터 5, 10, 15 픽셀 이내에 있는 비율.
  • Distance Error: 예측 오차 거리.
• 결과:
  • 제안된 AISSM은 모든 지표에서 가장 높은 성능을 기록했습니다.
    • P5: 46.85% (2 위인 CB-ConvLSTM 의 29.86% 보다 월등히 높음).
    • P10: 72.38%.
    • P15: 85.41%.
    • 오차 거리: 0.01 (가장 낮음).
  • 동적 가중치의 효과: 이벤트 밀도가 낮아지는 고정 구간에서 AISSM 은 과거 정보에 의존하여 CNN-GRU 보다 훨씬 안정적인 예측을 수행함을 확인했습니다.
  • 훈련 기법의 효과: Long-Horizon Training 을 적용한 모델은 훈련 후반부에 정확도가 떨어지는 현상이 없으며 더 안정적으로 수렴했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 이벤트 기반 안구 추적 분야에서 변화하는 환경 조건 (SNR, 이벤트 밀도) 에 적응할 수 있는 지능형 모델의 중요성을 강조합니다.

• 실용성: 저전력, 저지연이 필수적인 웨어러블 기기와 엣지 디바이스에서의 실시간 안구 추적 시스템 구현에 큰 기여를 합니다.
• 기술적 혁신: 단순한 순환 구조를 넘어, 현재 관측값의 신뢰도를 평가하여 과거/현재 정보의 균형을 스스로 조절하는 '적응적 추론' 메커니즘을 성공적으로 적용했습니다.
• 향후 과제: 두 개의 네트워크 (AISSM + 신뢰도 네트워크) 로 인한 추론 지연 (Latency) 증가 가능성과, 이산 분포 (Categorical Distribution) 대신 연속 표현을 사용할 경우의 계산 효율성 개선 등을 향후 연구 과제로 제시했습니다.

결론적으로, 이 연구는 이벤트 센서의 잠재력을 최대한 끌어내어 기존 프레임 기반 방법론의 한계를 극복하고, 동적 환경에서도 높은 정확도를 유지하는 차세대 안구 추적 기술의 토대를 마련했습니다.