기술 요약: 약한 지도 학습 알고리즘 프레임워크를 통한 견고한 망막 기반 시선 추적 확립

1. 문제 제기

망막 이미지 기반 시선 추적은 AR/VR 에서 사용되는 전통적인 동공 또는 각막 기반 방법에 비해 시선 정확도를 획기적으로 높일 수 있는 잠재력을 제공합니다. 이는 망막의 중심와 (fovea) 에 대한 빛의 분포를 관찰하여 시선을 직접 측정하기 때문입니다. 그러나 기존 알고리즘은 주로 고전적인 템플릿 매칭 등록 (예: 교차 상관) 이나 표준 딥러닝 등록 기술에 의존합니다. 이러한 접근 방식은 실제 망막 추적 시나리오에서 다음과 같은 치명적인 한계에 직면합니다:

• 특징 변이성: 시선과 조절 (accommodation) 의 큰 변화는 시야각과 초점 깊이 이동으로 인해 망막 특징에 복잡한 변이를 유발하여 성능을 저하시킵니다.
• 작은 시야각 (FoV): 고해상도 망막 추적 시스템은 종종 작은 시야각 (<10°) 을 가집니다. 이러한 영역에서는 동맥과 정맥과 같은 견고한 혈관 특징이 자주 부재하거나 희소하여 혈관 의존적 등록 방법이 무효화됩니다.
• 이미지 열화: 여러 이미지를 명시적인 참조 지도로 이어붙이는 전통적인 방법은 완벽한 등록이 이루어지더라도 동일한 해부학적 위치에서 이미지 간 망막 외관이 달라지는 이미지 블렌딩 아티팩트로 인해 특징 열화에 시달립니다.

2. 방법론

저자들은 작은 시야각 망막 영상과 견고하게 작동하도록 설계된 새로운 약한 지도 학습 기반 프레임워크를 제안합니다. 이 시스템은 세 가지 주요 단계로 구성됩니다:

A. 표준 특징 공간 구성

명시적인 블렌딩 참조 지도를 생성하는 대신, 저자들은 **표준 특징 공간 (Canonical Feature Space, CFS)**을 도입합니다.

• 프로세스: 망막의 직사각형 그리드 스캔을 획득합니다. 중앙 참조 이미지 (0°, 0° 시선) 를 시작으로 인접 이미지 간 쌍별 등록을 수행합니다.
• 번들 조정 (Bundle Adjustment): 번들 조정 알고리즘이 스캔 내 모든 이미지의 공간 포즈를 추정합니다.
• 특징 변환: 감지된 키포인트는 추정된 위치에 유지되며 참조 이미지 중심에서 유래된 공유된 표준 좌표계로 변환됩니다. 결정적으로, 특징 열화를 방지하기 위해 원본 이미지 기술자 (descriptor) 는 블렌딩 없이 보존됩니다.
• 시선 추정: 소스 이미지를 이 CFS 에 매칭하여 표준 좌표계에서 이미지 중심을 위치시키고, 시스템 보정을 통해 픽셀 변위를 시선 각도로 변환함으로써 시선을 추정합니다.

B. 약한 지도 등록 모델

전용 딥러닝 모델이 CFS 구성과 후속 시선 추정을 모두 처리합니다. 이 모델은 두 가지 주요 혁신을 특징으로 합니다:

1. 연합 이미지 향상 및 키포인트 기술:
   • 모델은 픽셀별 다항식 곡선 조정을 예측하기 위한 경량 이미지 향상 네트워크 (Zero-DCE) 를 백본으로 사용합니다.
   • 키포인트 감지 및 기술에 SuperPoint 백본 (공유 인코더, 두 개의 디코더 헤드) 을 사용합니다.
   • 학습 전략: 망막 이미지에 대한 정답 (ground-truth) 키포인트를 획득하는 것이 불가능하므로, 인코더와 감지기는 합성 비망막 데이터셋에서 사전 훈련된 가중치를 사용하여 고정됩니다. 기술자 디코더는 삼중항 손실 (triplet loss) 을 사용하여 미세 조정됩니다.
   • 키포인트 보존 손실: 새로운 정답 주석이 필요 없이 사전 훈련된 감지기가 더 많은 키포인트를 식별하고 더 견고한 기술자를 산출하는 이미지를 생성하도록 유도하는 새로운 손실 함수 ($L_{kp}$) 가 도입되었습니다.
2. 이상치 거부:
   • 양방향 (상호 최근접 이웃) 매칭을 통해 거친 대응 관계를 수립합니다.
   • SuperGlue에서 적응된 주의 기반 그래프 신경망이 이러한 매칭에 대한 신뢰도 점수를 예측합니다.
   • 약한 지도: 모델은 밀집된 정답 매칭 대신 (각 쌍당 3 개 이상의 대응 관계를 수동으로 주석 달아 유도한) 거친 정답 변환 행렬만을 사용하여 훈련됩니다. 일반화를 개선하기 위해 훈련 중 목표 위치에 무작위 편향이 적용됩니다.

C. 최종 시선 추정

비디오 시퀀스의 각 소스 이미지에 대해 특징을 추출하여 CFS 와 매칭합니다. 최종 시선 추정치는 소스 이미지 중심과 표준 공간의 매칭된 점들 간의 변위에 대응점 점수 가중 평균을 적용하여 계산됩니다.

3. 주요 기여

이 논문은 세 가지 주요 기여를 제시합니다:

1. 새로운 알고리즘 프레임워크: 작은 시야각과 특징 희소성이라는 과제를 특히 해결하여 최첨단 방법보다 견고성과 정확도를 획기적으로 개선한 망막 시선 추적을 위한 약한 지도 접근법.
2. 표준 특징 공간 등록: 픽셀 공간이 아닌 특징 공간에서 참조 지도를 구성하여 원본 이미지 특징을 보존하고 블렌딩 아티팩트를 피하면서도 견고한 특징 매칭을 가능하게 하는 방법.
3. 전용 등록 모델: 약한 지도 하에서 작동하며, 키포인트 보존 손실을 활용하여 밀집된 정답 주석 없이 사전 훈련된 감지기를 망막 영상에 적응시키는 연합 이미지 향상 및 특징 기술 모델.

4. 실험 결과

이 방법은 ±5° 시선 범위에서 팬텀 눈 (phantom-eye) 과 실제 눈 (6 명 인간 참가자) 데이터셋 모두에서 평가되었습니다.

• 성능 지표: 제안된 방법은 코호트 전체에서 95 백분위수 시선 오차 ($E_{95}$) 가 < 0.45° (실제 눈에서는 구체적으로 0.38°) 를 달성했습니다.
• 비교: 표 1 에所示된 바와 같이, 제안된 방법은 고전적 방법 (SIFT, ORB), 일반 딥러닝 등록기 (SuperPoint, SuperGlue), 그리고 최첨단 망막 추적 방법 (Substrip NCC) 보다 현저히 우수한 성능을 보였습니다.
  • 실제 눈 평균 오차: 제안된 방법 (0.18°) 대 Substrip NCC (2.10°) 대 SuperGlue (1.41°).
  • 실제 눈 $E_{95}$: 제안된 방법 (0.38°) 대 Substrip NCC (8.06°) 대 SuperGlue (3.55°).
• 절대 실험 (Ablation Study): 표 3 은 어떤 구성 요소를 제거해도 성능이 저하됨을 보여줍니다. 특히, 표준 특징 공간 등록 (CFSR) 을 제거하면 정확도가 급격히 떨어졌습니다 (평균 오차가 0.18°에서 4.51°로 증가), 이는 이미지 블렌딩을 피하는 것의 중요성을 강조합니다. 이상치 거부 모듈 또한 낮은 오차율을 유지하는 데 결정적이었습니다.

5. 중요성 및 주장

저자들은 이 작업이 망막 이미지 기반 시선 추적을 위한 견고하고 정확하며 실용적인 프레임워크를 확립했다고 주장합니다. 그 중요성은 다음과 같습니다:

• 변이성에 대한 견고성: 시야각, 조절, 그리고 작은 시야각 이미지에서의 혈관 특징 희소성에도 불구하고 시선을 신뢰성 있게 추적할 수 있는 능력.
• 확장성: "간소화된" 알고리즘은 단일 훈련된 모델을 사용하여 참조 지도 구성과 시선 추정을 모두 지원하며 복잡한 다단계 파이프라인의 필요성을 피합니다.
• 실용성: 훈련의 약한 지도 특성은 얻기 어려운 밀집된 정답 주석에 대한 의존도를 줄여 현실 세계 배포를 더 실현 가능하게 만듭니다.

이 논문은 현재 결과가 유망하지만, 향후 연구는 정밀 정렬 단계 (예: 광학 흐름) 를 조사하고 더 넓은 시선 범위를 가진 더 크고 다양한 코호트로 평가를 확장할 수 있다고 결론지었습니다.