💻 computer science

Low Latency Gaze Tracking via Latent Optical Sensing

본 논문은 수동 광학 인코더와 마이크로렌즈 어레이 및 이진 마스크를 사용하여 작업 관련 잠재 특징을 직접 포착함으로써 기존 이미지 처리를 우회하는 실시간 초저지연 시선 추적 시스템을 제시하며, 이는 기존 카메라 기반 접근법 대비 3.4ms 의 종단 간 지연 시간과 향상된 에너지 효율성을 달성합니다.

원저자: Yidan Zheng, Matheus Souza, Kaizhang Kang, Qiang Fu, Hadi Amata, Wolfgang Heidrich

게시일 2026-05-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yidan Zheng, Matheus Souza, Kaizhang Kang, Qiang Fu, Hadi Amata, Wolfgang Heidrich

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

누군가가 어디를 보고 있는지 추측해 보라고 상상해 보세요. 전통적인 방법은 그들의 눈에서 고해상도 4K 사진을 찍어 그 거대한 파일을 슈퍼컴퓨터로 전송한 뒤, 컴퓨터가 시선 방향을 파악하기 위해 모든 픽셀을 하나씩 분석하도록 요청하는 것과 같습니다. 이는 정확하지만 느리고, 많은 전력을 소모하며, 이동해야 할 데이터량이 많습니다.

이 논문은 완전히 다른, 즉 "단축" 방법을 제안합니다. 전체 사진을 찍는 대신, 연구자들은 지능형 체처럼 작용하는 특수 광학 필터를 구축했습니다.

다음은 이 시스템이 작동하는 방식을 간단한 개념으로 분해한 것입니다:

1. "지능형 체"(광학 인코더)

눈에서 들어오는 빛을 물통에 담긴 물이라고 상상해 보세요. 비가 많이 오는지 적게 오는지 알고 싶다면, 모든 물방울을 거대한 그물에 다 받아 하나씩 세는 것 (전체 사진 촬영) 대신, 매우 구체적이고 맞춤형으로 제작된 구멍 패턴이 있는 체에 물을 부어보세요.

하드웨어: 연구자들은 마이크로 렌즈 어레이(작은 돋보기 시트) 와 이진 마스크(검은색과 은색 사각형의 특정 패턴이 있는 시트) 가 장착된 장치를 만들었습니다.
마법: 눈에서 나온 빛이 이 "체"를 통과하면 특정 패턴으로 뒤섞입니다. 시스템은 눈이 어떻게 생겼는지(홍채 색상, 피부색, 세부 특징 등) 에 관심이 없습니다. 통과하는 빛의 강도 패턴에만 관심이 있을 뿐입니다.
결과: 256x256 픽셀 이미지 (65,000 개 이상의 데이터 포인트) 대신, 시스템은 16 개의 숫자만 포착합니다. 마치 한 권의 소설을 주요 줄거리만 전달하는 한 문장으로 압축하는 것과 같습니다.

2. "경량 번역기"(AI 디코더)

시스템이 그 16 개의 숫자를 얻으면, 눈 이미지를 재구성하려고 하지 않습니다. 그것은 시간 낭비일 뿐입니다. 대신 그 16 개의 숫자를 작고 초고속인 컴퓨터 뇌 (경량 신경망) 에 입력합니다.

훈련 트릭: 이 작은 뇌를 가르치기 위해 연구자들은 눈 이미지를 추상적 코드로 변환하는 방법을 아는 "교사" AI 를 사용했습니다. 그들은 새로운 시스템이 오직 16 개의 숫자만을 사용하여 교사의 "사고 과정"을 모방하도록 가르쳤습니다.
보너스 프라이버시: 시스템이 실제로 눈의 사진을 보거나 저장하지 않기 때문에 자연스럽게 더 사생활이 보호됩니다. 16 개의 숫자로는 사람을 식별할 수 없지만, 시스템은 여전히 그들이 어디를 보고 있는지 정확히 알려줄 수 있습니다.

3. 속도 기록 (지연 시간)

여기서 가장 큰 승리는 속도입니다.

전통적인 카메라: 전체 이미지가 찍힐 때까지 기다렸다가 모든 픽셀을 읽은 다음 처리해야 합니다. 이는 보통 10~20 밀리초 (또는 그 이상) 가 걸립니다.
이 시스템: "사진 촬영" 단계를 건너뛰고 16 개의 작은 센서만 읽기 때문에, 빛이 센서에 닿는 순간부터 컴퓨터가 "그들은 왼쪽을 보고 있다"고 말하기까지의 전체 과정이 3.4 밀리초 미만이 걸립니다.

비유:
전통적인 카메라 시스템은 사진을 찍고, 인쇄하고, 미술 비평가에게 가져가 "그 사람은 어디를 보고 있나요?"라고 묻는 사진작가와 같습니다.
이 새로운 시스템은 사람의 얼굴을 전혀 보지 않는 경비원과 같습니다. 대신 그들은 특정 벽에 비친 사람의 그림자만 봅니다. 그 그림자는 왜곡되어 얼굴로 식별할 수 없지만, 경비원은 그림자의 모양을 바탕으로 사람이 어느 방향을 보고 있는지 정확히 압니다. 이는 즉각적이며 사진이 필요 없고 에너지를 거의 사용하지 않습니다.

그들이 실제로 달성한 것

정확도: 테스트에서 시스템은 시선 방향을 약 6 도 (팔을 뻗었을 때 엄지손가락의 너비 정도) 의 오차로 추측했습니다. 이는 많은 실제 용도에 충분할 정도로 좋습니다.
실제 환경 테스트: 연구자들은 실제 렌즈, 마스크, 센서로 물리적 프로토타입을 구축했습니다. 실제 사람을 대상으로 테스트했을 때, 특정 사람을 위해 시스템을 "보정"하기 위해 화면의 12~15 개 다른 지점을 사람에게만 보여주면 되었고, 잘 작동했습니다.
효율성: 이 시스템은 표준 카메라가 필요로 하는 컴퓨팅 파워의 아주 작은 부분만 사용합니다. 이는 미래의 AR 안경과 같은 매우 작고 배터리로 작동하는 장치에서도 실행될 수 있을 정도로 효율적입니다.

요약하자면:
이 논문은 안구 운동을 추적하기 위해 고해상도 카메라가 필요하지 않음을 보여줍니다. 교활한 광학 필터를 사용하여 빛을 작은 숫자 집합으로 뒤섞고, 간단한 AI 가 그 숫자를 읽게 함으로써 4 밀리초 미만에 누군가가 어디를 보고 있는지 추적할 수 있습니다. 이는 인간의 뇌 속도를 따라갈 만큼 빠르며, 지연이 멀미를 유발하는 차세대 가상 현실 및 증강 현실 안경에 완벽합니다.

"Latent Optical Sensing 을 통한 저지연 시선 추적"논문에 대한 상세 기술 요약입니다.

문제 제기

기존 시선 추적 시스템은 고해상도 카메라를 사용하여 전체 안구 이미지를 캡처한 후 심층 신경망 추론을 수행합니다. 정확도는 높지만, 수백만 개의 픽셀을 판독하고 처리해야 하므로 센싱, 대역폭, 연산 오버헤드가 상당합니다. 이러한 지연 시간은 차세대 웨어러블 AR/VR 디스플레이가 사용자의 몰입을 방해하지 않고 실시간 상호작용 및 포베이티드 렌더링을 지원하기 위해 필요한 5ms 임계값을 종종 초과합니다. 기존 경량화 또는 이벤트 기반 솔루션들은 여전히 시간적 집계나 이미지와 유사한 재구성을 필요로 하여, 전체 프레임 이미지 획득 및 처리의 근본적인 병목 현상을 제거하지 못합니다.

방법론

저자들은 명시적인 이미지 형성을 완전히 우회하는 완전 수동 광학 시스템을 제안합니다. 밀집된 이미지를 캡처하는 대신, 시스템은 작업 지향적 광학 인코딩을 수행하여 안구의 컴팩트하고 저차원의 잠재 표현을 직접 획득합니다.

1. 광학 인코더 및 하드웨어 아키텍처
시스템의 핵심은 세 가지 주요 구성 요소로 이루어진 "잠재 광학 인코더"입니다.

마이크로렌즈 어레이 (MLA): 안구 이미지를 축소하는 프레넬 렌즈 어레이.
이진 크롬 마스크: MLA 의 초점 평면에 배치된 공동 설계 이진 마스크.
광트랜지스터 어레이: 공간적으로 멀티플렉싱된 광학 측정을 캡처하는 4×4 어레이 (16 개 요소).
안구에서 나오는 빛은 MLA 를 통과한 후 이진 마스크에 의해 변조됩니다. 결과적으로 인코딩된 강도는 광트랜지스터에 의해 직접 캡처되어 16 차원 측정 벡터를 생성합니다. 이 하드웨어는 빠른 신호 획득을 위해 FPGA 와 통합됩니다.

2. 엔드 - 투 - 엔드 학습 프레임워크
이 시스템은 광학 인코딩 마스크와 디지털 추론 네트워크를 공동 최적화하는 시뮬레이션 - 실제 파이프라인을 사용하여 학습됩니다.

디지털 에뮬레이션: 가분산 디지털 인코더 $\tilde{E}$ 는 입력 안구 이미지에 적용되는 16 개의 학습 가능한 이진 마스크 ( $256 \times 256$ 해상도) 를 사용하여 광학 과정을 시뮬레이션합니다.
잠재 증류: 16 개의 측정에 충분한 정보가 포함되어 있는지 보장하기 위해, 시스템은 "교사 - 학생"증류 방식을 사용합니다. 교사 네트워크 ( $P_T$ ) 는 사전 학습된 StyleGAN2 생성기를 역전시켜 안구 이미지를 256 차원 잠재 공간 ( $h_T$ ) 에 매핑하고 시선을 예측합니다. 학생 디코더 ( $P$ ) 는 압축된 16 측정 벡터를 동일한 잠재 공간 ( $h$ ) 에 직접 매핑하도록 학습되며, 시선 방향 ( $\hat{g}$ ) 과 유효성 플래그 ( $\hat{v}$ ) 도 예측합니다.
손실 함수: 학습 목적 함수는 지도식 시선 회귀, 유효성 분류, 시선 증류 (교사의 시선 예측 일치), 그리고 특징 증류 (교사의 잠재 표현 일치) 를 결합합니다.
데이터 증강: 정체성 편향과 제한된 데이터셋 다양성을 해결하기 위해 저자들은 생성적 인페인팅 (SAM3 와 ControlNet 을 갖춘 Flux 확산 모델) 을 사용하여 안구 주변 외관 (피부색, 조명) 을 변화시키면서도 실제 시선 레이블은 유지합니다.

3. 시선 조종
이 프레임워크에는 잠재 공간에서 시선을 조종할 수 있는 제어 네트워크가 포함되어 있습니다. 소스 및 대상 시선 벡터를 기반으로 잔여 변위 ( $\Delta h$ 또는 $\Delta w^+$ ) 를 예측함으로써, 시스템은 대상의 정체성을 유지하면서 시선 방향을 변경하기 위해 잠재 표현을 편집할 수 있으며, 이는 학습된 특징이 시선과 외관을 효과적으로 분리한다는 것을 보여줍니다.

주요 기여

엔드 - 투 - 엔드 잠재 공간 프레임워크: 수동 광학 인코딩과 신경 디코딩을 공동 최적화하여 전체 안구 이미지를 재구성하지 않고도 16 개의 스칼라 측정값에서 직접 시선을 추론할 수 있는 새로운 프레임워크.
컴팩트 하드웨어 프로토타입: MLA, 최적화된 이진 마스크, FPGA 획득을 갖춘 4×4 광트랜지스터 어레이를 사용하는 단일 샷 광학 센싱 시스템. 이 설계는 센싱 및 연산을 포함한 엔드 - 투 - 엔드 지연 시간을 3.4 ms로 달성합니다.
시뮬레이션 - 실제 파이프라인: 교차 대상 시뮬레이션 오차 **6.47°**를 달성하고 12~15 개의 보정 포인트만을 사용하여 보정된 대상별 실제 세계 오차를 6° 미만으로 달성하는 2 단계 평가 전략.

결과

정확도 대비 효율성: ETH-XGaze 데이터셋에서 제안된 방법은 16 개의 측정값과 경량 MLP(0.244M 파라미터, 0.49M FLOPs) 만 사용하여 6.47°의 각도 오차를 달성합니다.
- 16×16 ResNet18 베이스라인과 비교할 때, 센싱 차원성을 16 배, 파라미터를 약 48 배, 연산을 약 573 배 줄입니다.
- 256×256 ResNet18 베이스라인과 비교할 때, 센싱 차원성을 4096 배, 연산을 약 9300 배 줄입니다.
- MobileNetV3 및 EfficientNet-B0 와 같은 컴팩트 백본보다 파라미터 및 FLOP 효율성 측면에서 우수한 성능을 보이며 경쟁력 있는 정확도를 유지합니다.
지연 시간: 시스템은 CPU 에서 총 엔드 - 투 - 엔드 지연 시간 3.4 ms(광학 센싱/획득 3.19 ms + 추론 0.22 ms) 를 보여줍니다. 이는 기존 이미지 기반 모바일 엣지 시스템 (일반적으로 수십 밀리초) 보다 훨씬 우수하며, EyeLink 1000 Plus 와 같은 특수 고속 상업용 추적기의 성능에 근접합니다.
실제 세계 성능: 12 개의 보정 포인트를 사용한 대상별 미세 조정으로, 시스템은 평균 각도 오차 5.96°를 달성하며 일부 대상은 4.5°에 도달합니다.
개인정보 보호: 시스템은 생체 인식 안구 이미지 대신 작업 관련 잠재 특징만 캡처함으로써 개인정보를 보호하며, 측정값으로부터 대상의 정체성을 재구성할 수 없다는 사실로 입증됩니다.

의의 및 주장

이 논문은 작업 주도 설계를 통해 특징 추출을 광학 영역으로 이동시키는 것이 초저지연, 고효율 에너지 시선 추적의 실현 가능한 경로라고 주장합니다. 고대역폭 이미지 판독과 무거운 연산 처리의 필요성을 제거함으로써, 이 시스템은 몰입형 XR 애플리케이션을 위한 엄격한 <5 ms 지연 시간 요구 사항을 충족합니다. 저자들은 현재 프로토타입이 개념 증명 (proof-of-concept) 이지만, 데이터 양의 급격한 감소 (수백만 픽셀에서 16 개의 스칼라로) 는 향후 배터리 구동 웨어러블 장치에서 매우 에너지 효율적인 구현을 위한 명확한 경로를 시사한다고 강조합니다. 이 연구는 특정 컴퓨터 비전 작업에 대해 기존 이미지 형식을 대체할 수 있는 "추론으로서의 센싱 (sensing-as-inference)"의 잠재력을 부각시킵니다.