🤖 AI

EgoGazeLite: On-Device Egocentric Gaze Prediction for Token-Efficient Multimodal LLM Video Input

EgoGazeLite는 예측된 시선에 따라 비디오를 정확하게 크롭함으로써 멀티모달 LLM을 위한 토큰 효율적인 1인칭 시점 비디오 이해를 가능하게 하며, 전용 시선 추적 하드웨어의 필요성을 제거하는 동시에 설명 품질을 유지하면서 소비자용 하드웨어에서 실시간으로 작동하는 경량 온디바이스 이중 프로세스 시선 예측기입니다.

원저자: Matteo Stoiber, Niels Buus Lassen

게시일 2026-08-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Matteo Stoiber, Niels Buus Lassen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신의 눈을 통해 세상을 관찰하고 당신이 무엇을 하고 있는지 설명해 주는 스마트 안경을 착용하는 모습을 상상해 보십시오. 이 기술은 외과의사가 복잡한 수술 과정을 기억해 내거나, 정비사가 수리를 수행하도록 안내하거나, 시각 장애가 있는 사람에게 주변 환경을 이야기해 줌으로써 도움을 줄 수 있다는 약속을 담고 있습니다. 이를 실현하기 위해 안경은 이미지를 이해하고 언어를 구사할 수 있는 강력한 인공지능 시스템으로 비디오 피드를 전송해야 합니다. 하지만 여기에는 큰 병목 현상이 존재합니다. 고화질 비디오를 전송하려면 소형 웨어러블 기기가 쉽게 전송하거나 처리할 수 있는 양보다 훨씬 더 많은 방대한 양의 데이터가 필요하기 때문입니다. 이러한 영상을 이해하는 컴퓨터 시스템 또한 한 번에 너무 많은 시각 정보가 입력되면 엄청난 양의 픽셀에 압도되어 어려움을 겪곤 합니다.

연구자들은 사람이 실제로 보고 있는 부분에만 집중함으로써 이 데이터 문제를 해결하는 영리한 방법을 찾아냈습니다. 전체 넓은 화면을 보내는 대신, 사용자의 시선이 고정된 작은 영역만을 보여주도록 비디오를 크롭(절단)할 수 있습니다. 이는 컴퓨터가 처리해야 할 데이터 양을 약 90% 줄여주어 작업을 훨씬 더 빠르고 저렴하게 만듭니다. 지금까지 이 방식은 사용자의 눈 움직임을 정밀하게 추적하기 위해 안경에 내장된 특수하고 비싼 하드웨어를 필요로 했습니다. 전용 하드웨어가 없다면 시스템은 어디를 보아야 할지 알 수 없었고, 이로 인해 스마트 안경의 잠재력은 일반 소비자들에게 실현되지 못한 채 남아 있었습니다.

한 연구팀은 전용 시선 추적 센서가 반드시 필요한 것은 아니라는 점을 입증했습니다. 그들은 비디오 스트림 자체를 분석하여 사람이 어디를 보고 있는지 예측할 수 있는 가벼운 소프트웨어 프로그램을 개발했습니다. 'EgoGazeLite'라고 불리는 이 프로그램은 표준 스마트폰에서 직접 실행될 수 있으며, 값비싼 하드웨어 센서를 대체할 수 있을 만큼 정확합니다. 연구진은 비디오 클립을 인공지능 시스템에 입력한 뒤, 실제 시선 추적 데이터 또는 소프트웨어의 예측값에 따라 비디오를 크롭하여 테스트를 진행했습니다. 그런 다음 인공지능에게 비디오 속 동작을 설명하도록 요청했습니다. 결과는 예측된 시선을 통해 생성된 설명이 실제 시선 추적 데이터로 생성된 설명과 거의 동일하다는 것을 보여주었습니다. 모든 테스트 케이스에서 소프트웨어 예측은 하드웨어 측정값만큼 잘 작동했으며, 이는 전용 센서 없이도 시스템이 작동할 수 있음을 증명했습니다.

이 소프트웨어는 놀라울 정도로 효율적입니다. 현대적인 스마트폰의 프로세서와 같은 소비자용 하드웨어에서 실시간으로 실행될 수 있을 만큼 작으며, 각 비디오 프레임의 예측과 크롭을 22밀리초 미만 안에 완료합니다. 이러한 속도는 시스템이 지연 시간 없이 라이브 비디오 피드를 따라갈 수 있다는 점에서 매우 중요합니다. 연구진은 요리, 자전거 수리, 축구, 심폐소생술 등 다양한 과업을 수행하는 사람들의 수천 시간 분량의 비디오를 통해 이 소프트웨어를 학습시켰습니다. 새로운 미학습 비디오를 대상으로 테스트했을 때, 소프트웨어는 높은 정밀도로 사람이 어디를 보고 있는지 성공적으로 식별해 냈습니다. 이 소프트웨어는 두 가지 서로 다른 주의 집중 방식을 학습하여 작동합니다. 하나는 장면 내에서 시각적으로 밝거나 움직이는 것에 기반한 것이고, 다른 하나는 사람이 잠시 전까지 어디를 보고 있었는지에 기반한 것입니다. 소프트웨어는 이 두 가지 단서를 결합하여 다음 초점을 예측합니다.

연구진은 자신들의 발견이 견고함을 보장하기 위해 단일 평가 방법에 의존하지 않았습니다. 그들은 두 가지 서로 다른 대규모 언어 모델을 사용하여 비디오 설명을 생성했고, 자동 점수 산정 시스템과 다른 고급 인공지능 모델들을 통해 그 설명을 판정하게 했습니다. 그들은 예측된 시선으로부터 얻은 설명의 품질을 실제 하드웨어 센서로부터 얻은 정답(ground truth), 그리고 단순히 화면 중앙을 크롭한 기준점(baseline)과 비교했습니다. 결과는 명확했습니다. 예측된 시선은 중앙 크롭 방식보다 훨씬 더 나은 설명을 생성했으며, 하드웨어 기반의 시선과는 통계적으로 구분이 불가능할 정도로 유사했습니다. 사실, 소프트웨어 예측은 실제 시선 추적 데이터와 너무나 가까워서 연구진이 수행한 10가지 테스트 시나리오 모두에서 그 차이가 유의미하게 측정되지 않을 정도였습니다.

이 연구는 시선 인지 인공지능의 광범위한 도입을 가로막는 주요 장벽을 제거합니다. 소프트웨어 모델이 하드웨어 센서를 대체할 수 있음을 입증함으로써, 연구진은 미래의 스마트 안경이 유용하게 쓰이기 위해 값비싸고 전력을 많이 소모하는 시선 추적 부품을 부담할 필요가 없다는 것을 보여주었습니다. 이제 이 시스템은 카메라와 표준 프로세서가 있는 모든 기기에 배포될 수 있어, 다양한 일상 활동에서 저렴한 실시간 보조 도구로서의 길을 열어주었습니다. 비록 이 연구가 특정 데이터셋과 모델을 대상으로 수행되었으나, 결과는 우리가 인간의 주의력을 단순히 보는 것을 통해 이해하는 가볍고 지능적인 소프트웨어로 나아가며, 특수 하드웨어 중심에서 벗어나는 근본적인 변화를 맞이하고 있음을 시사합니다.

기술 요약: EgoGazeLite

문제 정의

웨어러블 기기에서 1인칭 시점(egocentric) 비디오 이해를 위한 멀티모달 대규모 언어 모델(MLLM)의 배포는 엄격한 토큰 예산에 의해 제약을 받습니다. MLLM은 일반적으로 비전 트랜스포머를 통해 시각적 입력을 인코딩하며, 이때 메모리 및 연산 비용은 비디오 해상도와 길이에 따라 결정되는 시각적 토큰의 수에 따라 선형적으로 증가합니다. 고해상도 비디오를 대규모로 전송하고 처리하는 것은 매우 비용이 많이 듭니다.

기존 연구인 GazeLLM은 이를 해결하기 위해 프로세싱 전 사용자의 시선 지점을 중심으로 비디오 프레임을 크롭(cropping)함으로써, 설명 품질을 유지하면서도 시각적 토큰을 약 10분의 1로 줄였습니다. 그러나 GazeLLM은 전용 시선 추적 하드웨어에 전적으로 의존하는데, 이는 현재의 소비자용 스마트 글래스에는 부재한 기능입니다. 이는 토큰 효율적이고 시선 조건화된(gaze-conditioned) 이해를 위한 진입 장벽을 만듭니다. 핵심 과제는 소프트웨어 전용 시선 예측기가 하드웨어로 측정된 시선을 정확하게 대체할 수 있는지, 그리고 MLLM의 다운스트림 성능을 저하시키지 않으면서 스마트폰의 전력 및 연산 예산 내에서 기기 내부(on-device)에서 실행될 만큼 가벼운지를 결정하는 것입니다.

방법론

EgoGazeLite 아키텍처

저자들은 온디바이스 배포를 위해 설계된 경량 듀얼 프로세스 시선 예측기인 EgoGazeLite를 제안합니다. 이 모델은 Huang 등[10]이 강력한 논-트랜스포머(non-Transformer) 베이스라인으로 식별한 듀얼 프로세스 구조를 기반으로 하지만, 연산 비용을 줄이기 위해 세 가지 아키텍처 수정을 도입했습니다:

공유 백본(Shared Backbone): 별도의 공간 및 시간 스트림을 대신하여, ImageNet 가중치로 초기화된 단일 공유 EfficientNet-Lite4 백본을 사용합니다.
특징 수준 시간 차분(Feature-Level Temporal Difference): 모션을 포착하기 위해 조밀한 광학 흐름(optical flow) 대신 단순한 특징 수준 차분( $\Delta F = \text{BatchNorm}(F_t - F_{t-1})$ )을 사용합니다.
잔차 융합(Residual Fusion): 비선형 컨볼루션 융합 대신 로짓 공간(logit space)에서 작동하는 잔차 융합 모듈을 사용하여, 어텐션 맵이 포화(saturation) 없이 살리언시(saliency) 예측을 날카롭게 만들거나 억제할 수 있도록 합니다.

아키텍처는 다음과 같이 구성됩니다:

Bottom-up 경로: 시각적 입력만으로부터 살리언시 히트맵( $G^s_t$ )을 계산하며, 1인칭 시점의 시선 편향을 고려하기 위해 학습 가능한 2D 가우시안 중심 편향(center bias)을 포함합니다.
Top-down 경로: 고정(fixation) 이력을 바탕으로 어텐션(attention)을 추적합니다. 이전 시선 위치로부터 채널 가중치를 추출하고, 이를 게이트 LSTM(온라인 I-DT fixation/saccade 결정에 의해 게이팅됨)을 통해 전파한 후, 현재 프레임의 특징에 적용하여 어텐션 히트맵( $G^a_t$ )을 생성합니다.
융합(Fusion): $G^s_t$ 와 $G^a_t$ 를 잔차 모듈을 사용하여 결합하여 최종 예측 히트맵 $G_t$ 를 생성하며, 여기서 argmax를 통해 시선 좌표를 추출합니다.

시선 유도 크롭 파이프라인(Gaze-Guided Cropping Pipeline)

시스템은 GazeLLM 프로토콜을 따릅니다:

입력: Ego-Exo4D 데이터셋의 30 fps, 1404×1404 소스 클립.
프로세싱: 프레임은 1 fps로 샘플링됩니다. 시선 좌표(EgoGazeLite에 의해 예측되거나 하드웨어 시선 추적기에서 가져온 실제값)를 중심으로 고정된 448×448 윈도우가 설정됩니다.
조건: 본 연구는 네 가지 조건을 비교합니다: 전체 해상도(Full-resolution), 실제 시선 크롭(Ground-truth gaze crop), 예측 시선 크롭(Predicted gaze crop), 그리고 센터 크롭(Center crop, 베이스라인).
평가: 크롭된 클립은 MLLM(Gemini 2.5 Flash 및 Pro)에 입력되어 단계별 활동 설명을 생성합니다. 이는 자동화된 메트릭(BLEU, ROUGE-L, SBERT)과 LLM 심사위원(Claude Sonnet 4.6, GPT-4o)을 사용하여 전체 해상도 참조값과 비교 평가됩니다.

실험 설정

데이터셋: Ego-Exo4D (Project Aria Gen 1 글래스). 7개 도메인(요리, 축구, 건강, 자전거 수리, 댄스, 볼더링, 음악)에서 학습하며, 농구(Basketball)는 제외되었습니다.
대체 테스트 세트(Substitution Test Set): 훈련 세트와 중복이 없는 6개 작업 카테고리를 다루는 138개의 홀드아웃 클립.
하드웨어 평가: 엔드 투 엔드 레이턴시(latency)를 측정하기 위해 전체 파이프라인을 iPhone 15 Pro에서 테스트했습니다.

주요 기여

측정된 시선을 예측된 시선으로 대체: 본 논문은 경량 모델에 의해 예측된 시선이 GazeLLM 파이프라인에서 하드웨어로 측정된 시선을 대체할 수 있음을 입증합니다. 두 개의 MLLM, 세 개의 자동화된 메트릭, 두 개의 LLM 심사위원에 걸쳐, 예측된 시선 크롭은 실제 시선 크롭과 다운스트림 설명 품질 면에서 유의미한 차이를 보이지 않았습니다.
동등성 확인: 저자들은 두 가지 단측 검정(Two One-Sided Tests, TOST)을 사용하여 10개의 모든 평가 셀(2 MLLMs × 5 metrics/judges)에서 동등성을 확인했습니다. 예측된 조건과 실제 시선 조건 사이의 차이는 결합 표준 편차의 절반 미만이었으며, 이는 주요 동등성 마진을 충족합니다.
EgoGazeLite의 효율성: 이 모델은 15.7M 파라미터와 6.71 GFLOPs로 성능을 달al성하며, 이는 기존의 최첨단 1인칭 시점 시선 모델(Huang 등 [10], Lai 등 [13])에 비해 8.6배 감소한 FLOPs를 나타냅니다.
실시간 온디바이스 성능: 전체 시선 및 크롭 파이프라인은 소비자용 가속기 하드웨어(iPhone 15 Pro Neural Engine)에서 21.6 ms/frame(약 46 FPS)으로 엔드 투 엔드로 실행되어, 실시간 배포가 가능합니다.

결과

정확도: 인-디스트리뷰션(in-distribution) 검증 세트에서 EgoGazeLite는 **8.33°**의 평균 각도 오차(AAE)와 0.9655의 AUC를 달성했습니다.
다운스트림 품질:
- 예측된 시선 크롭과 실제 시선 크롭 모두 모든 메트릭에서 센터 크롭 베이스라인보다 성능이 뛰어났습니다.
- 예측된 시선과 실제 시선 크롭 간의 차이는 통계적으로 유의미하지 않았습니다(최소 보정 p-값 = 0.054).
- 효과 크기( $d_z$ )는 일관되게 작았으며(< 0.17), 이는 코헨(Cohen)의 관례상 무시할 만한 수준입니다.
- 동등성 검정(TOST)은 중간 효과 마진(0.5× 결합 SD) 하에서 10개 케이스 모두에서, 그리고 엄격한 작은 효과 마진(0.2× 결합 SD) 하에서 4개 케이스에서 두 조건이 통계적으로 동등함을 확인했습니다.
레이턴시: EgoGazeLite 순전파(forward pass)는 파이프라인 시간의 약 41%(8.9 ms)를 차지하며, 나머지 시간은 이미지 프로세싱(크롭, 다운스케일링)에 소요됩니다. 이 파이프라인은 다운스트림 MLLM의 요구 사항인 1 FPS를 훨씬 상회하는 최대 30 FPS의 샘플링 레이트를 지원합니다.

의의 및 주장

본 논문은 EgoGazeLite가 시선 조건화된 1인칭 시점 비디오 이해를 위한 전용 시선 추적 하드웨어라는 엄격한 전제 조건을 제거한다고 주장합니다. 경량 소프트웨어 전용 예측기가 하드웨어로 측정된 시선을 성능 저하 없이 대체할 수 있음을 증명함으로써, 이 연구는 소비자용 스마트 글래스와 스마트폰에서 토큰 효율적이고 시선 유도적인 비디오 프로세싱을 가능하게 합니다.

저자들은 이 결과가 시선 예측과 MLLM 입력 사이의 루프를 온디바이스에서 완성한다고 강조합니다. 비록 동일한 분할(split) 하에서 기존 모델과의 직접적인 헤드 투 헤드 정확도 비교를 수행하지 않았고, 미학습 도메인이나 다른 MLLM 제품군으로의 일반화에 대한 테스트가 남아 있다는 점을 인정하며 연구의 범위를 겸손하게 설정했으나, 핵심적인 발견은 테스트된 작업과 모델에 대해 대체가 경험적으로 유효하다는 것입니다. 이는 시선 시스템의 패러다임을 하드웨어 의존적 방식에서 모든 1인칭 카메라에서 접근 가능한 소프트웨어 주도 솔션으로 전환합니다.