Offline Dynamic AOI Generation and Runtime Gaze Mapping for 360° Video in Virtual Reality: A Systems and Feasibility Study
본 논문은 오픈 보캐블러리 디텍터를 활용하여 동적인 관심 영역을 생성하고 프레임 동기화 시선 매핑을 수행하며, 탐지 범위와 처리 효율성 사이의 균형을 맞추기 위해 Grounding DINO 및 YOLO-World와 같은 모델들을 벤치마킹하는 동시에 향후 개선을 위한 주요 기술적 과제들을 식별하는 360° VR 시선 추적을 위한 오프라인-투-런타임 파이프라인을 제시하고 검증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
사람이 360도 세계를 보여주는 헤드셋을 착용하고 있을 때, 그 사람이 무엇을 보고 있는지 이해하려고 노력하는 상황을 상상해 보십시오. 평면적인 영화에서는 사람이나 자동차 주변에 상자를 그려서 "그들이 이것을 보고 있다"라고 쉽게 말할 수 있습니다. 하지만 구형 비디오에서는 세상이 관찰자를 감싸 안습니다. 물체는 화면의 가장자리를 가로지르며 이동할 때 늘어나거나, 줄어들거나, 혹은 두 조각으로 나뉠 수 있습니다. 이러한 몰입형 환경에서 사람들이 어떻게 주의를 기울이는지 연구하기 위해서는, 이러한 움직이는 대상들을 자동으로 식별하고 사용자의 시선이 그것들을 따라가는 것을 추적할 방법이 필요합니다. 이것이 바로 가상 현실에서의 시선 추적의 핵심 과제입니다. 즉, 끊임없이 변화하고 사용자를 감싸 도는 장면 속에서 무엇이 중요한지를 나타내는 신뢰할 수 있는 지도를 만드는 것입니다.
스페인 카디스 대학교의 한 연구팀은 이 문제를 해결하기 위해 새로운 시스템을 구축했습니다. 그들은 물체를 식별하는 힘든 작업과 실제 사람이 헤드셋을 착용하는 순간을 분리하는 두 단계의 프로세스를 만들었습니다. 먼저, 그들은 360도 비디오를 가져와 강력한 컴퓨터 프로그램을 사용하여 간단한 텍스트 설명을 바탕으로 사람, 동물 또는 물체와 같은 특정 대상들을 찾아내도록 스캔합니다. 이 프로그램들은 찾아낸 항목 주변에 보이지 않는 상자들을 그립니다. 그 후 팀은 이 상자들을 헤드셋이 읽을 수 있는 특별한 디지털 지도로 변환합니다. 나중에 참가자가 헤드셋을 쓰고 비디오를 시청할 때, 시스템은 이 지도를 사용하여 비디오가 재생되는 동안 무거운 컴퓨터 작업을 수행할 필요 없이, 프레임 단위로 그 사람이 어떤 물체를 보고 있는지 즉각적으로 파악합니다.
이 시스템이 제대로 작동하는지 테스트하기 위해, 연구진은 세 가지 다른 유형의 비디오, 즉 사람과 노트북이 있는 방, 숲 장면, 그리고 사자와 가젤이 등장하는 야생 동물 클립을 가지고 실험했습니다. 또한 그들은 어떤 프로그램이 물체를 찾는 데 가장 적합한지 확인하기 위해 세 가지 서로 다른 컴퓨터 프로그램을 테스트했습니다. Grounding DINO라고 불리는 한 프로그램은 가장 철저하여 어려운 장면에서도 가장 많은 물체를 찾아냈지만, 비디오를 처리하는 데 오랜 시간이 걸렸습니다. 또 다른 프로그램인 YOLO-World는 첫 번째 프로그램보다 약 9배나 빨랐지만, 특히 야생 동물 클립의 작은 동물들을 많이 놓쳤습니다. 세 번째 옵션인 OWLv2는 그 중간 정도의 성능을 보였습니다. 연구진은 단 하나의 프로그램도 모든 상황에 완벽할 수는 없으며, 최선의 선택은 전적으로 비디오에 무엇이 들어있는지에 달려 있다는 것을 발견했습니다.
연구진이 8명의 자원봉사자를 대상으로 전체 시스템을 테스트했을 때, 기술은 매끄럽게 작동했습니다. 헤드셋은 참가자들이 어디를 보고 있는지를 성공적으로 추적했고, 그들의 시선을 컴퓨터가 식별한 물체들과 일치시켰습니다. 시스템은 사람이 무언가에 집중할 때마다 기록하여, 그들의 주의 집중을 보여주는 상세한 로그를 생성했습니다. 그러나 이 연구는 또한 시스템이 어려움을 겪는 지점도 드러냈습니다. 야생 동물 비디오에서 시스템은 종종 동물을 인지하지 못했습니다. 이는 동물들이 작고 빠르게 움직였으며, 때때로 이미지가 자연스럽게 왜곡되는 비디오의 특정 부분에 나타났기 때문입니다. 컴퓨터 프로그램들이 이 작고 빠르게 움직이는 목표물들을 찾는 데 어려움을 겪었고, 결과적으로 시스템은 참가자들이 실제로 동물을 보고 있었던 많은 시간들을 놓치게 되었습니다.
연구진은 그들의 방법이 향-미래 연구를 위한 견고한 토대라고 결 결론지었습니다. 이는 주의 집중 지도를 자동으로 생성하고 이를 실시간 가상 현실 실험에 사용할 수 있음을 입증합니다. 오프라인 준비 단계와 라이브 실험 사이의 분리는 과정을 신뢰할 수 있고 반복 가능하게 만듭니다. 하지만 그들은 또한 이 기술이 아직 모든 유형의 비디오에 적용될 준비가 되지 않았다는 점을 분명히 했습니다. 복잡한 자연 환경 속의 작고 빠르게 움직이는 물체들을 다루기에는 여전히 개선이 필요하며, 이 기술이 명확하고 구조화된 장면(예: 사람과 방)에서는 잘 작동하지만, 더 복잡한 환경에서는 보완이 필요하다는 것입니다. 이 연구는 360도 비디오에서의 시선 추적 문제를 완전히 해결했다고 주장하는 것이 아니라, 작동 가능한 청사진과 극복해야 할 구체적인 장애물 목록을 제시한 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.