GazeOnce360: Fisheye-Based 360{\deg} Multi-Person Gaze Estimation with Global-Local Feature Fusion
이 논문은 천장형 어안 카메라를 통해 360 도 공간 내 다수의 사람 시선을 추정하는 새로운 모델 'GazeOnce360'과 이를 위한 대규모 합성 데이터셋 'MPSGaze360'을 제안하며, 왜곡 보정과 글로벌 - 로컬 특징 융합을 통해 실용적인 다중 인물 시선 추정의 가능성을 입증합니다.
먼저 구형 카메라로 찍은 뒤틀린 사진을 펴서 평평하게 만듭니다. (이 과정에서 사진이 찢어지거나 얼굴이 잘릴 수 있어요.)
얼굴을 하나하나 찾아냅니다.
찾은 얼굴을 잘라내서 정면으로 돌려놓습니다.
그제야 "어디를 보고 있나?"를 분석합니다.
문제점: 과정이 너무 길고, 중간에 실수가 하나라도 생기면 (얼굴을 못 찾거나 잘게 찢어지면) 전체 결과가 망가집니다. 또한, 컴퓨터가 일일이 처리하느라 시간이 많이 걸려요.
새로운 방식 (GazeOnce360): 마치 **초능력을 가진 한눈 (One-Stop Shop)**과 같습니다.
뒤틀린 구형 사진을 그대로 보고, "아, 저쪽엔 A 가 있고, 저쪽엔 B 가 있네. A 는 오른쪽을 보고, B 는 아래를 보고 있구나!"라고 한 번에 알아냅니다.
장점: 과정이 간결해서 빠르고, 사진이 뒤틀려도 상관없이 정확한 결과를 줍니다.
2. 핵심 기술 3 가지: "어떻게 이렇게 잘하나?"
이 기술이 뒤틀린 사진에서도 잘 작동하는 이유는 세 가지 비유로 설명할 수 있습니다.
① 회전하는 눈 (Rotational Convolution)
상황: 구형 카메라로 찍으면 사진 가장자리의 얼굴은 마치 거울에 비친 것처럼 심하게 뒤틀려 있습니다.
해결책: 일반적인 카메라는 "위아래, 좌우"만 인식하지만, 이 기술은 회전하는 눈을 가지고 있습니다. 얼굴이 어떤 각도로 비틀어져 있든, 그 각도에 맞춰 "회전"해서 본 뒤 분석합니다. 마치 회전하는 무빙워크 위에서 사람을 보더라도 그 사람의 모습을 바로 알아보는 것과 같습니다.
② 쌍안경과 망원경의 조합 (Dual-Resolution Fusion)
상황: 360 도 사진을 보면, 멀리 있는 사람의 얼굴은 아주 작게 보입니다. 반면, 배경은 너무 넓고 복잡합니다.
해결책: 이 기술은 두 개의 눈을 동시에 사용합니다.
왼쪽 눈 (저해상도): 넓은 배경을 훑어보며 "누가 어디에 있나?"를 파악합니다. (전체 맥락)
오른쪽 눈 (고해상도): 얼굴이 있는 부분만 확대경으로 자세히 들여다보며 "눈동자가 어디를 향하고 있나?"를 분석합니다. (세부 정보)
이 두 정보를 합쳐서, 배경은 넓게 보면서도 얼굴의 미세한 눈동자 움직임까지 놓치지 않습니다.
③ 눈의 지도 (Eye Landmark Supervision)
상황: 시선을 읽으려면 눈동자 위치를 정확히 알아야 합니다. 하지만 실제 사람 얼굴 사진에서는 눈동자 위치를 정확히 표시하기 어렵습니다.
해결책: 연구진은 **가상의 세계 (Unreal Engine)**에서 완벽하게 눈동자 위치를 표시한 수만 장의 사진을 만들어 학습시켰습니다. 마치 정밀한 지도를 보고 길을 익힌 후, 실제 길에서도 길을 잘 찾는 것과 같습니다. 이 '눈의 지도'를 통해 AI 는 얼굴의 뒤틀림에도 불구하고 눈동자의 정확한 방향을 학습합니다.
3. 만든 데이터: "가상 현실 속 파티" (MPSGaze360)
실제 사람 360 도 시선 데이터를 모으는 건 너무 어렵습니다. 그래서 연구진은 **가상 현실 (게임 엔진)**을 이용했습니다.
가상의 방에 다양한 사람 (인종, 나이, 옷차림) 을 배치하고, 탁자 아래에 카메라를 설치했습니다.
가상 인물들이 서로 대화하듯 시선을 돌리는 모습을 수만 장 찍었습니다.
이 데이터로 AI 를 훈련시켜, 실제 세상에서도 잘 작동하도록 만들었습니다.
4. 결론: 왜 이것이 중요한가요?
이 기술은 회의실, 카페, 서비스 데스크 같은 곳에서 유용합니다.
예시: 탁자 위에 작은 카메라 하나만 있으면, 회의에 참석한 모든 사람이 누구를 보고 있는지, 어떤 사람과 대화하고 있는지를 실시간으로 파악할 수 있습니다.
기존의 문제점: 카메라 여러 대를 설치하거나 복잡한 설정이 필요했던 것을, 카메라 하나와 이 기술로 해결할 수 있게 되었습니다.
한 줄 요약:
"뒤틀린 구형 카메라 사진 속에서도, AI 가 회전하는 눈과 확대경을 동시에 사용해 여러 사람의 시선을 한 번에 정확하게 찾아내는 혁신적인 기술입니다."
1. 문제 정의 (Problem)
기존의 시선 추정 (Gaze Estimation) 연구는 주로 정면 카메라를 사용하여 제한된 시야각 내에서 단일 인물의 시선을 추정하는 데 집중되어 왔습니다. 그러나 실제 협업 공간, 서비스 로봇, 리셉션 카운터 등에서는 테이블 위에 설치된 상향형 어안 (Upward-facing Fisheye) 카메라를 통해 360 도 전 방향에 분포된 다수의 인물을 동시에 감지하고 그들의 3D 시선 방향을 추정해야 하는 요구가 증가하고 있습니다.
이러한 설정에서 기존 방법론이 직면한 주요 문제는 다음과 같습니다:
복잡한 파이프라인: 기존 접근법 (예: GAM360) 은 어안 이미지를 팬로라마로 변환하거나 얼굴을 잘라내어 정면으로 투영하는 등 다단계 (Multi-step) 프로세스를 사용합니다. 이는 시간 소모가 크고 누적 오차를 발생시키며 배포가 어렵습니다.
기하학적 왜곡: 어안 렌즈는 심한 방사형 왜곡 (Radial Distortion) 을 일으켜 얼굴의 형태가 왜곡되고, 시야 가장자리에서 얼굴이 경계면으로 잘릴 수 있어 탐지 실패가 빈번합니다.
데이터 부재: 상향형 어안 카메라를 사용한 다중 인물 시선 추정을 위한 공개 데이터셋이 존재하지 않았습니다.
2. 제안 방법론 (Methodology)
저자들은 GazeOnce360이라는 새로운 엔드 - 투 - 엔드 (End-to-End) 모델을 제안하여 위 문제들을 해결합니다. 주요 기술적 구성 요소는 다음과 같습니다.
2.1. 합성 데이터셋: MPSGaze360
생성: Unreal Engine 5 와 MetaHuman 을 활용하여 고품질의 합성 어안 이미지 23,496 장을 생성했습니다.
특징: 1~7 명의 인물이 다양한 거리, 자세, 조명 조건에서 배치된 360 도 장면으로 구성됩니다.
어노테이션: 얼굴 바운딩 박스, 3D 시선 벡터, 머리 자세 (Head Pose), 얼굴 및 눈 (Eye) 랜드마크 등 정밀한 그라운드 트루스 (Ground Truth) 를 제공합니다. 특히 실제 데이터에서 얻기 어려운 눈동자 중심 등 정밀한 눈 랜드마크를 포함합니다.
2.2. 모델 아키텍처: GazeOnce360
모델은 이중 해상도 (Dual-Resolution) 아키텍처를 기반으로 하며, 전역 컨텍스트와 국소적 세부 정보를 융합합니다.
회전 합성곱 (Rotational Convolution):
어안 이미지의 심한 기하학적 왜곡과 극단적인 시야각을 처리하기 위해 표준 합성곱 대신 회전 불변성 (Rotation Invariance) 을 갖는 회전 합성곱을 Feature Pyramid Network (FPN) 의 최상위 레이어에 적용합니다. 이는 어안 이미지의 방향 왜곡에 대한 강인성을 높입니다.
이중 해상도 특징 융합 (Dual-Resolution Feature Fusion):
전역 브랜치 (Global Branch): 저해상도 전체 이미지를 처리하여 공간적 배치, 군집 구조, 얼굴 바운딩 박스를 탐지합니다.
국소 브랜치 (Local Branch): 탐지된 얼굴 영역을 고해상도로 잘라내어 눈과 눈가 (Periocular) 의 미세한 특징을 추출합니다.
교차 주의 (Cross-Attention): 전역 특징 (Query) 과 국소 얼굴 특징 (Key, Value) 을 교차 주의 메커니즘을 통해 융합합니다. 이를 통해 전역 컨텍스트를 유지하면서도 시선 추정에 필요한 고해상도 눈 정보를 효과적으로 활용합니다.
멀티태스크 학습 (Multi-Task Supervision):
시선 방향뿐만 아니라 얼굴/눈 랜드마크, 얼굴 바운딩 박스, 머리 자세, 거리 등을 동시에 예측하도록 학습합니다.
특히 **눈 랜드마크 (Eye Landmarks)**에 대한 감독 신호를 추가하여, 시선 추정을 위한 정밀한 눈의 기하학적 특징 학습을 유도합니다.
3. 주요 기여 (Key Contributions)
MPSGaze360 데이터셋: 테이블탑 어안 설정을 위한 최초의 대규모 합성 다중 인물 시선 추정 데이터셋을 공개했습니다.
GazeOnce360 모델: 어안 이미지의 왜곡을 처리하고 다중 인물의 시선을 실시간으로 추정하는 효율적인 엔드 - 투 - 엔드 모델을 제안했습니다.
성능 검증: 회전 합성곱, 멀티태스크 학습, 이중 해상도 융합 등 각 구성 요소의 유효성을 실험을 통해 입증하고, 실제 어안 이미지에서도 잘 일반화됨을 보였습니다.
4. 실험 결과 (Results)
성능 비교: 기존 다단계 방법인 GAM360 대비 시선 추정 오차 (Gaze Error) 가 18.96°에서 10.39°로 크게 감소했습니다. 또한, 추론 속도 (FPS) 는 4.23 에서 16.23 으로 약 4 배 향상되어 실시간 처리가 가능해졌습니다.
구성 요소 분석 (Ablation Study):
RotConv: 회전 합성곱을 적용하면 시선 오차가 약 1° 이상 감소했습니다.
눈 랜드마크: 눈 랜드마크 감독을 추가하면 시선 오차가 12.14°에서 8.89°까지 크게 개선되었습니다. 이는 정밀한 눈 특징 학습의 중요성을 보여줍니다.
이중 해상도: 고해상도만 사용하는 모델과 유사한 정확도 (8.968° vs 8.945°) 를 유지하면서 추론 속도를 22% 향상시켰습니다.
일반화 능력: 학습 데이터에 없는 새로운 인물 (Cross-Identity) 과 새로운 장면 (Cross-Scene) 에서도 안정적인 성능을 유지했습니다.
실제 데이터 적용: 합성 데이터로만 학습되었음에도 불구하고, 실제 어안 카메라로 촬영된 이미지에서도 다양한 인물과 자세에서 정확한 시선 추정을 수행했습니다.
5. 의의 및 결론 (Significance & Conclusion)
이 연구는 어안 카메라 기반의 360 도 다중 인물 시선 추정이라는 미개척 분야에 대한 실질적인 솔루션을 제시했습니다.
실용성: 복잡한 다단계 파이프라인 없이 단일 모델로 높은 정확도와 빠른 속도를 달성하여, 협업 공간 모니터링, 인간 - 로봇 상호작용 (HRI), 스마트 오피스 등 실제 환경에 쉽게 배포할 수 있습니다.
기술적 혁신: 어안 이미지의 왜곡을 처리하기 위한 회전 합성곱과 전역/국소 특징의 효율적 융합 전략은 향후 와이드 앵글 또는 360 도 비전 작업에 중요한 시사점을 제공합니다.
한계 및 향후 과제: 극단적인 머리 자세나 카메라에서 매우 먼 거리에서는 성능이 저하될 수 있으며, 현재는 합성 데이터에 의존하고 있어 실제 환경과의 도메인 격차 (Domain Gap) 를 줄이는 것이 향후 과제로 남았습니다.
요약하자면, GazeOnce360 은 어안 카메라의 물리적 한계를 극복하고 다중 인물의 시선을 실시간으로 정확하게 추정할 수 있는 강력한 프레임워크를 제시한 획기적인 연구입니다.