GazeMoE: Perception of Gaze Target with Mixture-of-Experts

이 논문은 고정된 비전 기반 모델을 활용하여 눈, 머리 방향, 제스처 및 맥락적 단어를 적응적으로 결합하는 'GazeMoE'라는 새로운 프레임워크를 제안함으로써, 로봇이 인간의 주시 대상을 파악하는 데 있어 기존 방법보다 뛰어난 성능을 달성함을 보여줍니다.

핵심

🧐 문제: "누가, 무엇을 보고 있을까?"

사람의 시선 (눈이 향하는 곳) 을 파악하는 것은 로봇이 사람과 대화하거나, 운전자가 피곤한지 알거나, 광고를 볼 때 무엇을 좋아하는지 이해하는 데 아주 중요합니다.

하지만 현실은 어렵습니다.

1. 시야 밖의 대상: 사람이 카메라 밖을 보고 있을 수도 있습니다.
2. 가려진 얼굴: 머리가 돌아가거나 손으로 눈을 가린 경우엔 눈이 보이지 않습니다.
3. 다양한 상황: 어린이, 어르신, 혹은 왜곡된 파노라마 사진 등 환경이 천차만별입니다.

기존의 컴퓨터는 이런 변수가 많으면 "아, 눈이 안 보이네? 그럼 모르겠다"라고 포기하거나 엉뚱한 곳을 가리키는 실수를 자주 했습니다.

---

💡 해결책: "GazeMoE" - 시선을 읽는 '전문가 팀'

이 연구팀이 만든 GazeMoE는 마치 한 팀의 전문가들이 모여 문제를 해결하는 것과 같습니다.

1. 미리 공부한 '거대 두뇌' (DINOv2)

먼저, 이 시스템은 DINOv2라는 아주 똑똑한 AI(거대 두뇌) 를 사용합니다. 이 두뇌는 수백만 장의 사진을 보며 "사람의 얼굴, 손, 주변 환경"에 대해 이미 모든 것을 배웠습니다. 우리는 이 두뇌를 다시 가르치지 않고, 그대로 가져다 쓰되 (Frozen), 필요한 부분만 잘라내어 사용합니다.

2. '전문가 팀' (Mixture-of-Experts, MoE)

기존의 AI 는 모든 상황을 똑같은 방식으로 처리하려다 실패했습니다. 하지만 GazeMoE 는 '전문가 팀 (MoE)' 방식을 도입했습니다.

• 상황: 사람이 시선을 돌렸을 때, 눈이 가려져서 안 보일 수도 있고, 손짓을 할 수도 있고, 주변 사물이 중요할 수도 있습니다.
• 해결: GazeMoE 는 4 명의 전문가를 고용했습니다.
  • 👁️ 눈 전문가: 눈동자를 보고 판단.
  • 🧠 머리 전문가: 고개 방향을 보고 판단.
  • ✋ 제스처 전문가: 손동작을 보고 판단.
  • 🌍 배경 전문가: 주변 사물의 중요도를 보고 판단.

핵심 아이디어: 모든 상황에 4 명 모두를 다 불러모으는 게 아니라, 그 순간에 가장 필요한 전문가 2 명만 골라서 문제를 해결하게 합니다.

• 눈이 보이면 '눈 전문가'가 주도하고,
• 눈이 가려졌다면 '머리 전문가'나 '배경 전문가'가 대신 판단합니다.

이렇게 상황에 따라 필요한 전문가만 골라 쓰는 것이 바로 '전문가 혼합 (Mixture-of-Experts)' 방식입니다. 덕분에 어떤 상황에서도 유연하게 대처할 수 있습니다.

3. '균형 잡기' 훈련 (손실 함수)

기존 데이터에는 "카메라 안을 보는 경우"가 많고, "카메라 밖을 보는 경우"는 드뭅니다. 마치 "사과 99 개, 배 1 개"를 구분하는 훈련을 하면 AI 는 "아무거나 사과라고 해라"라고 배우기 쉽습니다.

GazeMoE 는 희귀한 경우 (배, 즉 카메라 밖을 보는 경우) 를 더 중요하게 여기도록 특별히 훈련시켰습니다. 이를 통해 드문 상황에서도 정확하게 예측할 수 있게 되었습니다.

4. '다양한 연습' (데이터 증강)

실제 세상은 빛이 어둡거나, 색이 변하거나, 사진이 흔들릴 수 있습니다. GazeMoE 는 훈련할 때 사진의 색을 바꾸거나, 잘라내거나, 흐리게 하는 등 다양한 변형된 사진을 보며 연습했습니다. 그래서 비가 오거나, 어둡거나, 낯선 환경에서도 흔들리지 않는 튼튼한 AI 가 되었습니다.

---

🏆 결과: 왜 이것이 획기적인가요?

이 기술은 여러 테스트에서 **최고의 성능 (State-of-the-Art)**을 보여주었습니다.

• 정확도: 사람이 눈으로 확인하는 수준에 근접했습니다.
• 유연성: 어린이의 시선, 360 도 파노라마 사진, 심지어 카메라 밖을 보는 시선까지 정확히 잡아냅니다.
• 속도: 로봇이 실시간으로 반응할 수 있을 만큼 빠릅니다 (초당 13 프레임).

📝 한 줄 요약

"GazeMoE 는 사람의 시선을 읽을 때, 상황에 따라 가장 적합한 '전문가'를 골라내는 똑똑한 팀워크 방식을 도입하여, 어떤 상황에서도 사람의 시선을 정확히 찾아내는 새로운 기준을 세웠습니다."

이 기술은 앞으로 로봇이 사람과 자연스럽게 대화하거나, 자율주행차가 운전자의 의도를 파악하는 등 우리 생활을 훨씬 더 스마트하고 안전하게 만들어줄 것입니다.

기술 요약

1. 문제 정의 (Problem)

로봇 및 자율 시스템이 인간의 주의를 이해하기 위해서는 시선 (Gaze) 이 향하는 대상 (Gaze Target) 을 정확히 추정하는 것이 필수적입니다. 기존 연구들은 주로 눈의 랜드마크, 머리 자세, 제스처, 장면의 맥락적 특징 (Contextual Saliency) 등 4 가지 시각적 단서를 활용합니다. 그러나 다음과 같은 한계점이 존재합니다:

• 일반화 및 적응성 부족: 특정 시나리오 (영화, 교육 등) 에 맞춰 훈련된 모델은 실제 세계의 복잡한 환경 (예: 왜곡된 이미지, 가려진 눈, 어린이나 자폐증 환자의 시선 등) 에서 성능이 저하됩니다.
• 데이터 불균형: 프레임 내 (In-frame) 대상과 프레임 외 (Out-of-frame) 대상의 불균형 문제로 인해, 프레임 밖을 바라보는 경우를 정확히 분류하기 어렵습니다.
• 손실 함수 및 증강의 부재: 최적의 디코더 아키텍처와 훈련 전략 (손실 함수, 데이터 증강) 에 대한 체계적인 연구가 부족했습니다.

2. 방법론 (Methodology)

저자들은 GazeMoE라는 새로운 엔드 - 투 - 엔드 (End-to-End) 프레임워크를 제안했습니다. 이는 고정된 비전 파운데이션 모델 (Frozen DINOv2) 에서 시선 관련 단서를 선택적으로 활용하기 위해 혼합 전문가 (Mixture-of-Experts, MoE) 모듈을 통합한 구조입니다.

A. 아키텍처 (Architecture)

• Encoder: 고정된 (Frozen) DINOv2 (ViT-Large) 모델을 사용하여 세밀한 장면 표현 (Fine-grained scene representations) 을 추출합니다. 별도의 학습 가능한 헤딩 (Head) 경로 없이 위치 임베딩을 활용합니다.
• Decoder (MoE Module): 트랜스포머 디코더 블록 내에 MoE 모듈을 도입하여 특징 전달을 강화합니다.
  • Shared Expert (1 개): 모든 입력에 공통적으로 적용되는 장면 특징을 처리합니다.
  • Routed Experts (4 개): 눈 모양, 머리 자세, 제스처, 맥락적 중요도 (Contextual Saliency) 등 4 가지 핵심 시선 단서를 각각 전문적으로 처리합니다.
  • Gating Mechanism: 입력 이미지에 따라 상위 2 개 (Top-K, K=2) 의 전문가 (Expert) 만을 활성화하여 관련 단서만 선택적으로 라우팅하고 노이즈를 제거합니다. 이는 다양한 시나리오에서 사용 가능한 단서가 다를 때 모델의 적응성을 높입니다.
• Output Heads:
  1. Heatmap Head: 프레임 내 시선 대상의 확률 분포를 예측합니다.
  2. Classification Head: 대상이 프레임 내인지 (In-frame) 아니면 프레임 외인지 (Out-of-frame) 를 분류합니다.

B. 훈련 전략 (Training Paradigm)

• 손실 함수 (Loss Function):
  • Heatmap Loss: 기존 MSE 손실 대신 Pixel-wise Binary Cross-Entropy (BCE) 를 사용하여 확률 분포 모델링의 민감도를 높이고 노이즈에 강인하게 만듭니다.
  • Auxiliary Focal Loss: In-frame/Out-of-frame 분류의 클래스 불균형을 해결하기 위해 Focal Loss를 보조 손실로 도입합니다. 이는 소수 클래스 (프레임 외 대상) 와 분류가 어려운 샘플에 더 집중하도록 합니다.
• 데이터 증강 (Data Augmentation): 모델의 강건성과 일반화를 위해 기존 증강 (랜덤 크롭, 수평 반전, 헤딩 지터) 에 더해 광학적 증강 (Photometric Augmentations) 을 추가했습니다.
  • 색상 지터링 (Color Jittering), 무작위 회색조 (Grayscaling), 자동 대비 (Auto-contrast), 선명도 조절 (Sharpness) 등을 포함하여 다양한 조명 및 왜곡 조건에 대응합니다.

3. 주요 기여 (Key Contributions)

1. GazeMoE 제안: 시선 추정 작업에 최초로 Mixture-of-Experts (MoE) 구조를 적용한 엔드 - 투 - 엔드 모델을 개발했습니다. 이는 다양한 시나리오에 적응적으로 특징을 학습하고 라우팅하는 능력을 제공합니다.
2. 최적화된 훈련 전략: 클래스 불균형을 해결하는 Focal Loss의 도입과 광학적 증강을 포함한 포괄적인 데이터 증강 파이프라인을 제시하여 모델의 일반화 성능을 극대화했습니다.
3. 성능 및 범용성 입증: 기존 벤치마크뿐만 아니라 어안 렌즈 (Fisheye lens) 이미지와 어린이 시선 추정과 같은 분포 외 (Out-of-Distribution) 데이터에서도 인간 수준의 성능을 보여주었습니다.

4. 실험 결과 (Results)

저자들은 GazeFollow, VideoAttentionTarget, ChildPlay, GazeFollow360, EYEDIAP 등 5 개의 주요 벤치마크 데이터셋에서 실험을 수행했습니다.

• 성능 (Performance):
  • GazeFollow: AUC 0.959, Mean L2 0.101 로 기존 최첨단 (SOTA) 모델 (Gaze-LLE) 을 상회했습니다.
  • VideoAttentionTarget: AUC 0.939 로 기존 방법들을 크게 앞섰습니다.
  • ChildPlay (어린이 데이터): AUC 0.945 로 어린이 시선 추정에서 SOTA 를 달성했습니다.
  • GazeFollow360 (360 도/왜곡 이미지): AUC 0.9232 로 어안 렌즈 이미지의 심각한 왜곡 상황에서도 뛰어난 적응력을 보였습니다.
  • EYEDIAP (Zero-shot): 학습 데이터 없이도 AUC 0.618 로 기존 모델보다 우수한 성능을 보였습니다.
• 효율성 (Efficiency):
  • 추론 지연 시간 (Latency) 은 약 74.2ms(초당 13 프레임) 로, 실시간 로봇 상호작용에 충분한 속도입니다.
  • 메모리 사용량은 약 984MB 로, 높은 정확도와 강건성을 유지하면서 실용적인 수준입니다.
• Ablation Study: MoE 모듈의 존재, Focal Loss 의 사용, 광학적 증강이 모두 성능 향상에 결정적인 역할을 함을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 시선 추정 분야에서 MoE 아키텍처의 잠재력을 처음으로 입증했습니다. GazeMoE 는 특정 시각적 단서 (눈, 머리 등) 가 가려지거나 왜곡된 상황에서도 다른 단서를 선택적으로 활용하여 robust 한 추정이 가능합니다. 특히, 어안 렌즈 이미지나 어린이와 같은 기존 모델이 취약했던 영역에서도 뛰어난 일반화 능력을 보여주어, 향후 인간 - 로봇 상호작용 (HRI), 자율 주행, 사용자 행동 분석 등 다양한 실제 응용 분야에서 새로운 벤치마크로 자리 잡을 것으로 기대됩니다. 또한, 코드와 사전 학습된 모델이 공개되어 연구의 재현성과 확산을 촉진합니다.