Automated Detection of Mutual Gaze and Joint Attention in Dual-Camera Settings via Dual-Stream Transformers

"이중 카메라 환경에서 듀얼 스트림 트랜스포머를 통한 상호 시선 및 공동 주의 자동 감지" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

상호 시선 (Mutual Gaze, MG) 및 공동 주의 (Joint Attention, JA) 감지는 발달 심리학, 특히 영아 - 돌봄 제공자 상호작용을 이해하는 데 필수적입니다. 그러나 전통적인 분석은 비디오 녹화의 노동 집약적인 수동 코딩에 의존하는데, 이는 느리고 인간의 실수에 취약하며 확장하기 어렵습니다.

• 과제: 다중 카메라 실험실 환경에서의 자동 감지는 복잡한 교차 카메라 관계 역학으로 인해 계산적으로 어렵습니다.
• 기존 방법의 한계:
  • 아이 트래킹: 높은 정밀도를 제공하지만 생태학적 타당성이 낮습니다 (장비 착용 또는 화면 기반 자극 필요).
  • 합성곱 기반선 (Convolutional Baselines): 서로 다른 카메라 뷰 간 두 사람 사이의 공간적 및 의미적 관계를 포착하지 못하는 경우가 많습니다.
  • 멀티모달 LLM: 강력하지만 특정 행동 경계에 필요한 세밀한 시간적 민감도가 부족하며, 높은 계산 비용과 지연 시간이 발생합니다.

2. 방법론

저자들은 영아와 돌봄 제공자에 각각 초점을 맞춘 두 대의 카메라에서 동기화된 비디오 스트림을 처리하여 MG 와 JA 에 대한 프레임 단위 이진 분류를 수행하도록 설계된 듀얼 스트림 트랜스포머 아키텍처를 제안합니다.

A. 아키텍처 개요

• 듀얼 스트림 입력: 모델은 두 개의 병렬 비디오 스트림을 동시에 처리합니다.
• 동결 백본 (GazeLLE): 특징 추출기를 처음부터 훈련하는 대신, 저자들은 RGB 입력에서 직접 풍부한 시각적 사전 지식과 시선 인식 특징을 추출하는 GazeLLE(DINOv2 기반의 시선 인식 모델) 를 동결된 백본으로 활용합니다.
  • 두 개의 GazeLLE 모듈이 공유 가중치로 병렬 작동합니다.
  • 선형 프로젝션 계층이 고차원 임베딩을 512 차원으로 다운샘플링하여 계산 오버헤드를 줄입니다.
• 토큰 퓨전 메커니즘:
  • 두 카메라 뷰에서 프로젝션된 토큰 시퀀스가 연결됩니다.
  • 학습 가능한 [CLS] 토큰이 시퀀스 앞에 추가되어 이중 카메라 상태의 전역 표현으로 작용합니다.
  • 이 시퀀스는 트랜스포머 인코더(3 개 레이어, 4 개 어텐션 헤드) 에 입력되어 공간적 및 교차 뷰 관계를 공동으로 모델링하며, [CLS] 토큰이 부모와 자녀 양쪽의 맥락 정보를 집계할 수 있도록 합니다.
• 분류 헤드: 업데이트된 [CLS] 토큰은 ReLU 활성화 함수와 레이어 정규화 (LayerNorm) 가 적용된 다층 퍼셉트론 (MLP) 을 통과하여 단일 로짓을 출력하며, 이는 시그모이드 함수를 통해 확률로 변환됩니다.

B. 데이터셋 및 전처리

• 데이터 소스: 7 개의 관찰 세션에 참여한 13 쌍의 돌봄 제공자 - 영아 쌍으로 구성된 준 자연주의적 데이터셋입니다.
• 설정: 세 대의 동기화된 카메라 (영아 뷰, 부모 뷰, 상단 뷰) 가 사용되었으나, 모델은 영아와 부모 뷰만 활용합니다.
• 전처리 파이프라인:
  1. 동기화: 오디오 교차 상관관계를 사용하여 두 카메라 스트림을 정렬하고, 하드웨어로 인한 최대 1 초의 오프셋을 보정했습니다.
  2. 프레임 추출: 행동 역학과 계산 효율성 사이의 균형을 맞추기 위해 비디오를 **초당 1 프레임 (1 fps)**으로 샘플링했습니다.
  3. 얼굴 감지: RetinaFace를 사용하여 얼굴을 감지하고 헤드 바운딩 박스 (마스크) 를 생성했으며, 이는 GazeLLE 백본에 필요한 입력입니다.
  4. 주석: 연구자가 MG 및 JA 이벤트를 높은 시간적 정밀도로 라벨링할 수 있도록 커스텀 React 기반 도구를 개발하여 수동 주석을 수행했습니다.
• 데이터 분할: 데이터 누출을 방지하기 위해 시간적 분할 (검증을 위해 처음 10%, 나머지는 훈련용) 을 사용했습니다. 테스트 세트는 유지된 두 세션으로 구성되었습니다.

3. 주요 기여

1. 새로운 아키텍처: 동결된 시선 인식 백본 (GazeLLE) 과 커스텀 토큰 퓨전 메커니즘을 활용하여 이중 카메라 뷰 간의 공간적 격차를 해소하는 듀얼 스트림 트랜스포머 도입.
2. 광범위한 평가: 경량 합성곱 신경망 (CNN) 기반선과 최첨단 멀티모달 대규모 언어 모델 (LLM, Llama-4 Vision) 에 대한 엄격한 비교 평가.
3. 오픈 사이언스: 저자들은 모델 아키텍처, 사전 훈련된 가중치 및 테스트 데이터셋을 오픈 소스로 공개하여 다른 연구자들이 특정 실험실 환경에 맞게 모델을 미세 조정할 수 있는 파라미터 효율적인 기반을 제공했습니다.
4. 커스텀 도구 개발: 모델 예측을 기준 진실 (ground truth) 과 비교 검토하기 위한 커스텀 주석 도구 및 시각화 인터페이스 개발.

4. 결과

제안된 모델은 정확도, 정밀도, 재현율, F1 점수, ROC-AUC 를 사용하여 유지된 테스트 세트에서 평가되었습니다.

• 상호 시선 (MG) 감지:
  • 제안 모델: F1 점수 0.825, AUC 0.834.
  • CNN 기반선: F1 점수 0.655, AUC 0.429 (무작위 추측 수준).
  • LLM 기반선: F1 점수 0.480, AUC 0.602.
• 공동 주의 (JA) 감지:
  • 제안 모델: F1 점수 0.767, AUC 0.862.
  • CNN 기반선: F1 점수 0.589, AUC 0.681 (재현율의 높은 변동성).
  • LLM 기반선: F1 점수 0.610, AUC 0.595.

주요 발견:

• 트랜스포머 모델은 정밀도와 재현율의 균형을 맞추는 데 있어 두 기반선보다 현저히 우수한 성능을 보였습니다.
• CNN 기반선은 일반화에 실패하여, 순수한 국소 공간 특징만으로는 교차 카메라 관계 역학을 모델링하기에 부족함을 시사합니다.
• LLM 기반선은 이벤트를 과대 예측하는 경향을 보였으며 엄격한 행동 경계를 구분할 시간적 정밀도가 부족하여 F1 점수가 낮았습니다.
• 효율성: 제안된 모델은 NVIDIA A100 에서 초당 9.46 샘플의 추론 처리량을 달성한 반면, LLM 은 초당 0.14 샘플에 그쳤으며 훨씬 더 많은 GPU 메모리 (제안 모델은 단일 소형 footprint 인 반면 LLM 은 40GB GPU 두 대 필요) 를 필요로 했습니다.

5. 중요성 및 영향

• 격차 해소: 이 연구는 자연주의적 환경에서의 사회적 상호작용을 분석할 수 있는 확장 가능하고 자동화된 도구를 제공함으로써 계산 모델링과 응용 행동 과학 간의 격차를 효과적으로 해소합니다.
• 확장성: 수동 코딩에 대한 의존도를 줄임으로써, 이전에는 처리가 불가능했던 대규모 심리 데이터셋의 분석을 가능하게 합니다.
• 접근성: 사전 훈련된 가중치의 오픈 소스 공개는 다른 연구실들이 최소한의 데이터로 모델을 미세 조정할 수 있게 하여, 컴퓨터 비전에서 흔히 발생하는 '도메인 시프트'(예: 다른 카메라 각도 또는 조명) 문제를 극복합니다.
• 향후 방향: 저자들은 노이즈 감소를 위한 시간적 평활화, 데이터셋 다양성 확장, 제약 없는 상호작용을 처리하기 위한 신원 추적 통합, 그리고 다자간 (다중 카메라) 시나리오로 아키텍처 확장 등을 향후 작업으로 제시합니다.

결론적으로, 본 논문은 중요한 사회적 행동 감지를 자동화하기 위한 매우 효율적이고 정확하며 접근 가능한 솔루션을 제시하며, 이 특정 도메인에서 전문화된 트랜스포머 아키텍처가 전통적인 CNN 과 범용 LLM 보다 우수함을 입증합니다.