Consensus Clustering of Free-Viewing Gaze Data: New Insights into Human-Information Interaction

기술 요약: 자유 시선(Free-Viewing) 데이터의 컨센서스 클러스터링

문제 정의
자유 시선(Free-viewing) 데이터는 인간의 시각적 주의에 대한 풍부하고 과업 독립적인 창을 제공한다. 전통적인 탐색적 데이터 분석(EDA)은 일반적으로 고정(fixations) 및 관심 영역(AOI)을 통해 사용자 주의 패턴을 추출하지만, 이 데이터 내에 숨겨진 더 깊은 수준의 인간-정보 상호작용(HII) 패턴은 여전히 연구가 미흡한 상태이다. 시선 데이터에 대한 기존의 클러스터링은 특정 기준(예: 고정 지속 시간 또는 사카드 패턴)에 의존하는 경우가 많으며, 사용자 행동과 이미지 자극 특성을 동시에 통합하여 집계하지 못한다. 또한, 기존의 클러스터링 접근 방식은 그라운드 트루스(ground truth)의 부재로 인해 모델링 편향과 검증의 불확실성 문제를 겪는다. 이미지 특성이 시각 작업 내 사용자 행동에 어떻게 영향을 미치는지 이해하기 위해 사용자의 상호작용과 맥락적 시각 특징을 통합하는 데 있어 구체적인 공백이 존재한다.

방법론: EnsembleGaze
이러한 공백을 해결하기 위해 저자들은 자유 시선 데이터셋의 컨센서스 클러스터링을 위해 설계된 새로운 엔드 투 엔드 비지도 학습 앙상블 시스템인 EnsembleGaze를 제안한다. 이 시스템은 다음과 같은 파이프라인을 통해 작동한다:

1. 특징 공학 (Feature Engineering):

   • 고정 기반 특징 (Fixation-based Features): 시스템은 총 고정 횟수(FC), 첫 고정까지의 시간(TTF), 고정 지속 시간(FD) 분포로부터 통계적 기술자(총합, 평균, 중앙값, 표준 편차, 분산)를 추출한다. 이는 사용자, 자극, 또는 (사용자, 자극) 튜플을 위한 특징 벡터로 집계된다.
   • 스캔패스 거리 특징 (Scanpath-Distance Features): 사용자 클러스터링을 위해 Fréchet, Hausdorff, Euclidean, Dynamic Time Warping (DTW), 그리고 String-based Time Delay Embedding (SBTDED)과 같은 메트릭을 사용하여 스캔패스 간의 기하학적 거리를 계산한다.
   • 이미지 속성 범주화 (Image Property Categorization): 자극은 색상(히스토그램을 통한 색조 및 강도)과 객체 속성(YOLO를 통해 탐지되며 유형, 규모, 색상으로 분류됨)을 기준으로 범주화된다.

2. 컨센서스 클러스터링 (Baseline):

   • 시스템은 여러 기본 클러스터링 알고리즘(k-means++, 계층적 응집 클러스터링, 스펙트럴 클러스터링)을 적용하는 비지도 학습 앙상블 패러다임을 채택한다.
   • 공통 연관 행렬 (Co-association Matrix): 각 기본 클러스터링에 대해 쌍별 멤버십을 나타내는 이진 공통 연관 행렬이 생성된다.
   • 컨센서스 투표 (Consensus Voting): 이러한 행렬들을 평균하여 확률적 공통 연관 행렬을 생성한다.
   • 메타 학습 (Meta-Learning): 최종 최적 분할과 클러스터 수($k$)를 결정하기 위해 불리 유사성 행렬(dissimilarity matrix)을 통한 계층적 응집 클러스터링(HAC)이 적용된다.

3. 고차원 클러스터링 (High-Dimensional Clustering):
   사용자와 자극의 공동 영향을 분석하기 위해 시스템은 두 가지 전략을 구현한다:

   • 컨센서스 서브스페이스 클러스터링 (Consensus Subspace Clustering, CSC): 순차적인 하향식 접근 방식이다. 먼저 한 차원(예: 사용자)을 클러스터링한 다음, 각 단계에서 컨센서스 투표를 사용하여 해당 기본 클러스터 내에서 다른 차원(예: 자극)을 클러스터링한다.
   • 스펙트럴 바이클러스터링 (Spectral Biclustering): 특징 텐서에서 부분 행렬을 식별함으로써 (사용자, 자극) 튜플을 동시에 그룹화하는 방법이다. 이는 행렬 언폴딩(사용자 가이드 모드-1, 자극 가이드 모드-2)과 고유 벡터에 대한 스펙트럴 분해 및 k-means를 포함한다.

4. 검증 (Validation):
   그라운드 트루스가 없으므로, 시스템은 표준 메트릭(Silhouette index, Davies-Bouldin, Calinski-Harabasz)과 베이스라인 클러스터링에 대한 비교 메트릭(Cohen's $\kappa$, Accuracy, MCC, F1-score, ARI, NMI)을 사용하여 성능을 평가한다.

주요 기여

• EnsembleGaze 시스템: 특징 공학, 컨센서스 클러스터링, 고차원 클러스터링을 통합하는 자유 시선 데이터의 비지도 학습 앙상블을 위한 엔드 투 엔드 프레임워크.
• 컨센서스 클러스터링 전략: 그라운드 트루스가 없는 상황에서 모델링 편향을 줄이고 클러스터링 결과의 견고성을 개선하기 위해 공통 연관 행렬을 통한 컨센서스 투표를 적용함.
• 고차원 전략: 단방향 클러스터링을 넘어 (사용자, 자극) 역학을 포착하기 위해 컨센서스 서브스페이스 클러스터링과 스펙트럴 바이클러스트링을 시선 데이터에 적응시킴.
• 특징 공학: 사용자 행동과 자극 유형을 특징짓기 위해 고정 분포의 통계적 기술자와 이미지/객체 속성을 사용하는 체계적인 접근 방식.

결과
시스템은 두 가지 공개 데이터셋인 MIT1003(자연 경관)과 EMOd(감정 유발 이미지)에서 평가되었다.

• 클러스터링 성능:
  • MIT1003: 이미지 자극 그룹화는 방법론 간에 매우 일관되었으며, 이는 "주변적(ambient)"(광범위한) 및 "초점적(focal)"(특정한) 시선 모드 사이의 견고한 구분을 반영한다. 사용자 그룹화는 이미지 맥락에 의존적인 것으로 나타났다. 스캔패스 거리에 기반한 사용자 클러스터링에서는 Hausdorff 거리가 가장 좋은 결과를 냈다.
  • EMOd: 데이터셋 특유의 패턴이 나타났다. EMOd 데이터셋은 비선형 분리성을 가진 MIT1003(Spectral 클러스터링에 적합)과 달리, 선형적으로 더 잘 분리되는 고정 패턴(KMeans++에 적합)을 보였다.
• 고차원 통찰:
  • 자극 가이드 클러스터링: MIT1003에서 자극 가이드 CSC와 바이클러스터링은 높은 일치도를 보였으며, 높은 고정 횟수(주변적 주의)에 의해 구동되는 큰 파티션과 고정 지속 시간 분산에 의해 구동되는 작은 파티션을 식별했다. EMOd에서 자극 가이드 CSC는 정서적 고통이나 인지적 과부하와 연결될 수 있는 불규칙한 고정 지속 시간을 특징으로 하는 파티션을 드러냈으며, 이는 바이클러스터링에서는 덜 포착되는 패턴이었다.
  • 사용자 가이드 클러스터링: EMOd에서 사용자 그룹화는 덜 분리되었으며, 일부 구성에서는 뚜렷한 클러스터를 생성하는 데 실패했는데, 이는 고정 특징만으로는 모든 맥락에서 사용자를 분리하기에 충분하지 않을 수 있음을 시사한다.
• 특징의 영향:
  • 이미지 수준의 색상 색조와 강도는 사용자 고정 패턴과 약한 상관관관계를 보였다.
  • 객체 속성 기반 특징(예: 객체 규모, 유형)은 공통 연관 행렬에서 뚜렷한 블록 대각 패턴으로 입증되듯, 더 견고한 클러스터링 파티션을 생성했다.

의의 및 주장
본 논문은 EnsembleGaze가 장면 인지 연구에서 고정 행동의 비지도 분석을 위한 재현 가능하고 데이터셋에 무관한 방법론을 제공한다고 주장한다. 저자들은 다음과 같은 결과를 입증했다고 단언한다:

1. 견고성: 이미지 자극 그룹화는 방법론 전반에 걸쳐 일관되며, 이는 뚜렷한 시선 모드(주변적 vs 초점적)의 존재를 검증한다.
2. 맥락 의존성: 사용자 그룹화는 정적이지 않고 이미지 맥락에 따라 달라지며, 오직 바이클러스트링과 2단계 조건부 접근 방식(CSC)만이 이러한 구조를 복구할 수 있는 아키텍처적 능력을 갖추고 있다.
3. 방법론적 진보: 단일 메트릭이나 단방향 클러스터링이 놓치는 잠재적인 HII 패턴을 발견하기 위해서는 비지도 학습 앙상블과 고차원 클러스터링(특히 바이클러스터링 및 서브스페이스 클러스터링)이 필요함을 본 연구는 확립한다.
4. 특징 관련성: 연구 결과는 객체 수준의 속성이 단순한 색상이나 강도 메트릭보다 클러스터링 구조를 더 잘 예측한다는 것을 시사한다.

저자들은 연구가 고정 기반 특징에 국한되어 있다는 점을 언급하며 겸허한 어조를 유지하였으며, EMOd에서의 특정 사용자 클러스터의 비분리성은 향후 연구에서 추가적인 특징(예: 사카드)이나 데이터 기반 특징 학습의 필요성을 나타낼 수 있다고 기술하였다.