Comparing Human Gaze and Vision-Language Model Attention in Safety-Relevant Environments

기술 요약: 안전 관련 환경에서의 인간 시선과 시각-언어 모델(VLM) 주의 집중 비교

문제 정의
자율 주행 및 로보틱스와 같은 안전 인식 인공지능(AI) 시스템은 인간이 잠재적 위험으로 인식하는 장면 영역을 식별하는 능력이 필요하다. 안구 추적 기술은 인간의 시각적 주의 집중을 직접적으로 측정하며, 위협적인 자극에 대한 불균형적인 민감성인 '부정 편향(negatitvity bias)'을 드러낸다. 그러나 기존의 계산 모델들은 대개 일반적인 시각적 돌출도(saliency)에 초점을 맞출 뿐, 안전 지각에는 초점을 맞추지 못하고 있다. 의미론적 이해력을 갖춘 현대의 대규모 시각-언어 모델(VLM)이 안구 추적 데이터에 대한 별도의 학습 없이도, 안전 관련 환경에서 인간의 시선과 공간적으로 정렬된 주의 집중을 보여줄 수 있는지에 대한 이해가 부족한 상황이다.

연구 방법론
본 연구는 인간 데이터 수집과 AI 추론을 포함하는 두 갈래의 접근 방식을 채택하였다:

1. 인간 안구 추적 데이터셋 구축:

   • 자극물: 다양한 수준의 잠재적 위험(예: 차량, 장애물, 침수 표지판)을 포함하는 다양한 일상 환경(거리, 복도, 공공장소, 녹지 등)을 나타내는 33개의 장면 이미지.
   • 참가자: 정상 또는 교정 시 정상 시력을 가진 대학생 10명.
   • 장비: 참가자들이 24인치 모니터로 이미지를 10초 동안 보는 동안 기록하기 위해 Pupil Invisible 웨어러블 안경(200Hz 양안 시선 추적, 30fps 장면 카메라)을 사용하였다.
   • 처리: 가공된 시선 데이터는 유효성을 위해 필터링되었으며, 장면 카메라의 시야(FOV)에서 자극 해상도(1,536 × 1,024 픽셀)로 매핑되었고, 가우시안 평활화($\sigma = 30$ px)를 통해 개별 고정 밀도 맵으로 변환되었다. 이들은 33개의 인구 수준 인간 시선 히트맵을 생성하기 위해 평균화되었다.

2. AI 돌출도 맵 생성:

   • 모델: 멀티모달 추론 능력을 고려하여 GPT-4o를 선정하였다.
   • 파이프라인: 자동화된 Python 스크립트를 통해 GPT-4o에게 "시각적 돌출도 전문가" 역할을 수행하도록 OpenAI Vision API를 통해 프롬프트를 제공하였다. 모델은 자유 시청 중 인간이 어디를 바라볼지 예측하는 20~25개의 정규화된 고정 지점 $(x, y)$와 돌출도 가중치 $(w)$를 포함하는 구조화된 JSON 객체를 반환하도록 지시받았다.
   • 렌더링: 생성된 JSON 출력값은 캔버스 위에 채워진 원형 디스크($r=40$ px)로 래스터화되었으며, 이후 인간의 히트맵과 비교 가능한 연속적인 돌출도 맵을 생성하기 위해 가우시안 평활화($\sigma = 60$ px)를 적용하였다. 이 과정에서 안구 추적 데이터는 모델 학습에 사용되지 않았다.

3. 평가:

   • 33개 이미지 전체에 대해 네 가지 지표를 사용하여 인간과 AI 히트맵 간의 공간적 정렬을 정량화하였다:
     • 피어슨 상관계수 (Pearson Correlation, $r$): 선형적 공간 일치도.
     • 정규화된 스캔패스 돌출도 (Normalised Scanpath Saliency, NSS): 인간의 고정 지점에서의 AI 값과의 대응 관계.
     • 쿨백-라이블러 발산 (Kullback–Leibler Divergence, KL Divergence): 두 맵 사이의 분포 차이.
     • AUC-Judd: 고정된 위치와 고정되지 않은 위치를 구별하는 능력.
   • Gemini Pro, Gemini Flash, Claude를 이용한 교차 모델 비교를 수행하였다.

주요 결과

• GPT-4o 성능: 해당 모델은 안구 추적 학습 없이도 인간의 시선과 유의미한 공간적 정렬을 보여주었다.
  • AUC-Judd: $0.806 \pm 0.076$ (우연한 기준선인 0.5를 실질적으로 상회함).
  • NSS: $0.988 \pm 0.323$ (인간의 고정 지점에서 평균 이상의 값을 나타내는 양수 점수).
  • Pearson $r$: $0.515 \pm 0.117$ (중등도 수준이지만 일관된 선형 상관관계).
  • KL Divergence: $1.766 \pm 0.844$.
• 교차 모델 비교: 테스트된 모든 모델(GPT-4o, Gemini Pro, Gemini Flash, Claude)이 AUC-Judd 우연 기준선을 초과하였으며 양수의 NSS 점수를 달성하였다.
  • Gemini Pro는 피어슨 상관계수($0.571$), NSS($1.131$), AUC-Judd($0.840$)에서 가장 높은 점수를 기록하여 우수한 공간 국지화 능력을 시사하였다.
  • GPT-4o는 가장 낮은 KL 발산($1.766$)을 기록하였는데, 이는 공간 국지화 점수는 Gemini Pro보다 약간 낮았음에도 불구하고, 예측된 돌출도 분포의 형태가 인간의 주의 분포와 가장 유사했음을 나타낸다.
• 장면 가변성: 정렬은 위험 관련 콘텐츠가 공간적으로 국지화된 장면(예: Image 05, Image 02)에서 가장 강력하게 나타났으며, 인간의 시선이 분산된 장면에서는 더 약하게 나타났다.

주요 기여

1. 데이터셋 구축: 본 연구는 다양한 위험 수준을 가진 33가지의 다양한 일상 장면 유형을 다루는 전용 안구 추적 데이터셋을 구축하였으며, 안전 지각을 위한 그라운드 트루스로서 인구 평균적인 인간 시선 히트맵을 제공하였다.
2. 제로샷 정렬 입증: 대규모 VLM이 위험을 식별하도록 프롬프트를 제공할 경우, 특정 안구 추적 학습 데이터 없이도 인간의 주의 패턴과 정렬되는 공간적 예측을 생성할 수 있음을 경험적으로 입증하였다.
3. 평가 프레임워크: 안전 관련 맥락에서 AI 생성 위험 맵과 인간의 시선 사이의 공간적 대응을 정량화하기 위해 일련의 보완적인 돌출도 지표들을 적용하였다.

의의 및 주장
저자들은 대규모 시각-언어 모델이 인간이 안전 관련 장면에서 시선을 두는 곳과 광범별로 일치하는 잠재적 위험 영역을 식별할 수 있다고 주장한다. 이는 VLM이 비록 스스로 심리적 '부정 편향'을 경험하지는 않더라도, 인간이 생성한 콘텐츠를 학습함으로써 인간의 경향성을 암묵적으로 포착하고 있음을 시사한다.

이러한 발견의 의의는 VLM이 안전 인식 AI 애플리케이션에서 인간의 주의 패턴을 근사하는 확장 가능한 도구로 기능할 수 있다는 점에 있다. 이러한 능력은 (자율 로봇이나 차량과 같은) 시스템이 배포 단계에서 고가의 전용 안구 추적 하드웨어를 필요로 하지 않고도 인간의 위험 지각과 일치하도록 개발되는 것을 지원할 수 있다. 저자들은 결과가 유망하지만, 정렬이 완벽하지는 않다는 점을 언급하며, 적은 참가자 수와 조밀한 인간 시선 데이터에 비해 희소한 JSON 기반 AI 출력의 특성 등 연구의 한계를 인정하였다. 향후 연구에서는 보다 크고 다양한 샘플과 동적인 비디오 자극을 활용하여 이러한 발견을 더욱 검증할 것을 제안하였다.