Can Individual Internal Models Predict Idiosyncratic Scene Exploration?

이 연구는 개인의 내적 모델 (내적 기대) 이 자연 장면 탐색에 미치는 영향이 감각적 불확실성이 높고 전략적 탐색이 유도될 때 두드러진다는 것을 두 실험을 통해 규명했습니다.

핵심

이 논문은 **"우리가 세상을 볼 때, 왜 사람마다 눈이 가는 곳이 다를까?"**라는 아주 흥미로운 질문에 답하려는 연구입니다.

간단히 말해, **"내 머릿속에 있는 '세상에 대한 예상도'가, 내가 실제로 어디를先看 (먼저 본다) 하는지를 결정한다"**는 것을 증명하려는 시도였어요.

이 연구 내용을 마치 요리사와 레스토랑에 비유해서 쉽게 설명해 드릴게요.

---

🍳 1. 연구의 핵심 아이디어: "머릿속의 레시피"

우리가 어떤 장소를 볼 때, 우리 뇌는 그냥 눈으로만 보는 게 아니라, **"이곳은 보통 이렇게 생겼을 거야"**라고 미리 예상합니다. 이를 연구자들은 **'내부 모델 (Internal Model)'**이라고 부릅니다.

• 비유: 당신이 '부엌'을 상상할 때, 머릿속에 어떤 그림이 그려지나요?
  • A 씨는 "아, 부엌은 반드시 냉장고가 왼쪽에 있고 가스레인지가 중앙에 있어야 해!"라고 생각합니다.
  • B 씨는 "부엌엔 싱크대가 가장 중요하고, 창문은 꼭 있어야지!"라고 생각합니다.
  • 이 두 사람의 머릿속에 있는 **'부엌 레시피 (내부 모델)'**가 서로 다르다는 거죠.

연구진은 이 레시피가 실제 눈동자의 움직임 (어디를 먼저 보고, 얼마나 오래 보는지) 을 결정할 것이라고 추측했습니다.

🎨 2. 실험 방법: "그림으로 내 마음을 읽다"

연구진은 참가자들에게 두 가지 일을 시켰습니다.

1. 그림 그리기: "가장 전형적인 부엌과 욕실 그림을 그려보세요." (이 그림이 바로 그 사람의 '머릿속 레시피'를 보여주는 거예요.)
2. 눈 추적 (Eye-tracking): 실제 부엌과 욕실 사진을 보게 하고, 눈이 어디로 움직이는지 정밀하게 기록했습니다.

그리고 이 두 데이터를 비교했습니다. "그림이 비슷한 사람들끼리, 눈동자 움직임도 비슷할까?"

🧪 3. 실험 결과: "상황에 따라 달라지는 마법"

이 연구는 두 가지 다른 상황에서 실험을 진행했는데, 결과가 완전히 달랐습니다.

상황 A: 그냥 구경하기 (자유로운 시선)

• 상황: "이 사진 그냥 천천히 구경해 봐." (별다른 임무 없음)
• 결과: 아무런 상관관계가 없었습니다.
• 이유: 우리가 사진을 그냥 구경할 때는, 머릿속의 예상도보다는 **눈에 확 들어오는 화려한 것 (색깔, 빛, 움직임)**에 끌려서 눈이 움직입니다. 마치 레스토랑에 갔을 때, 메뉴를 읽기 전에 가장 예쁜 장식이나 향기에 먼저 눈이 가는 것과 비슷해요. 이때는 각자의 '레시피'가 큰 영향을 미치지 않습니다.

상황 B: 숨은그림찾기 모드 (전략적인 시선)

• 상황: "이 사진의 세부적인 부분을 잘 기억해야 해. 하지만 화면은 **작은 구멍 (눈동자 중심)**으로만 보여." (주변은 흐릿하게 처리)
• 결과: 엄청난 상관관계가 발견되었습니다!
• 이유: 주변 정보가 흐릿하고, 무언가를 기억해야 하는 '전략'이 필요할 때, 우리 뇌는 **"아, 내가 기억해야 하는 건 이쪽일 거야!"**라고 머릿속 레시피를 꺼내서 사용합니다.
  • A 씨 (냉장고 우선) 는 흐릿한 화면 속에서도 냉장고가 있을 법한 곳을 먼저 찾아갑니다.
  • B 씨 (싱크대 우선) 는 싱크대가 있을 법한 곳을 먼저 찾습니다.
  • 즉, 정보가 부족하고 혼란스러울 때일수록, 우리 각자의 '머릿속 예상도'가 눈의 방향을 더 강력하게 조종합니다.

💡 4. 결론: "우리는 왜 다르게 볼까?"

이 연구는 우리에게 중요한 메시지를 줍니다.

"사람마다 세상을 보는 방식이 다른 이유는, 우리가 평생 쌓아온 경험 (머릿속 레시피) 이 다르기 때문입니다. 특히 무엇을 찾아야 할지 모호하거나 정보가 부족할 때, 우리는 각자의 예상대로 세상을 탐색합니다."

한 줄 요약:
우리의 눈은 단순히 카메라가 아니라, 머릿속에 있는 '예상 지도'를 따라 움직이는 탐정입니다. 그리고 그 지도가 가장 빛을 발하는 순간은, 주변이 어둡고 혼란스러울 때입니다.

이 연구는 우리가 왜 같은 장소를 보면서도 서로 다른 이야기를 만들어내는지, 그리고 인공지능이나 심리학에서 '예측'이 얼마나 중요한 역할을 하는지 잘 보여줍니다.

기술 요약

논문 요약: 개인의 내부 모델이 고유한 장면 탐색을 예측하는가?

1. 연구 배경 및 문제 제기 (Problem)

• 현상: 동일한 자연 장면을 관찰할 때, 개인마다 시선 이동 (가제, gaze) 패턴이 체계적으로 다릅니다. 이는 동일한 장면에 대한 지각적 경험과 행동이 개인마다 고유함 (idiosyncrasy) 을 의미합니다.
• 미해결 과제: 왜 이러한 시선 이동의 차이가 발생하는지에 대한 원인은 아직 명확히 규명되지 않았습니다. 유전적 요인이나 발달 과정의 영향은 알려져 있으나, 개인의 누적된 시각적 경험 (Visual Diet) 이 형성한 내부 모델 (Internal Models) 이 시선 행동을 어떻게 이끄는지에 대한 직접적인 증거는 부족했습니다.
• 가설: 개인의 내부 모델 (장면이 어떻게 생겼는지에 대한 기대) 이 유사할수록, 해당 개인들의 장면 탐색 패턴도 유사할 것이라는 가설을 검증하고자 했습니다.

2. 연구 방법론 (Methodology)

연구는 두 개의 실험 (자유 관찰 vs. 전략적 탐색) 과 하나의 사전 과제 (그리기) 를 통해 진행되었습니다.

• 참가자 및 실험 설계:

  • 실험 1 (자유 관찰): 참가자들이 욕실 및 주방 사진 300 장을 3 초간 자유롭게 관찰하도록 함.
  • 실험 2 (시선 조건부 관찰 + 기억 과제): 시선이 있는 작은 창 (2.5°) 만 선명하게 보이고 나머지는 흐리게 처리된 '시선 조건부 (Gaze-contingent)' 방식으로 관찰. 이후 기억 테스트 수행. 이는 불확실성을 높여 전략적 탐색을 유도함.
  • 참가자: 각 실험당 34 명 (총 68 명, 독립 집단).

• 내부 모델 측정 (그리기 과제):

  • 참가자들이 '전형적인 욕실'과 '주방' 장면을 그리도록 요청.
  • 정량화: 그림을 'Draw3D' 소프트웨어로 사진처럼 사실적인 이미지로 변환한 후, VGG16 딥러닝 모델의 fc7 레이어 특징을 추출하여 개인 간 그림의 유사성을 계산. 이를 개인 간 표현적 유사성 행렬 (IS-RDM) 로 구성.
  • 통제 조건: 동일한 사진을 복사하는 과제를 통해 그림 실력이나 스타일의 영향을 통제 (Partialling out).

• 시선 데이터 분석 (Gaze Measures):

  • IS-RSA (Inter-subject Representational Similarity Analysis): 내부 모델의 유사성 행렬과 시선 행동의 유사성 행렬 간의 상관관계를 분석.
  • 측정 지표:
    1. Gaze Distance: 시선 위치 간의 유클리드 거리.
    2. Fixation Count: 이미지당 고정점 (Fixation) 수.
    3. Object Dwells: 객체 카테고리별 체류 시간 비율.
    4. Fixation Order: 객체 카테고리별 고정 순서 (우선순위).

3. 주요 결과 (Key Results)

• 실험 1 (자유 관찰):

  • 개인 간 시선 패턴의 차이는 신뢰할 수 있게 측정되었음 (Split-half reliability 확인).
  • 결과: 내부 모델의 유사성과 시선 행동의 유사성 간에는 통계적으로 유의미한 상관관계가 발견되지 않음. (모든 측정 지표에서 $p > 0.65$)

• 실험 2 (시선 조건부 및 기억 과제):

  • 결과: 내부 모델의 유사성이 시선 행동의 유사성을 예측함.
    • 고정점 수 (Fixation Count): 유의한 양의 상관관계 ($r=0.21, p=0.025$).
    • 고정 순서 (Fixation Order): 유의한 양의 상관관계 ($r=0.15, p=0.025$).
    • 시선 거리 및 체류 시간: 유의한 상관관계는 발견되지 않음.
  • 해석: 감각 정보가 제한되고 (시선 조건부) 전략적 탐색이 요구될 때, 개인의 기대 (내부 모델) 가 시선 행동을 더 강하게 지배함.

• 추가 분석:

  • 그림의 순서와 시선의 고정 순서 간의 직접적인 예측력은 통계적 유의미 수준에는 미치지 못했으나 ($p=0.081$), 자기 자신의 그림 순서가 타인의 것보다 자신의 시선 순서와 더 높은 상관관계를 보이는 경향을 보임.

4. 주요 기여 및 의의 (Contributions & Significance)

• 내부 모델의 조건부 영향력 규명: 개인의 기대 (내부 모델) 가 시선 행동을 결정하는 요인임이 입증되었으나, 그 영향력은 감각적 불확실성이 높고 전략적 탐색이 필요한 상황에서 두드러진다는 것을首次로 보여줌.
• 예측 처리 (Predictive Processing) 프레임워크 지지: 시선 이동이 단순히 자극에 반응하는 것이 아니라, 불완전한 감각 입력을 보완하기 위해 내부 모델을 기반으로 정보를 샘플링하는 능동적 과정임을 지지하는 증거를 제공.
• 개인차의 원인 설명: 사람들이 동일한 장면을 볼 때 왜 다른 곳을 보는지에 대해, 개인의 독특한 시각적 경험에서 비롯된 내부 모델의 차이가 원인 중 하나임을 설명.
• 방법론적 발전: 그림 과제를 통해 추상적인 '내부 모델'을 객관적인 딥러닝 기반 유사성 행렬로 변환하여 시선 데이터와 연결하는 새로운 분석 파이프라인을 제시.

5. 결론 (Conclusion)

이 연구는 개인의 내부 모델이 시각적 탐색 전략을 형성하는 핵심 요소임을 보여주었으며, 특히 감각 정보가 제한된 환경에서 이러한 기대 기반의 샘플링이 두드러진다는 점을 규명했습니다. 이는 주의 (Attention) 와 지각에 대한 계산 모델에 개인별 예측 요소를 통합하는 새로운 방향을 제시하며, 실제 환경에서의 지각 연구에 중요한 통찰을 제공합니다.