Perceptual similarity judgments reflect one's own discrimination capacities

이 연구는 개인의 지각적 변별 능력이 주관적인 유사성 판단의 기준이 되며, 유사하다고 느끼는 자극일수록 실제로 구별하기 어렵다는 것을 실험을 통해 입증했습니다.

핵심

📸 1. 연구의 핵심 질문: "비슷함"은 정말 주관적인가?

우리는 보통 "A 와 B 는 비슷해", "C 와 D 는 달라"라고 말할 때, 그건 단순히 내 기분이나 취향이라고 생각합니다. 마치 "이 커피는 달다, 저 커피는 쓰다"라고 느끼는 것처럼요.

하지만 연구자들은 의문을 가졌습니다.

"혹시 우리가 '비슷하다'고 느끼는 것은, 그 두 물체를 구별해 내는 우리 눈 (뇌) 의 능력과 관련이 있지 않을까?"

예를 들어, 두 개의 아주 비슷한 얼굴을 볼 때, 만약 우리 눈이 그 미세한 차이를 구별해 내기 힘들다면, 우리는 무의식적으로 "아, 이 두 얼굴은 비슷하구나"라고 판단하게 되지 않을까요?

🔍 2. 실험 방법: "눈의 해상도"를 측정하다

연구진은 12 명의 참가자를 모아서 두 가지 작업을 시켰습니다.

1. 주관적 판단 (사진 찍기): 30 개의 얼굴 사진이 있을 때, "이 얼굴과 저 얼굴 중 어느 게 더 비슷해?"라고 자유롭게 순위를 매기게 했습니다. (정답이 없는 작업)
2. 객관적 능력 측정 (카메라 테스트): 같은 얼굴들 사이에서 아주 미세하게 다른 얼굴을 찾아내는 능력을 측정했습니다. 이때는 눈이 거의 보이지 않을 정도로 아주 미세한 차이 (마치 초점을 살짝 흐리게 한 상태) 를 주고, "어느 게 다른 얼굴이야?"라고 물어보며 얼마나 미세한 차이까지 구별해 낼 수 있는지를 숫자로 잰 것입니다.

💡 3. 놀라운 발견: "구별 못 하면 비슷해 보인다"

결과는 매우 명확했습니다.

• 개인의 눈 (해상도) 이 낮은 경우: 두 얼굴 사이의 미세한 차이를 구별해 내기 힘들었던 참가자들은, 그 두 얼굴을主观적으로 **"정말 비슷하다"**고 판단했습니다.
• 개인의 눈 (해상도) 이 높은 경우: 미세한 차이도 척척 찾아낸 참가자들은, 그 두 얼굴을 **"상당히 다르다"**고 판단했습니다.

비유하자면:

• 저해상도 카메라 (눈이 나쁜 사람): 두 장의 사진을 찍었을 때 픽셀이 뭉개져서 두 사진이 똑같이 보입니다. 그래서 "이거 똑같네!"라고 말합니다.
• 고해상도 카메라 (눈이 좋은 사람): 같은 두 장의 사진을 찍어도 미세한 픽셀 차이까지 보입니다. 그래서 "아니, 이거 분명히 다른데?"라고 말합니다.

즉, "비슷함"이라는 느낌은 사실 "내가 이걸 구별할 능력이 있느냐"에 대한 내 뇌의 보고서였던 것입니다.

🧩 4. 더 중요한 발견: "내 눈은 나만 안다"

이 연구의 가장 멋진 점은 이 관계가 사람마다 다르다는 것입니다.

• A 라는 사람은 얼굴 X 와 Y 를 구별하기 힘들어서 "비슷해"라고 말합니다.
• 하지만 B 라는 사람은 그 두 얼굴을 금방 구별해서 "다르다"고 말합니다.

즉, 누군가의 "비슷함" 판단은 그 사람 자신의 눈 (뇌) 의 능력에 맞춰져 있습니다. 남의 눈으로 판단한 것이 아니라, 오직 나만의 능력이 기준이 되는 것입니다.

🤖 5. 인공지능 (AI) 에게는 왜 적용되지 않을까?

논문의 마지막 부분에서 흥미로운 이야기를 합니다. 요즘 AI 는 사람처럼 "이 두 얼굴은 비슷해"라고 말하죠. 하지만 AI 는 자신의 눈 (감각 기관) 이 없습니다.

• 사람: "내 눈으로 봤을 때 구별이 안 돼서 비슷해." (실제 경험과 연결됨)
• AI: "데이터베이스에 따르면 이 두 얼굴은 통계적으로 비슷해." (단순한 정보 처리)

따라서 AI 가 하는 '비슷함' 판단은 우리처럼 **실제 감각 능력에 기반한 '의식'**이 아니라, 단순히 데이터를 외운 것에 불과하다는 것입니다.

📝 요약

이 논문의 결론은 아주 간단합니다.

"우리가 세상의 사물을 '비슷하다'고 느끼는 것은, 단순히 취향이 아니라, 우리 뇌가 그 사물을 얼마나 선명하게 구별해 낼 수 있는지에 대한 '실제 능력'을 반영한 것입니다."

우리의 주관적인 느낌은 사실, 우리 뇌라는 카메라의 해상도를 보여주는 거울과 같았습니다.

기술 요약

논문 요약: 지각적 유사성 판단과 개인의 변별 능력의 관계

1. 연구 배경 및 문제 제기 (Problem)

• 지각적 유사성의 모호성: 인간은 두 자극 (예: 얼굴) 간의 유사성을 판단할 때, 어떤 특징에 초점을 맞춰야 하는지 명확하지 않아 '잘못 정의된 문제 (ill-posed problem)'로 간주되어 왔습니다. 즉, 유사성 판단에 대한 객관적인 기준 (ground truth) 이 부재하다는 비판이 존재합니다.
• 가설: 저자들은 지각적 유사성 판단이 단순히 주관적인 것이 아니라, **개인의 지각 변별 능력 (perceptual discrimination capacity)**에 기반한 규범적 (normative) 인 과정일 것이라고 가설을 세웠습니다. 즉, 개인이 실제로 구별하기 어려운 자극 쌍을 더 유사하게 판단할 것이라는 논리입니다.
• 핵심 질문:
  1. (가설 1) 개인의 지각 변별 능력과 주관적 지각적 비유사성 (dissimilarity) 사이에는 정적 (positive) 상관관계가 있는가?
  2. (가설 2) 이 관계는 개인마다 고유한가? (즉, 한 사람의 유사성 판단은 타인의 변별 능력보다 자신의 변별 능력으로 더 잘 설명되는가?)

2. 연구 방법론 (Methodology)

• 참가자: 12 명의 참가자 (RIKEN 윤리위원회 승인).
• 자극: 30 개의 얼굴 이미지 (Basal Face Model, BFM 을 사용하여 생성).
• 실험 절차:
  1. 주관적 유사성 판단 과제 (Subjective Similarity Judgment Task):
     • 참가자는 목표 얼굴과 4 개의 후보 얼굴을 제시받고, 목표 얼굴과의 유사도에 따라 순위를 매기게 함.
     • 30x30 비유사성 행렬 (dissimilarity matrix) 을 구성하기 위해 330 회 이상의 시도를 수행.
     • 정보Tuple (InfoTuple) 방법을 사용하여 각 시도가 최대한 많은 정보를 제공하도록 최적화됨.
     • 데이터 처리: 순위 데이터를 기반으로 비유사성 확률을 계산하고, 이를 **5 차원 메트릭 MDS (Multidimensional Scaling)**를 통해 재구성하여 노이즈를 제거한 비유사성 행렬을 생성함. (또한 기계학습 기반 접근법도 사전 등록되었으나, 주 분석에는 MDS 사용).
  2. 근역치 변별 과제 (Near-threshold Discrimination Task):
     • 두 얼굴 사이의 1,000 단계 모핑 (morph) 을 생성.
     • 1-up-2-down 계단식 (staircase) 방법을 사용하여 참가자가 두 얼굴을 구별할 수 있는 최소 차이 (JND, Just Noticeable Difference) 를 측정.
     • 변별 능력 지표 (#JNDs): 전체 모핑 단계 (1000) 를 측정된 JND 로 나눈 값. 값이 클수록 두 얼굴 사이의 지각적 거리가 멀고 변별 능력이 높음을 의미.
  3. 데이터 분석:
     • 가설 1 검증: 각 참가자의 24 개 얼굴 쌍에 대해 주관적 비유사성 값과 #JNDs 간의 스피어만 (Spearman) 상관관계를 계산.
     • 가설 2 검증 (개인 특이성): 한 참가자의 비유사성 데이터와 자신의 #JNDs 간의 상관관계 vs 다른 참가자들의 #JNDs 간의 상관관계를 비교. 비모수적 순열 검정 (permutation test) 을 사용하여 개인별 특이성의 유의성을 평가.

3. 주요 결과 (Key Results)

• 측정의 신뢰성:
  • 동일 참가자의 두 세션 간 비유사성 행렬 상관관계가 참가자 간 상관관계보다 유의하게 높음 (개인 내 일관성 및 고유성 확인).
  • 계단식 실험의 수렴성 (reversal ratio) 이 양호하여 #JNDs 측정이 신뢰할 만함.
• 가설 1 확인 (전체적 상관관계):
  • 강한 정적 상관관계 발견: 개인이 구별하기 어려운 얼굴 쌍 (낮은 #JNDs) 은 주관적으로 더 유사하게 판단됨.
  • 통계적 유의성: 그룹 평균 z-값 2.63 (95% CI [2.18, 3.10]), p < 0.00001, 베이지안 인자 (BF) > 10,000.
  • 12 명 중 11 명이 개인 수준에서 유의한 상관관계를 보임.
• 가설 2 확인 (개인 특이성):
  • 개인별 고유성 확인: 한 참가자의 유사성 판단은 자신의 변별 능력과 타인의 능력보다 훨씬 더 높은 상관관계를 보임.
  • 통계적 유의성: 그룹 평균 z-값 1.19 (95% CI [0.77, 1.59]), p = 0.00010, BF = 306.
  • 이는 유사성 판단이 보편적인 기준이 아니라, 개인의 지각 시스템의 해상도 (resolution) 에 기반함을 시사함.
• 추가 발견:
  • 참가자 간 비유사성 평가가 상이한 (controversial) 얼굴 쌍에서 상관관계가 더 뚜렷하게 나타남.
  • 2 차원 MDS 를 사용한 분석은 5 차원보다 성능이 떨어졌음 (정보 손실).

4. 주요 기여 및 의의 (Contributions & Significance)

• 주관적 판단의 객관적 기초 확립: 지각적 유사성 판단이 단순히 임의적이거나 모호한 것이 아니라, **개인의 지각 변별 능력 (quasi-objective ground truth)**에 근거한 규범적 과정임을 실증함.
• 메타인지적 해석: 지각적 유사성 판단은 시각 피질의 신경적 한계 (감각 능력) 를 상위 인지 영역 (전두엽 등) 이 해석한 결과로 볼 수 있으며, 이는 일종의 '메타인지 (metacognition)'적 읽기 (readout) 로 해석됨.
• 인공지능 및 의식 연구에 대한 시사점:
  • 현재 AI 모델은 인간의 유사성 판단을 모방할 수 있으나, 이는 인간의 개별적인 지각 능력을 기반으로 하지 않음.
  • 따라서 AI 가 생성하는 유사성 판단은 인간의 주관적 경험 (의식) 과는 본질적으로 다르며, AI 가 의식을 가졌다고 보기 어렵다는 관점을 지지함.
• 심리 공간 (Psychological Space) 이론: 로저 셰퍼드 (Roger Shepard) 의 일반화 법칙과 관련하여, 개인의 지각 능력이 심리 공간의 왜곡과 척도를 결정하며, 이는 일반화 (generalization) 의 감쇠율에 영향을 미친다는 이론을 뒷받침함.

5. 결론

이 연구는 지각적 유사성 판단이 개인의 고유한 지각 변별 능력과 밀접하게 연결되어 있음을 보여주었습니다. 이는 주관적인 지각 경험이 개인의 감각 시스템의 물리적 한계와 통계적 최적화에 기반하고 있음을 의미하며, 지각, 의사결정, 그리고 의식 연구 분야에서 중요한 이론적 토대를 제공합니다.