Entropy in Semantic Memory Navigation in Blind and Sighted Individuals: The Effect of Visual Experience

기술적 요약: 시각 장애인과 비장애인의 의미 기억 탐색에서의 엔트로피

문제 및 동기
본 논문은 의미 기억의 표상에 관한 인지 신경과학의 핵심적인 논쟁, 즉 지식이 감각운동 체계에 근거하는지(체화된 설명) 아니면 비감각적 언어 네트워크에 존재하는지(비체화된 설명)에 대한 문제를 다룹니다. 선천적 시각 장애인은 견고한 언어 능력을 보여주며 이는 시각적 경험이 의미 표상을 위해 반드시 필수적인 것은 아님을 시사하지만, 시각적 입력의 부재가 의미 지식의 조직화와 역동적 인출에 어느 정도 영향을 미치는지에 대해서는 여전히 불분명합니다. 기존 연구들은 시각 장애인이 언어적 및 맥락적 규칙성에 더 의존하여 구체적 개념과 추상적 개념 사이의 통상적인 구분을 압축할 가능성이 있다고 지적해 왔습니다. 본 연구는 정적인 측정치(예: 특징 개수, 반응 시간)가 의미 기억이 어떻게 탐색되는지에 대한 시간적 역동성을 포착하는 데 한계가 있다는 점에 주목하며, 시각적 경험이 구체적 개념 대 추상적 개념의 속성 인출에 대한 예측 가능성에 어떻게 영향을 미치는지 조사합니다.

연구 방법론
본 연구는 연령, 교육 수준, 사회문화적 배경이 매칭된 48명의 이탈리아어 원어민(선천적 시각 장애인 22명, 비장애인 26명)으로 구성된 "BLIND" 데이터셋(Lenci et al., 2013)의 이차 분석을 활용하였습니다. 참가자들은 50개의 명사 개념(구체적 범주: 새, 포유류, 과일, 채소; 추상적 범주: 감정, 이상)에 대해 1분 동안 구두로 그 의미를 기술하는 속성 나열 과제를 수행했습니다.

정적인 특징 분석을 넘어, 저자들은 자연어 처리(NLP) 기법을 사용하여 의미 기억의 탐색을 고차원 의미 공간 내의 궤적으로 모델링하였습니다:

1. 임베딩 구축: 트랜스포머 기반의 다국어 임베딩 모델(Google Gemini Embedding)을 사용하여 생성된 속성들의 시퀀스를 매핑하였습니다. 결정적으로, 각 단계는 현재 생성된 속성과 해당 개념을 위해 이전에 생성된 모든 속성을 결합한 의미적 내용을 나타내도록 누적적($x_t = E(w_1, \dots, w_t)$)으로 임베딩을 구축하였습니다.
2. 의미 엔트로피 계산: 연구진은 의미적 탐색 궤적의 예측 불가능성을 정량화하기 위해 "의미 엔트로피"를 계산하였습니다.
   • 연속적인 누적 임베딩 간의 코사인 거리를 계산하여 의미적 "도약(jump)"을 측정하였습니다.
   • 이러한 거리들을 궤적 내 중앙값(median)을 기준으로 이진화하여 "높은 도약" 대 "낮은 도약" 단계로 구성된 이진 시계열을 생성하였습니다.
   • 이 이진 시퀀스에 대해 섀넌 엔트로피(Shannon entropy)를 계산하였습니다. 높은 엔트로피는 더 가변적이고 예측 불가능한 의미적 탐색을 나타내며, 낮은 엔로피는 제약되고 규칙적인 궤적을 나타냅니다.
3. 통계 분석: 참가자 및 개념의 변동성을 통제하기 위해 감마 분포(Gamma distribution)를 사용한 일반화 선형 혼합 모델(GLMM)을 사용하여 그룹 간 차이(시각 장애인 vs 비장애인)를 평가하였습니다.

주요 결과
분석 결과, 두 그룹 간에 엔트로피 프로파일의 차이를 특징으로 하는 뚜렷한 탐색 패턴이 드러났습니다:

• 그룹-범주 상호작용: 비장애인은 구체적 개념에 비해 추상적 개념(특히 감정)에서 유의미하게 높은 엔트로피를 보였습니다. 이는 추상적 개념을 인출하는 것이 더 가변적이고 예측 불가능한 의미적 탐색을 수반함을 시사합니다. 반면, 시각 장애인은 이러한 명확한 구분을 보이지 않았으며, 이들의 엔트로피 수준은 범주 전반에 걸쳐 더 균일했습니다.
• 구체적 개념의 역전 현상: 주목할 점은, 시각적으로 돌출된 특정 구체적 개념(예: 펭귄)에 대해 시각 장애인이 추상적 개념보다 더 높은 엔트로피를 보였다는 것이며, 이는 비장애인 그룹에서는 관찰되지 않은 패턴입니다.
• 차별화의 세밀도:
  • 비장애인 그룹: 개념 수준에서 광범위하고 체계적인 차별화를 보였습니다. 질투나 걱정과 같은 추상적 개념은 광범위한 구체적 항목들보다 일관되게 높은 엔트로피를 나타냈습니다.
  • 시각 장애인 그룹: 더 "평탄한(flatter)" 엔트로피 프로파일을 보였으며 유의미한 구분이 적었습니다. 차이는 글로벌한 추상-구체 분리보다는 특정 범주 내의 비교(예: 동물 개념들 사이)에 국한되어 나타나는 경우가 많았습니다. 쾌활함이 일부 구체적 항목보다 높은 엔트로피를 보였으나, 다른 추상적 개념들은 특정 구체적 항목(예: 펭귄)보다 낮은 엔트로피를 보이기도 했습니다.

핵심 기여

1. 의미 기억의 역동적 지표: 본 논문은 임베딩 기반의 의미 엔트로피 지표를 도입하고 검증하여, 의미 인출의 단계별 세밀함을 정량화함으로써 기존의 클러스터링이나 전환 지표에 대한 보다 역동적인 대안을 제시하였습니다.
2. 의미 공간의 재구성: 연구 결과는 시각 장애인이 일관된 의미 지식을 보유하고 있음에도 불구하고, 그들의 내부 의미 기하학이 비장애인과 다르다는 것을 입증합니다. 시각적 경험의 부재는 구체적 개념의 탐색 역동성에 대한 추상적 개념과의 대비를 감소시키는 것으로 보입니다.
3. 시각적 경험의 역할: 본 연구는 시각적 경험이 의미 표상을 형성하는 데 필수적인 요소는 아니지만(시각 장애인도 성공적으로 의미 공간을 탐색하므로), 특히 시각적 지각에 근거하는 개념들에 대한 의미적 탐색의 조직화와 예측 가능성을 형성하는 데 결정적인 역할을 한다는 증거를 제공합니다.

의의 및 주장
저자들은 자신들의 결과가 의미적 역량의 보존(시각 장애에서의 유지)과 선택적 표상 차이의 존재라는 두 가지 상충하는 문헌의 흐름을 화해시킨다고 주장합니다. 본 연구는 시각 장애인과 비장애인이 광범하게 유사한 의미 공간을 공유하지만, 이를 통과(traverse)하는 방식은 서로 다르다고 주장합니다.

논문은 감각운동 체계가 의미 표상의 형성에 엄격히 필수적인 것은 아니지만, 지식에 접근하는 방식을 구조화하는 데 기능적 역할을 한다고 상정합니다. 비장애인의 경우, 시각적 접지(visual grounding)가 구체적 개념에 대한 탐색을 제약하여 낮은 엔트로피를 유도하는 반면, 추상적 개념은 더 탐색적이고 맥락 의존적인 탐색(높은 엔트로피)을 요구합니다. 시각 장애인의 경우, 모든 개념(구체적 개념 포함)에 대해 언어적 및 맥락적 경로에 의존하기 때문에, 추상적 개념과 구체적 개념의 인출 역동성이 더 유사해지는 압축된 의미 경관을 형성하게 됩니다.

저자들은 이러한 발견이, 시각적 경험이 의미적 존재 자체에는 필수적이지 않으나 그 역동성에는 영향을 미친다는 정교한 체화된 인지(embodied cognition) 관점을 지지한다고 결론짓습니다. 이는 시각적 부재 시 실패를 예측하는 강한 체화된 설명(strong embodied accounts)과, 감각 이력에 관계없이 동일한 역동성을 예측하는 엄격한 비감각적 설명(strict amodal accounts) 모두에 도전하는 결과입니다.