Characterizing Human Semantic Navigation in Concept Production as Trajectories in Embedding Space

1. 문제 정의 (Problem)

기존의 의미적 탐색 (Semantic Navigation) 연구는 주로 '클러스터링 (Clustering, 같은 범주 내 항목 생성)'과 '스위칭 (Switching, 범주 변경)'이라는 이분법적 접근에 의존해 왔습니다. 그러나 인간의 의미 기억 검색은 단순한 이진 분류를 넘어, 맥락에 의존적이고 누적적인 (cumulative) 동적 과정입니다.

• 한계점: 기존 연구는 수동적인 언어 전처리 (labor-intensive preprocessing) 에 의존하여 연구 간 비교가 어렵고, 의미 공간에서의 검색 과정을 연속적이고 미세한 단계 (step-by-step) 로 분석하는 데 한계가 있었습니다.
• 목표: 인간의 개념 생성 과정을 임베딩 공간 (Embedding Space) 을 통한 '궤적 (Trajectory)'으로 모델링하여, 검색 과정의 기하학적 및 역학적 특성을 정량화하는 프레임워크를 제시하는 것.

2. 방법론 (Methodology)

2.1 데이터셋

다양한 언어와 과제를 포함한 4 개의 공개 데이터셋을 활용했습니다:

1. 신경퇴행성 (Neurodegenerative): 파킨슨병 (PD), 행동형 전두측두엽치매 (bvFTD), 건강한 대조군 (HC) 의 스페인어 속성 나열 과제.
2. 비속어 유창성 (Swear Fluency): 영어 화자들의 비속어 및 일반 유창성 과제.
3. 이탈리아어 및 독일어 데이터셋: 10 가지 범주 (동물, 신체 부위 등) 에 대한 속성 나열 과제.

2.2 핵심 프레임워크: 누적 임베딩 궤적 (Cumulative Embedding Trajectories)

기존의 개별 단어 임베딩과 달리, 누적 (Cumulative) 방식을 채택했습니다.

• 구현: $t$번째 항목 $x_t$는 이전 모든 항목 ($1$부터$t$까지) 의 맥락을 포함하는 임베딩 벡터로 매핑됩니다. (예: "cat", "dog" 순서라면 $x_2$는 "cat dog"의 의미를 인코딩).
• 모델: OpenAI text-embedding-3-large를 주력으로 사용하며, Google text-embedding-004, Qwen3, fastText 등 다양한 모델을 비교 검증했습니다.

2.3 측정 지표 (Metrics)

물리학의 운동학 (Kinematics) 개념에서 영감을 받아 5 가지 지표를 추출하여 의미 탐색의 동역학을 정량화했습니다:

1. Distance to Next (다음 항목까지의 거리): 연속된 임베딩 간의 코사인 거리. 의미적 '점프 (Semantic Jump)'의 크기를 측정.
2. Entropy (엔트로피): 거리 변화의 예측 불가능성 (불규칙성) 을 측정. Shannon 엔트로피를 이진화하여 계산.
3. Velocity (속도): 연속된 임베딩 벡터의 차이 (방향과 크기). 의미적 이동의 빠르기와 방향성을 나타냄.
4. Acceleration (가속도): 속도 벡터의 변화율. 의미 탐색 방향이나 속도의 급격한 변화를 측정 (예: 안정적인 클러스터링 vs 불안정한 스위칭).
5. Distance to Centroid (중심까지의 거리): 생성된 모든 항목의 임베딩 평균 (중심) 과 개별 항목 간의 거리. 탐색이 전체 의미 공간의 중심에 집중되어 있는지, 아니면 분산되어 있는지를 측정.

2.4 통계 분석

일반화 선형 혼합 모델 (GLMM) 을 사용하여 그룹 (환자 vs 대조군) 과 개념 (범주) 간의 효과를 분석했습니다.

3. 주요 결과 (Key Results)

3.1 신경퇴행성 질환 그룹 (Clinical Groups)

• 결과: 건강한 대조군 (HC) 에 비해 PD 와 bvFTD 환자는 Distance to Next, Velocity, Acceleration, Entropy가 유의하게 높았습니다.
• 해석: 환자의 의미 탐색은 더 불규칙하고 예측 불가능하며, 방향이 자주 바뀐다는 것을 의미합니다 (실행 기능 저하로 인한 불안정한 탐색).
• 중심 거리: 흥미롭게도 환자들의 Distance to Centroid는 대조군보다 작았습니다. 이는 환자의 의미 공간이 좁아져 (Semantic Space Constriction) 중심 의미에 더 가깝게 제한적으로 탐색함을 시사합니다.

3.2 비속어 유창성 (Swear Fluency)

• 결과: 비속어 범주는 동물이나 알파벳 범주에 비해 가장 큰 Velocity, Acceleration, Entropy를 보였습니다.
• 해석: 비속어는 구조화된 하위 범주가 없어 탐색이 더 불규칙하고 역동적이며, 동시에 의미 공간 내에서 매우 밀집된 (작은 중심 거리) 영역에 위치함을 발견했습니다.

3.3 언어 및 모델 비교 (Cross-lingual & Model Comparison)

• 모델 일관성: OpenAI, Google, Qwen 등 서로 다른 아키텍처와 학습 파이프라인을 가진 3 개의 임베딩 모델에서 Velocity, Acceleration, Entropy와 같은 국소적 궤적 지표들은 높은 상관관계를 보였습니다. 이는 발견된 동역학이 특정 모델의 인공물이 아님을 입증합니다.
• 누적 vs 비누적: 긴 궤적 (신경퇴행성, 비속어) 은 누적 임베딩이 더 효과적이었으나, 짧은 궤적 (이탈리아어, 독일어 속성 나열) 은 비누적 (Non-cumulative) 방식이 더 좋은 성능을 보였습니다.

4. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 제시: 인간의 의미 검색을 '임베딩 공간 내의 궤적'으로 재정의하고, 물리학적 운동학 지표 (속도, 가속도 등) 를 적용하여 정량화하는 새로운 방법론을 제안했습니다.
2. 자동화 및 확장성: 수동적인 언어 처리 없이 NLP 임베딩을 기반으로 임상 그룹과 개념 유형을 자동으로 구분할 수 있는 확장 가능한 파이프라인을 구축했습니다.
3. 임상 및 인지 과학적 통찰: 신경퇴행성 질환 환자의 인지 저하를 '불규칙한 궤적'과 '좁은 의미 공간'으로 설명하며, 비속어 처리의 독특한 역학적 특성을 규명했습니다.
4. 모델 불변성 (Model Robustness): 서로 다른 Transformer 기반 임베딩 모델들이 인간의 의미 탐색 동역학에 대해 일관된 패턴을 포착함을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 인지 모델링 (Cognitive Modeling) 과 학습된 표현 (Learned Representations) 을 연결하는 가교 역할을 합니다.

• 임상 응용: 뇌 질환 (파킨슨병, 치매 등) 의 초기 진단 및 분류를 위한 객관적인 생체 지표 (Biomarker) 로 활용 가능.
• 인공지능 평가: 인간과 대규모 언어 모델 (LLM) 이 의미 공간을 탐색하는 방식을 비교하여, AI 의 인지 능력을 평가하는 새로운 기준을 마련.
• 다국어 분석: 언어적, 문화적 차이를 넘어선 보편적인 의미 탐색 구조를 분석할 수 있는 도구를 제공.

결론적으로, 이 논문은 인간의 의미적 사고 과정을 단순한 텍스트 분석을 넘어, 기하학적 궤적과 역학적 운동으로 해석함으로써, 인지 과학과 자연어 처리 (NLP) 의 융합을 위한 강력한 방법론적 기반을 제시했습니다.