Psychological Imagination Networks Show Cross-Population Centrality and Clustering Alignment in Humans That Large Language Models Fail to Replicate

기술 요약: 인간과 대규모 언어 모델(LLM)의 상상력 생생함 네트워크 분석

문제 제기
정신적 이미지의 생생함(vividness)은 재현 가능한 잠재 요인 구조를 가진 안정적인 개인적 특성으로 확립되어 있으나, 상상된 시나리오 간의 관계적 구조(relational architecture)는 아직 탐구되지 않았다. 구체적으로, 다양한 인간 집단 사이에서 서로 다른 시나리오(예: 시각적 장면 또는 감각 양식)에 대한 생생함 평점 간의 공변 구조(covariation structure)가 일관된 네트워크 토폴로지를 형성하는지는 알려져 있지 않다. 또한, 공유된 경험이 아닌 오직 언어적 학습을 통해서만 지식을 습득하는 대규모 언어 모델(LLM)이 인간 상상력 네트워크의 중심성(centrality)과 커뮤니티 구조(community structure)를 재현할 수 있는지도 미지수이다. 핵심 질문은 LLized 모델이 공유된 기억 조직화로부터 발생하는 상상력의 "관계적 구조"를 재현할 수 있는지, 아니면 단순히 기저의 구조적 일관성 없이 그럴듯한 언어적 평점만을 생성하는 것인지에 관한 것이다.

연구 방법론
본 연구는 두 가지 검증된 도구를 사용하여 생생함 평점의 부분 상관 구조(partial correlation structure)를 매핑하기 위해 심리학적 네트워크 분석을 채택하였다:

1. VVIQ-2 (Vividness of Visual Imagery Questionnaire): 8가지 환경적 장면 맥락에 걸친 32개 항목.
2. PSIQ (Plymouth Sensory Imagery Questionnaire): 7가지 감각 양식에 걸친 21개 항목.

인간 데이터:

• 표본: 지리적 및 언어적으로 구별되는 집단: 플로리다(미국, N=541), 폴란드(N=1,651), 런던(영국, N=217).
• 분석: 네트워크는 Spearman 상관관관계를 사용한 EBICglasso 방법을 통해 정규화된 부분 상관 그래프로 구축되었다. 노드 중심성(기대 영향력, 강도, 근접성, 매개 중심성)과 커뮤니티 구조(walktrap 알고리즘 활용)를 분석하였다.

LLM 데이터:

• 모델: 6가지 변형 모델을 테스트하였다: Gemma3-12B, Gemma3-27B, 이들의 양자화 인식 훈련(QAT) 대응 모델, Llama3.3-70B, Llama4-16x17B (272B 파라미터).
• 시뮬레이션: 각 모델은 200개의 합성 페르소나와 5가지 상상 능력 조건(무상상증부터 초상상증까지)을 교차하여 1,000회의 시뮬레이션을 생성하였다.
• 조건: 두 가지 대화 모드를 테스트하였다:
  • 독립적(Independent): 이전 응답에 대한 접근 없이 항목을 평가함.
  • 누적적(Cumulative): 대화 기록을 유지하며 항목을 평가함 (일화적 기억을 시뮬레이션).
• 집단 매칭: LLM 시뮬레이션은 전체 생생함 점수 분포를 인간 집단과 일치시키기 위해 모델당 N=600으로 다운샘플링되었으며, 이를 통해 차이가 전체 능력 수준이 아닌 표상 조직(representational organization)에서 기인하도록 보장하였다.

주요 결과

1. 인간 네트워크의 일관성:

   • 중심성: 인간 네트워크는 국소적 중심성 측정치에 대해 강력한 교차 집단 정렬을 보였다. 기대 영향력과 강도의 상관관계는 서로 다른 표본(플로리다, 폴란드, 런던) 간에 $r = 0.31$에서 $0.93$ 사이였다. 근접 중심성 또한 유의미한 정렬을 보였다.
   • 클러스터링: 커뮤니티 탐지는 설문지 구조와 일치하는 클러스터를 복구하였다. PSIQ 네트워크는 감각 양식과 거의 완벽하게 일치하였다 (Adjusted Rand Index, ARI = 0.87–1.0). VVIQ-2 네트워크는 장면 맥락과 중간 정도의 일치도를 보였다 (ARI = 0.27–0.40).
   • 불안정성: 매개 중심성은 모든 집단에서 불안정하였으며 ($r \approx 0.08$), 이는 개인의 경험적 이력에 대한 민감성과 일치한다.

2. LLM의 재현 실패:

   • 중심성: LLM 네트워크는 인간의 구조를 재현하는 데 실패하였다. LLM-인간 중심성 상관관계는 약했으며, 보정 후 대부분 유의미하지 않았다 (VVIQ-2의 중앙값 $r = 0.13$, PSIQ의 경우 $r = 0.09$).
   • 클러스터링: 대부분의 LLM 설정은 퇴행적인 단일 클러스터 토폴로지를 생성하였다 (중앙값 ARI = 0). 누적적 대화 기억을 사용하더라도 LLM은 인간에게서 보이는 클러스터링 정렬을 달성하지 못했다.
   • 강건성: 이러한 실패는 모델 아키텍처, 파라미터 규모(12B에서 272B까지), 대화 조건 전반에 걸쳐 지속되었다.

주요 기여

• 상상력의 네트워크 계량심리학: 본 연구는 상상력을 아이템 수준의 공변이 공유된 기억 조직화를 반영하는 네트워크로 모델링할 수 있음을 입증하며, 이는 잠재 요인 모델과는 구별된다.
• AI를 위한 정량적 벤치마크: 본 논문은 생성형 AI의 세계 모델을 평가하기 위한 구체적인 임계치를 설정하였다: 최소 교차 집단 중심성 상관관계 $r = 0.31$ 및 최소 VVIQ-2 클러스터링 정렬 $ARI = 0.27$.
• 표상 vs 언어의 구별: 연구 결과는 그럴듯한 생생함 언어를 생성하는 능력과, 그 언어를 체화된 기억의 관계적 구조에 따라 조직하는 능력을 구분한다.

의의 및 주장
저자들은 관찰된 인간 네트워크 구조가 체화된 경험을 통해 축적된 기억 조직을 반영한다고 주장한다. 이는 언어적 학습만으로는 재현할 수 없는 표상 구조이다.

• 인지 과학: 교차 집단 재현은 인간의 정신적 시뮬레이션 중 "렌더링(rendering)" 구성 요소(이미지의 현상학적 세부 사항)가 공유된 환경 및 감각적 규칙성에 의해 조직되며, 이는 인간의 "물리 엔진(시뮬레이션)"을 "그래픽 엔진(렌더링)"과 결합시킨다는 견해를 뒷받침한다.
• AI 연구: 결과는 현재의 LLM이 규모나 대화 기억에 관계없이 인간 상상력의 특정한 구조적 조직이 결여되어 있음을 시사한다. 이러한 실패는 일반적인 의미론적 표상의 문제가 아니라 현상학적으로 근거한 지식 조직화의 문제이며, LLM이 언어 통계로부터 인간 유사성을 근사할 수 있는 작업(예: 색상 유사성)에는 성공하지만 일화적 기억의 관계적 구조를 요구하는 작업에서는 실패한다는 점에서 그러하다.
• 향후 방향: 본 논문은 그럴듯한 생생함 언어를 생성하는 것과 이를 인간의 기억 구조에 따라 조직하는 것이 분리 가능한 능력이라고 결론짓는다. 향-후 연구는 더 풍부한 감각운동적 접지(sensorimotor grounding)가 이 격차를 메울 수 있는지 확인하기 위해 다중 모달 아키텍처를 테스트해야 한다.

본 연구는 인간 표본이 서구적이고 교육받은 집단이라는 점을 고려하여 범위를 겸손하게 제한하며, 네트워크 구조가 현상학적 조직을 반영하는지 아니면 척도 사용(scale-use)의 차이인지를 확인하기 위해 fMRI와 같은 객적 측정이 필요함을 명시한다. 또한 LLM의 실패는 단순한 정도의 차이가 아니라 표상 조직의 질적 차이임을 명확히 밝힌다.