Is it out-of-the-box? A geometric approach to measuring creative thinking in semantic space

기술 요약: 상자 밖인가? 의미 공간에서의 창의적 사고 측정을 위한 기하학적 접근법

문제 정의
"상자 밖에서 생각하기(thinking outside the box)"라는 은유는 창의적 추론을 설명할 때 보편적으로 사용되지만, 정작 그 "상자" 자체는 계산적 프레임워크 내에서 조작적 정의가 결여되어 있다. 개념적 경계에 대한 측정 가능한 표현이 없다면, 특정 아이디어가 기존 영역으로부터 어떻게 이탈하는지를 특징짓기 어렵다. 과학 텍스트의 참신성(novelty)을 평가하는 기존의 계산적 접근 방식들은 주로 확률적 모델링(예: 언어 모델의 놀라움도/surprisal)이나 임베딩 기반 유사성에 의존한다. 이러한 방법들은 예측 불가능성이나 의미적 거리를 포착할 수는 있지만, 문서의 개념적 공간이 갖는 구체적인 '범위'나 해당 문서가 역사적 개념 경계로부터 얼마나 멀리 떨어져 있는지에 대한 명시적이고 해석 가능한 개념을 제공하지는 못한다.

방법론
저자들은 "상자"를 공유된 잠재 의미 공간(latent semantic space) 내의 기하학적 영역으로 공식화하는 계산적 프레로임을 제안한다. 방법론은 다음 단계로 진행된다:

1. 의미 공간 구축:

   • 본 연구는 문맥 의존적 임베딩이 유발하는 가변성을 피하기 위해, 모든 문서에 대해 안정적이고 공유된 좌표계를 보장하는 **잠재 의미 분석(LSA)**을 채택한다.
   • 코퍼스로부터 TF-IDF 행렬을 구축한 후, **절단 특이값 분해(Truncated SVD)**를 통해 저차원 잠재 공간을 생성한다.
   • 문서는 이 고정된 $k$-차원 공간 내의 단어 임베딩들의 유한한 집합으로 표현된다.

2. 기하학적 상자 모델링:

   • 문서 상자: 주어진 문서 $d$에 대하여, 고유한 단어 임베딩의 집합 $E_d$는 기하학적 영역을 정의한다. 이 영역의 크기는 **축 정렬 바운딩 박스(axis-aligned bounding box)**에 의해 정량화된다.
   • 부피 측정: 개념적 영역의 크기는 축 정렬 너비($\Delta_j$)의 로그값들의 합과 수치적 안정성을 위한 작은 상수 $\epsilon$을 더하여 정의되는 로그 부피($\log BLV_{doc}$)로 계산된다. 이 지표는 텍스트의 길이가 개념적 범위와 독립적이라고 가정하지 않으므로, 길이에 따른 정규화를 수행하지 않고 문서의 의미적 분산(semantic dispersion)을 포착한다.

3. 참조 "상자" 구축:

   • 편차를 측정하기 위해, 특정 주제에 대한 확립된 경계를 나타내는 참조 "상자"를 구축한다.
   • 코퍼스를 학습 세트(2015–2017)와 평가 세트(2018–2020)로 분할한다.
   • 학습 세트에 **잠재 디리클레 할당(LDA)**을 적용하여 주제(topic)를 식별한다. 각 주제에 대해 관련성 점수에 따라 어휘를 선택하고, 이들 단어의 임베딩을 사용하여 주제 수준의 상자를 구축한다.

4. 지표 정의:

   • 핵심 지표는 주제 정규화 기하학적 편차($\Delta BLV$)이다:
     $$\Delta BLV(d) = \log BLV_{doc}(d) - \log BLV_{topic}(DT(d))$$
   • 이 값은 문서가 지배적인 주제의 역사적으로 관찰된 개념적 경계를 얼마나 벗어나는지를 추정한다. 양수 값은 기하학적 확장을, 음수 값은 국한됨을 나타낸다.

5. 검증:

   • 제안된 기하학적 편차를 동일한 도메인 데이터에 미세 조정된 GPT-2 언어 모델의 음의 로그 가능도(NLL)로부터 도출된 놀라움도 기반 참신성 척도와 비교한다.
   • 다양한 LDA 주제 수($K$) 및 토큰 임계값($N$)에 걸쳐 $\Delta BLV$와 토큰 레벨 손실(특히 상위 $N$개의 높은 손실을 가진 토큰) 사이의 상관관계를 계산한다.

주요 결과

• 놀라움도와의 상관관계: 본 연구는 공학(ENGI) 및 신경과학(NEUR) 도메인 모두에서 기하학적 편차($\Delta BLV$)와 놀라움도 기반 참신성 척도(NLL) 사이에 일관된 양의 관계가 있음을 발견했다.
• 통계적 유의성: 다양한 주제 상자 수($K$)와 토큰 임계값($N$)에서 관찰된 모든 개별 상관관계는 통계적으로 유의미하다 ($p < 10^{-3}$).
• 구별되는 신호: 두 지표는 서로 상관되어 있으나, 기하학적 편차와 확률적 놀라움도가 서로 관련되어 있으면서도 구별되는 측면을 포착한다는 점을 시사한다. 기하학적 접근 방식은 문서의 개념적 영역이 갖는 구조적 범위를 측정하는 반면, 놀라움도는 학습된 토큰 분포로부터의 이탈을 측정한다.

의의 및 주장
본 논문은 창의성의 결정적이고 완전한 척도를 제공한다고 주장하는 것이 아니라, 해석 가능한 구조적 신호로서의 개념적 확장을 제공하는 도구로서 이 프레임워크를 위치시킨다.

• 해석 가능성: "블랙박스" 형태의 확률적 점수와 달리, 기하학적 접근 방식은 문서의 의미적 내용이 역사적 규범에 비해 잠재 공간 내에서 얼마나 넓은 영역을 차지하는지를 투명하게 시각화하여 보여준다.
• 교육적 응용: 저자들은 이 프레임워크가 특히 **발명 설계 교육(inventive design education)**에 유용하다고 제안한다. 이는 학생들이 익숙한 해결 패턴(상자 내부의 국한)을 넘어 더 넓은 개념적 공간(상자 외부로의 확장)으로 이동하는 시점을 식별함으로써, 탐구적 사고의 발달 과정을 추적하는 데 도움을 줄 수 있다.
• 한계점: 저자들은 학습 어휘에 존재하지 않는 진정으로 새로운 단어들에 의한 과소평가 가능성, 축 정렬 상자를 통한 의미적 기하학의 단순화, 그리고 의미 있는 확장과 무의미한 의미적 분산을 구분하지 못할 가능성 등의 한계를 명시적으로 인정한다.

요약하자면, 본 연구는 참신성을 공유된 의미 공간 내에서의 기하학적 확장으로 모델링함으로써, 텍스트가 확립된 개념적 경계로부터 얼마나 멀어지는지를 정량화할 수 있는 다루기 쉬운 방법을 제공하여 계산적 창의성에 대한 보완적인 관점을 기여한다.