기술 요약: LLM 임베딩을 통한 Web of Science 매핑

문제 정의

과학계량학(scientometrics) 분야는 과학을 분류하고 지식 체계를 조직화하는 데 있어 근본적인 도전에 직면해 있다. 전통적인 접근 방식은 인용 그래프에 크게 의존하며, 여기서 관계는 참조(references)와 공동 인용(co-citations)에 의해 정의된다. 이러한 그래프 기반 방법론은 클러스터링에는 효과적이지만, 개별 텍스트의 의미론적 내용을 분석하는 자연어 처리(NLP) 기술과는 구별된다. LLM 임베딩을 사용하여 과학의 텍스트 기반 지도를 만들고 이를 그래프 기반 구조와 비교함으로써, 두 독립적인 방법론을 통합하는 데 상당한 격차가 존재한다: 그래프 이론은 미디어 간의 관계를 추상화하는 반면, NLP는 텍st 자체를 분석한다. 수학적으로 이 접근법들은 서로 호환되지 않는 방법을 사용하며, 이들 사이를 번역하려는 시도는 종종 상당한 정보 손실을 초래한다. 또한, 기존의 분류 체계(Web of Science에서 사용하는 것과 같은)는 하향식(top-down)인 경우가 많으며, 상향식(bottom-up)의 데이터 주도적 접근 방식이 갖는 중립성이 부족하다.

방법론

저자들은 LLM 임베딩을 사용하여 Web of Science(WoS) 데이터셋에 대한 대규모 조사를 제안하며, 이를 통해 과학의 텍스트 기반 지도를 생성한 뒤 이를 그래프 기반 구조와 비교한다.

데이터 준비

• 데이터셋: 본 연구는 약 5,610만 개의 레코드와 거의 9억 8,800만 개의 인용으로 연결된 2024년까지의 Web of Science 컬렉션을 활용한다.
• 샘플링: 48,076개의 레코드가 무작위 서브샘플로 선택되었다(확률 $10^{-3}$). 전처리(발행 연도, 저자, 참조, 저널, 고유 식별자 또는 100자 미만의 초록이 없는 레코드 제거)를 거친 후, 최종 작업 세트는 41,901개의 레코드로 구성되었다.
• 하드웨어: 실험은 NVIDIA Grace Hopper 아키텍처에서 수행되었으나, 저자들은 이 방법들이 일반적인 하드웨어에서도 실행 가능하다는 점을 언급했다.

임베딩 전략

• 모델: ollama 프레임워크를 통해 두 가지 오픈 소스 LLM 임베딩 모델이 사용되었다:
  1. mxbai-embed-large:335m (1024 차원).
  2. nomic-embed-text:v1.5 (768 차원).
• 근거: 과학적 초록(abstracts)이 입력 텍스트로 선택되었는데, 이는 초록이 기술적이고 정형화되어 있으며 동질적이고 관련 키워드를 포함하고 있어, 전체 텍스트에서 발견되는 언어적 복잡성 없이도 LLM 임베딩에 적합하기 때문이다.
• 지표: 정규화된 벡터가 생성되었으며, 거리 측정 방식으로 **코사인 유사도(cosine similarity)**를 사용하였다. 저자들은 결과물인 포인트 클라우드(point cloud)를 $n$-구체(n-sphere) 상에 존재하는 것으로 개념화하였으며, 클러스터링은 이 지구본 위에 "지도를 그리는 것"을 의미한다.

분석 프레 lack

1. 주제 중심점(Subject Centers): 255개의 고유한 WoS 주제에 대한 중심점은 각 주제 내 레코드의 임베딩 벡터의 가중 평균(레코드당 총 주제 수의 역수로 가중치 부여)으로 계산되었다.
2. 거리 상관관계: 임베딩 공간에서의 쌍별 거리(pairwise distances)를 인용 그래프의 최단 경로 거리와 비교하여 양의 상관관계를 테스트하였다.
3. 차원 축소: 차원 전반에 걸친 설명 분산을 평가하기 위해 주성분 분석(PCA)을 수행하였다.
4. 하이브리드 잠재력: "학제 간 연구(interdisciplinary)" 레코드(임베딩 공간에서의 높은 분산, 낮은 그래프 거리)와 "원거리 주제 유사성(distant topic similarity)"(낮은 그래프 거리, 높은 임베딩 근접성) 사이의 상호작용을 조사한다.

주요 결과

임베딩 공간 특성

• 전체 차원성: PCA 분석 결과, 두 임베딩 모델 모두 균질한 텍스트 데이터에도 불구하고 벡터 공간의 모든 차원을 채우는 것으로 나타났다. 저자들은 차원 축소가 세밀함(granularity)의 희생을 수반할 수 있으며, 반드시 유익한 것은 아니라고 결 결론지었다.
• 인용과의 상관관계: 임베딩 공간 거리와 인용 그래프 거리 사이에 양의 상관관계가 관찰되었다.
  • 피어슨 상관 계수(PCC): mxbai-embed-large:335m의 경우 0.455.
  • PCC: nomic-embed-text:v1.5의 경우 0.337.
  • 상관관계는 가까운 쌍일수록 강하며, 먼 쌍일수록 감소한다.

과학의 지도

• 구조적 형성: 임베딩 공간은 자연과학, 사회과학, 인문학이 거대하고 상호 연결된 "구름(clouds)"을 형성하고, 각각의 분과가 하위 클러스터를 형성하는 자기 구조적 경관(self-structured landscape)을 드러낸다.
• 주제 분포: 레코드의 분포는 학제 간 성격에 의해 크게 영향을 받으며 주제별로 다양하게 나타난다.
• 소프트 분류(Soft Classification): 다중 레이블링(레코드가 여러 주제에 속함)과 관찰된 연속적 분포로 인해, 저자들은 과학적 분류가 경직될 수 없다고 주장한다. 대신, 과학적 분류는 이산적 범주가 아닌 여러 주제에 대한 확률 분포를 할당하는 "소프트(soft)"한 방식이어야 한다.

의의 및 주장

본 논문은 분류 문제를 결정적으로 해결했다고 주장하는 것이 아니라, 대규모 과학계량학적 분석을 위해 LLM 임베딩을 사용하는 것의 실행 가능성과 잠재력을 입증하는 데 목적이 있다.

• 상보성: 주요 의의는 텍스트 기반 임베딩과 그래프 기반 방법론이 서로 배타적이지 않으며 결합될 수 있음을 보여준 데 있다. 저자들은 두 방법론이 방법론적으로 다르기 때문에, 각각의 이상치(outliers)는 독립적일 것이라고 주장한다.
• 하이브리드 미래: 본 논문은 임베딩 거리와 그래프 거리를 결합하는 하이브리드 접근 방식이 각 방법론의 단점을 보완할 수 있다고 상정한다. 이러한 결합은 주제 분류 및 데이터셋 클러스터링의 정확도를 향상시킬 것을 약속한다.
• 토대: 이 연구는 텍end의 위치를 의미론적 경관 내에서 예측하고 분류하기 위한 토대로서, 기존의 편향될 수 있는 분류 체계에 대한 "상향식(bottom-up)" 대안을 제공한다.

저자들은 본 연구가 최종적이고 우월한 분류 시스템을 제시하기보다는, 더 높은 정확도를 달age하기 위한 특징 선택(feature selection)을 위해 이 결합된 척도를 구현하는 구체적인 방법을 조사하는 향후 과제를 수행할 것임을 명시적으로 밝히고 있다.