Bridging the Language Gap in Scholarly Data I: Enhancing Author Disambiguation Algorithms for Chinese Names

논문 요약: 중국어 저자 이름의 모호성 해소를 위한 알고리즘 고도화

1. 문제 정의 (Problem)

학술 데이터 분석에서 동일한 이름을 가진 저자를 구분하는 '저자 이름 모호성 해소 (Author Name Disambiguation)'는 정확한 저자 attribution 과 대규모 과학계량학 연구의 핵심 요소입니다. 그러나 중국어 이름은 다음과 같은 고유한 특성으로 인해 기존 서구권 중심의 알고리즘이 적용하기 어렵습니다.

• 로마자화 (Pinyin) 의 모호성: 국제 학술 데이터베이스에서는 중국어 이름이 병음 (Pinyin) 으로 표기됩니다 (예: "Wang Wei"). 이는 하나의 병음에 여러 개의 한자 (王伟, 王威, 王维 등) 가 대응될 수 있어 심각한 모호성을 초래합니다.
• 이름 구조의 한계: 중국어 성씨는 매우 집중되어 있어 (상위 100 개 성씨가 인구의 87% 차지) 이름 충돌 확률이 높으며, 서양식 중간 이름이나 이니셜이 없어 구별이 어렵습니다.
• 데이터 가용성: 국제 기록에는 중국어 원문 (한자) 이 거의 포함되지 않아, 병음만으로는 저자를 정확히 식별하기 어렵습니다.
• 기존 방법의 한계: 기존 연구들은 주로 지도학습이나 반지도학습을 사용하거나, 협력 네트워크와 소속 기관 등 구조적 정보에만 의존하여, 콘텐츠의 의미적 유사성을 활용하지 못하거나 중국어/병음 데이터에 대한 체계적인 평가가 부족했습니다.

2. 방법론 (Methodology)

저자는 규칙 기반 (Rule-based) 의 새로운 모호성 해소 프레임워크를 제안했습니다. 이 방법은 기존 연구 (Sinatra et al., Waqas & Qadir) 를 확장하여 네 가지 기준을 통합적으로 활용합니다.

• 데이터셋 구성:

  • 중국 국가지식인프라 (CNKI) 의 물리학 저널 20 개, 1953 년~2024 년간 발행된 65,241 편의 논문을 수집했습니다.
  • 이중 언어 데이터셋: 원본 중국어 데이터 (한자 이름, 중국어 초록) 와 이를 병음으로 변환하고 초록을 영어로 번역한 데이터셋을 병렬로 구성하여 언어 표현의 영향을 비교 분석했습니다.
  • Ground Truth: 80 개의 이름 쌍 (동일 저자 40, 서로 다른 저자 40) 에 대해 전문가가 수동으로 라벨링한 검증 데이터를 구축했습니다.

• 알고리즘 프로세스:
  동일한 이름 (Distinct names) 을 가진 저자 쌍에 대해 다음 4 가지 조건 중 하나라도 만족하면 동일한 개인 (Same identity) 으로 판정합니다.

  1. 공동 저자 (Co-authorship): 최소 한 명의 공동 저자가 공유되는지 확인.
  2. 소속 기관 (Affiliation): 소속 기관 문자열의 정규화된 Levenshtein 유사도 (0.6 이상) 또는 포함 관계를 확인.
  3. 콘텐츠 유사성 (Content Similarity): 논문 제목, 초록, 키워드를 기반으로 Word2Vec 을 사용하여 문서 벡터를 생성하고, 코사인 유사도를 계산. (중국어: 0.9207 이상, 영어: 0.9621 이상으로 언어별 임계값 적용)
  4. 인용 관계 (Citation): 한 저자가 다른 저자의 논문을 인용했는지 확인 (자기 인용 신호).

• 임계값 최적화: 중국어와 영어 코퍼스의 임베딩 공간 분포가 다르므로, 두 언어 간 일관성을 최대화하도록 그리드 서치 (Grid Search) 를 통해 각각의 최적 임계값을 도출했습니다.

3. 주요 기여 (Key Contributions)

1. 콘텐츠 유사성 통합: 기존 사회/제도적 관계 (공동 저자, 소속, 인용) 기반 방법론에 콘텐츠 의미적 유사성을 추가하여 재현율 (Recall) 을 향상시켰습니다.
2. 스크립트 무관성 (Script-agnostic) 검증: 동일한 코퍼스를 한자와 병음 (영어 번역본) 두 가지 형태로 처리하여, 로마자화 (Transliteration) 로 인한 이름 모호성이 증가하더라도 알고리즘의 정확도가 유지됨을 입증했습니다.
3. 데이터 및 코드 공개: 65,241 편의 이중 언어 메타데이터가 포함된 CNKI 물리학 논문 데이터셋과 모든 분석 코드를 공개하여 재현성과 투명성을 높였습니다.

4. 결과 (Results)

• 성능 지표: 인간이 라벨링한 80 개의 테스트 세트를 기준으로 평가했습니다.
  • F1-Score: 중국어 (한자) 기준 0.89, 병음 (영어) 기준 0.88을 기록하여 두 가지 기준 (Sinatra et al., Waqas & Qadir) 보다 우수한 성능을 보였습니다.
  • 정밀도 (Precision): 중국어 데이터에서 1.0 (완벽), 영어 데이터에서 0.953 으로 매우 높게 유지되어, 서로 다른 저자를 잘못 통합하는 오류 (False Positive) 가 거의 발생하지 않았습니다.
  • 재현율 (Recall): 기존 방법들보다 높은 재현율 (중국어 0.80, 영어 0.82) 을 달성하여, 기존 알고리즘이 놓친 동일한 저자 쌍을 성공적으로 식별했습니다. 이는 콘텐츠 유사성 기준이 협력 네트워크가 없는 경우에도 저자를 연결하는 데 효과적임을 의미합니다.
• 언어 간 일관성: 중국어 신원 (Identity) 과 병음 신원 간의 일치도는 **87.3%**로, 두 표현 방식에서 거의 동일한 저자 그룹핑이 이루어짐을 보여주었습니다.

5. 의의 및 중요성 (Significance)

• 과학계량학의 공정성 향상: 중국어 저자들의 연구 성과가 이름 모호성으로 인해 과소평가되거나 (분산) 과대평가되는 (통합) 문제를 해결하여, 글로벌 학술 평가 시스템의 공정성을 높입니다.
• 비서구권 이름 처리의 패러다임 전환: 한자뿐만 아니라 한국어, 일본어, 베트남어 등 다른 비로마자 체계 이름 처리에도 적용 가능한 확장 가능한 프레임워크를 제시합니다.
• 실용적 적용 가능성: 학습 데이터가 필요 없는 규칙 기반 접근법으로, 새로운 도메인이나 데이터베이스에 즉시 적용 가능하며, ORCID 와 같은 식별자 시스템이 보편화되기 전까지 저자 식별의 핵심 솔루션으로 작용할 수 있습니다.

이 연구는 언어 장벽을 넘어 학술 데이터의 정확한 저자 식별을 가능하게 함으로써, 대규모 과학계량학 분석의 신뢰성을 크게 향상시켰다는 점에서 의의가 있습니다.