Measuring coverage of cited fields by author publication histories

기술 요약: 저자 출판 이력에 의한 인용 분야의 커버리지 측정

문제 제기
계량서지학 연구는 학문적 다양성, 지식 결합, 문헌의 연령을 특징짓기 위해 빈번하게 참고문헌 목록을 활용한다. 그러나 인용된 문헌과 해당 저작을 생산하는 특정 저자의 출판 이력 사이의 관계에 대해서는 여전히 해결되지 않은 결정적인 구분이 존재한다. 다양한 참고문헌 목록이 한 연구팀의 이전 기록에는 잘 나타나 있을 수 있는 반면, 다른 팀의 기록에는 거의 나타나지 않을 수도 있다. 기존의 전문성 다양성 측정 방식은 저자 프로필 간의 거리나 인용된 포트폴리오의 구성 자체에만 집중하며, 이 둘 사이의 교집합을 정량화하지 못한다. 본 논문은 팀 연구를 이해하기 위해서는 논문의 인용된 참고문헌 분포 중 얼마만큼이 개별 저자의 이력에 나타나 있는지, 그리고 공동 저자의 이력에는 나타나는지, 또한 얼마만큼이 미포함(uncovered) 상태로 남아 있는지를 측정하는 특정한 방법론이 필요하다고 주장한다.

방법론
본 연구는 초점 논문의 인용 분야를 세 가지 구성 요소로 분할하는 **참고문헌 가중치 분해 프레임워크(reference-weighted decomposition framework)**를 도입한다:

1. 최대 개별 커버리지 ($M$): 가장 광범위한 관련 이력을 가진 단일 저자가 커버하는 인용 카테カテゴリ의 점유율.
2. 추가 공동 저자 커버리지 ($D$): $M$이 커버하는 범위를 넘어, 모든 공동 저자의 이력을 결합했을 때 추가적으로 확보되는 증분 점유율.
3. 미포함 잔여분 ($E$): 모든 저자의 관찰된 출판 이력에서 누락된 인용 카테고리의 점유율.

본 프레임워크는 두 가지 관찰 창(window)을 구분한다: 프로젝트 전 관찰 창(프로젝트 시작 5년 전)과 출판 전 관찰 창(초점 논문 시점 5년 전)이다. 이를 통해 순 커버리지 변화($A = E_{pre} - E_{pub}$)를 계산함으로써, 기초적인 미포함 점유율과 그에 따른 이득 또는 손실을 분리할 수 있다.

데이터 및 추론 단계
본 연구는 한국 국가과학기술지식정보서비스(NTIS)의 연구 과제 기록, 한국연구재단(NRF)의 사사(acknowledgments), 그리고 OpenAlex 출판 데이터를 결합한 연결된 데이터셋을 활용한다. 분석은 다음과 같은 3단계 추론 과정을 따른다:

• 발견 단계 (Discovery Stage): 과제와 연결된 115개의 논문.
• 제1 확인 단계 (First Confirmation Stage): 240개의 논문 (탐색적 진단을 위해 총 $N=355$를 풀링함).
• 제2 확인 단계 (Second Confirmation Stage): 832개의 전체 풀에서 선택된 194개의 과제(AI 활용 112개, 비-AI 82개)를 대상으로 하는 전향적으로 고정된 프로토콜 분석.

주요 적용 사례는 AI를 사용하는 것으로 분류된 프로젝트가 비-AI 프로젝트에 비해 더 높은 기초 미포함 점유율($E_{pre}$)을 보이는지 조사하여, 생소한 지식을 도입하는 데 있어 AI의 역할에 대한 가설을 검증하는 것이다.

핵심 기여 및 지표

• 커버리지의 분해: 본 논문은 인용 빈도에 의해 가중치가 부여된 공통 분모 위에서, 인용된 분야를 개별, 집단, 그리고 미포함된 참고문헌 점유율로 분리하는 재현 가능한 방법을 제공한다.
• 인용 강조 분석 (Citation Emphasis Analysis): 논문 내부의 재배치 실험을 통해, 저자의 이력, 다양성, 그리고 필드 총합을 일정하게 유지하면서 인용 횟수만을 순열(permutation)시킨다. 이를 통해 포트폴리오의 구성과는 독립적으로, 인용이 어디에 배치되는지(커버된 분야 vs 미포함된 분야)의 효과를 격리하여 분석한다.
• 친숙도와의 구별: 저자는 $E$가 실제 전문성이나 학습의 부재가 아니라, 색인된 증거의 부재를 측정한다고 명시한다. 이는 인지적 친숙도의 대리 지표가 아니라, 인용과 기록 사이의 교집합에 대한 기술적 회계(descriptive accounting)이다.

결과

• 탐색적 진단:

  • 참고문헌 다양성(Shannon entropy)은 저자 수, 참고문헌 수, 이력의 양을 조정한 후에도 미포함 점유율($E_{pre}$)과 양의 상관관계를 유지한다. 발견 단계에서 모델에 다양성을 추가했을 때 $R^2$는 0.328에서 0.502로 증가했다.
  • 인용 강조: 실제 포트폴리오는 구조적 벤치마크에 비해 미포함 하위 분야에 현저히 적은 가중치를 둔다. 발견 단계에서 관찰된 미포함 점유율은 필드 조건부 재배치 벤치마크보다 8.66 퍼센트 포인트 낮았다 (95% CI: 6.22–11.36). 이러한 차이는 논문의 주요 하위 분야에 속하는 참고문헌을 제외한 후에도 지속되었다.
  • 집계 효과: AI 활용 논문에서 "추가 공동 저자 커버리지"($D$)는 제1 확인 단계에서 논문당 평균 10.89%이지만, 참고문헌 발생 건당으로는 3.45%에 불과하다. 이는 집계 지표가 특정 인용에 대한 공동 저자의 한계 기여도를 어떻게 가릴 수 있는지를 보여준다.

• AI 적용 (가설 검증):

  • 발견 단계: AI 사용과 미포함 점유율 사이에 양의 상관관계가 있음을 시사했다.
  • 제1 확인 단계: 순 커버리지 변화($A$)에 대한 주요 테스트에서 실패하였다.
  • 제2 확인 단계: 초기 결과에 따라 주요 종점(endpoint)을 $E_{pre}$(프로젝트 전 미포함 점유율)로 변경하였다. 상위 필드 조정 시 AI 사용 계수는 0에 가까웠으며(+0.455 포인트, 95% CI: −6.831 to 7.742), 상세 필드 조정 시에도 마찬가지였다(+0.517 포인트, 95% CI: −7.395 to 8.428).
  • AI에 대한 결론: 본 연구는 AI 활용 프로젝트가 더 높은 기초 미포함 점유율($E_{pre}$)을 가진다는 것을 확인하지 못했다. AI 프로젝트는 AI 관련 문헌을 많이 인용하지만, 이 문헌들은 종종 저자의 기존 기록에 이미 나타나 있다.

의의 및 주장
본 논문은 기록된 출판 이력에 대비한 인용 강조의 재현 가능한 설명을 제공한다고 주장한다. 주요 기여는 방법론적이다: 즉, 팀의 과거 작업에 의해 "커버된" 필드와 "미포함된" 필드를 정량화하는 프레임워크를 구축하는 것이다.

저자는 다음과 같이 신중하게 주장을 제한한다:

1. 커버리지 $\neq$ 친숙도: 미포함된 참고문헌은 색인된 이력의 부재를 의미할 뿐, 반드시 실제 전문성이나 학습의 부재를 의미하는 것은 아니다.
2. 인과적 메커니즘 부재: 본 연구는 팀이 왜 미포함된 필드를 인용하는지, 혹은 지식이 어떻게 습득되는지에 대한 인과적 메커니즘을 확립하는 것이 아니라 상관관계와 구조적 대비를 기술한다.
3. 맥락 의존성: 결과는 관찰된 한국 연구 과제의 보수적으로 연결된 인구 집단에 특화된 것이며, 추가적인 검증 없이는 모든 연구 맥락으로 일반화될 수 없다.
4. 해석의 한계: 본 프레임워크는 인용 강조와 기록 사이의 관계를 식별하지만, 미숙련(unfamiliarity)을 확립하지는 않는다. AI 관련성이 확인되지 않은 것은, 해당 샘플 내의 AI 연구가 반드시 저자의 기존 기록 외의 분야에 의존하는 것은 아님을 시사한다.

궁극적으로 본 논문은 커버리지를 측정하는 것이 논문의 참고문헌 다양성과 저자의 기록된 전문성 사이의 일치 여부를 구분함으로써, 계량서지학 분석에 필요한 세밀한 층위(granularity)를 제공한다고 주장한다.