The disruption index suffers from citation inflation and is confounded by shifts in scholarly citation practice

기술적 요약: 파괴 지수(Disruption Index)는 인용 인플레이션과 학술 인용 관행의 혼란스러운 변화로 인해 영향을 받는다

문제 제기
파괴 지수($CD$)는 지적 기여(예: 논문 또는 특허)가 인용된 참고 문헌을 어느 정도 수준으로 대체하는지를 정량화하여, 지식 네트워크를 변화시키는 "파괴적" 혁신을 식별하기 위해 개발되었다. 그러나 최근 문헌들은$CD$의 체계적인 시간적 감소를 보고하며, 이는 파괴적 혁신의 정체를 시사한다. 본 논문은 관찰된 감소가 과학적 창의성의 저하를 반영하는 것이 아니라, 두 가지 비혁신적 메커니즘인 **연구 생산의 세속적 성장(secular growth)**과 **인용 인플레이션(CI)**에 의한 측정 아티팩트(measurement artifact)라고 주장한다.

핵심 문제는 $CD$의 수학적 공식이 인용 네트워크의 밀도 증가에 구조적으로 취약하다는 점이다. 출판물 수($n(t)$)와 평균 참고 문헌 목록 길이($r(t)$)가 시간이 지남에 따라 증가함에 따라,$CD$ 방정식의 분모가 불균형적으로 확장되어, 실제 작업의 파괴적 성격과 관계없이 지수를 0으로 수렴하게 만든다. 또한, 이 지수는 삼항 폐쇄(triadic closure) 및 자기 인용 증가와 같이 지수의 정의에 반영되지 않은 인용 관행의 행동적 변화에 의해 혼란을 겪는다.

방법론
저자들은 인용 인플레이션과 혼란 변수의 효과를 격리하고 검증하기 위해 네 가지 단계의 방법론적 접근 방식을 채택하였다:

1. 수학적 연역: 저자들은 $CD$방정식의 스케일링 동작을 입증하기 위해 이를 재구성하였다. 그들은$CD_p = \frac{N_i - N_j}{N_i + N_j + N_k}$이며, 여기서$N_k$(초점 논문을 인용하지 않고 참고 문헌만을 인용하는 경우)가 전체 인용량과 함께 스케일링됨을 보여준다. 참고 문헌 목록이 성장함에 따라($r(t) \uparrow$),$N_k$가 증가하여 비율이 0으로 수렴하게 된다.
2. 컴퓨터 시뮬레이션: 검증된 메커니즘 기반 인용 네트워크 성장 모델을 사용하여 두 개의 합성 네트워크 앙상블을 생성하였다. 한 앙상블은 출판량과 참고 문헌 목록 길이(인용 인플레이션 포함)의 경험적 성장률을 포함하였고, 다른 앙상블은 출판량 성장은 유지하면서 특정 시점 이후 참고 문헌 목록 길이($r(t)$)의 성장을 "억제(quenched)"하였다. 이를 통해 인용 인플레이션 유무에 따른 $CD$ 추세의 통제된 비교가 가능하게 하였다.
3. 준실험적 검증: 저자들은 2011년에서 2015년 사이에 발표된 미국 국립과학원 회보(PNAS) 논문 코퍼스를 분석하였다. 저자들은 전통적인 논문과 "PNAS Plus" 논문(온라인 전용, 장문 형식)을 비교하였다. 이 두 그룹은 팀 규모와 인용 영향력 면에서는 거의 동일하지만, 참고 문헌 목록 길이($r_p$) 측면에서는 현저한 차이를 보인다. 이 설정은 다른 변수들을 통제하면서 참고 문헌 길이가 $CD$에 미치는 영향을 격리한다.
4. 다변량 회귀 분석: SciSciNet에서 추출한 1995~2015년 사이의 780만 편의 논문을 대상으로 대규모 회귀 분석을 수행하였다. 모델에는 팀 규모($k_p$), 참고 문헌 목록 길이($r_p$), 인용 횟수($c_{p,5}$)에 대한 출판물 수준의 통제 변수와 저널 및 연도에 대한 고정 효과가 포함되었다. 저자들은 데이터 품질 문제(예: 초기 데이터셋의 누락된 참고 문헌)를 해결하기 위해 참고 문헌이 0개이거나 불충분한 인용 수를 가진 논문을 필터링하여 처리하였다.

주요 기여

• 인용 인플레이션(CI)의 식별: 본 논문은 참고 문헌 목록 길이의 세속적 성장과 $CD$의 체계적 감소 사이의 인과 관계를 확립하였다. 저자들은$CD$가 분모 측면에서 외연적(extensive) 척도이며, 이로 인해 긴 참고 문헌 목록에 대해 본질적으로 편향되어 있음을 입증하였다.
• 기존 강건성 검증에 대한 비판: 저자들은 이러한 추세를 보정하려는 기존의 시도들(예: 분야-연도별 정규화 또는 무작위 네트워크 사용)이 $CD$의 참고 문헌 목록 길이에 대한 비선형적 의존성이나 오래된 데이터셋에서 흔히 나타나는 특정 데이터 품질 문제(누락된 인용)를 적절히 처리하지 못하기 때문에 실패함을 보여준다.
• 공변량 관계의 재평가: 본 연구는 팀 규모와 $CD$ 사이의 널리 인용되는 음의 상관관계를 반박한다. 참고 문헌 목록 길이와 시간적 추세를 통제함으로써, 저자들은 팀 규모와 파괴성 사이의 관계가 미미하며, 일부 명세에서는 약간 양(+)의 관계를 가짐을 입형하였다.

결과

• 시뮬레이션 결과: 컴퓨터 모델에서 참고 문헌 목록의 성장을 중단시키고 출판량의 증가를 지속했을 때, $CD$의 감소세가 역전되었다. 이는$n(t)$의 성장뿐만 아니라$r(t)$의 성장이 관찰된$CD$ 감소의 주요 동인임을 확인시켜 준다.
• 준실험: PNAS와 PNAS Plus 논문의 분석 결과, PNAS Plus의 더 긴 참고 문헌 목록이 현저히 낮은 $|CD|$ 값을 나타냈다. 참고 문헌 길이의 차이(약 39% 더 많은 참고 문헌)가 두 그룹 간의 파괴성 차이의 거의 100%를 설명하였다.
• 회귀 분석:
  • 시간적 추세: 참고 문헌 목록 길이, 팀 규모 및 인용 횟수를 통제한 후, $CD$의 잔차적 시간 추세는 노이즈 수준($\text{effect size} \approx 0.06\sigma$)으로 나타났다. 이전에 보고된 파괴성의 시간적 감소는 대부분 사라졌다.
  • 팀 규모: 기존 문헌에서 보고된 팀 규모와 $CD$사이의 음의 관계는 누락된 변수 편향(특히 팀 규모와 참고 문헌 목록 길이 사이의 상관관계)에 의한 아티팩트이다. 적절히 통제했을 때, 팀 규모가$CD$에 미치는 영향은 미미하며($\text{effect size} \approx 0.09\sigma$), 8명 이상의 저자를 가진 팀의 경우 음에서 양으로 전환된다.
  • 인용 인플레이션 계수: 참고 문헌 목록 길이($r_p$)의 계수는 음수이며 통계적으로 유의하여, 긴 참고 문헌 목록이 $CD$ 점수를 체계적으로 낮춘다는 것을 확인해 준다.

의의 및 주장
본 논문은 현재 형태의 파괴 지수가 인용 인플레이션과 고려되지 않은 학술 관행의 변화로 인해 심각한 측정 오류에 취약하다고 결론짓는다. 따라서 $CD$를 사용하여 혁신 추세의 감소를 식별하거나 특정 팀 구조를 파괴성과 연관 지으려는 기존의 연구 흐름은 허구적 상관관계에 기반했을 가능성이 높다.

저자들은 관찰된 "파괴성의 감소"가 과학적 실체가 아닌 방법론적 아티팩트라고 주장한다. 저자들은 $CD$의 참고 문헌 목록 길이에 대한 비선형적 의존성이 엄격한 인용 인플레이션 보정 없이는 종단적 비교에 부적합하게 만든다고 주장한다. 본 논문은 향-후 연구가 인용 인플레이션에 중립적인 새로운 지표를 개발하거나, 연구 평가의 이러한 구조적 편향을 완화하기 위해 참고 문헌 목록 길이에 상한선을 두는 것과 같은 정책적 조치를 시행해야 한다고 제언한다. 이 결과는 근본적인 구조적 결함을 해결하지 않은 채$CD$를 지식 경제의 효율성과 경쟁력을 모니터링하기 위한 주요 지표로 사용하는 것의 타당성에 의문을 제기한다.