The disruption index is biased by citation inflation

새로운 발명품이 얼마나 "멋지거나" "혁신적인지"를 그것에 대해 얼마나 많은 사람들이 이야기하는지를 보고 측정하려고 한다고 상상해 보십시오. 과학의 세계에서 연구자들은 이와 유사한 일을 '디스러션 인덱스(Disruption Index, 파괴 지수)'라는 도구를 사용하여 수행합니다. 이 지수를 논문과 특허를 위한 점수판이라고 생각하십시오. 이것은 단순한 질문을 던집니다. 이 새로운 작업이 기존의 규칙을 깨고 새로운 길을 열었는가, 아니면 단순히 기존의 집에 작은 증축을 한 것뿐인가? 만약 어떤 논문이 진정으로 파괴적이라면, 미래의 과학자들은 그 새로운 논문을 인용하되 그 논문이 딛고 서 있는 오래된 논문들은 무시할 것입니다. 반면, 단순히 "공고화(consolidating)"하는 것이라면, 그들은 새로운 논문과 기존의 논문 모두를 인용할 것입니다.

오랫동안 과학자들은 이 점수판을 사용하여 혁신의 역사를 추적해 왔습니다. 그러던 중 그들은 우려스러운 점을 발견했습니다. 점수가 떨어지고 있는 것처럼 보였기 때문입니다. 이는 현대 과학이 점점 덜 혁신적으로 변하고 있으며, 모두가 그저 제자리걸음을 하며 서로를 복제하고 작은 수정만을 가하는 상태가 되어가고 있다는 것처럼 보였습니다. 이 현상은 큰 논쟁을 불러일으켰습니다. 우리는 정말로 거대한 것을 발명하는 능력을 잃어가고 있는 것일까요? 아니면 다른 일이 일어나고 있는 것일까요? 이를 이해하려면 과학 논문에 두 가지 부분이 있다는 것을 알아야 합니다. 바로 새로운 아이디어를 제시하는 부분과, 그 논문이 딛고 서 있는 모든 이전 논문들의 목록인 논문 끝부분의 "참고 문헌 목록"입니다.

연구팀이 작성한 이 논문은 "파괴력의 감소"가 과학자들이 영감을 잃었기 때문이 아니라고 주장합니다. 대신, 저자들은 이 점수판 자체가 **"인용 인플레이션(citation inflation)"**이라 부르는 현상 때문에 고장 났다고 제안합니다. 마치 돈이 너무 많이 찍혀 나오면 가치가 떨어지는 것처럼, 하나의 인용이 갖는 가치는 인용의 수가 폭발적으로 증가할 때 변합니다. 저자들은 과학자들이 점점 더 긴 참고 문헌 목록을 작성하고 서로를 더 복잡하고 자기 참조적인 방식으로 인용하기 때문에 디스러션 인덱스의 수학적 계산이 왜곡되고 있다고 주장합니다. 그들이 과학이 나빠졌다고 말하는 것이 아니라, 우리가 그것을 측정하기 위해 사용하는 자(ruler)가 늘어났다고 말하는 것입니다.

참고 문헌의 거대한 인플레이션

여러분이 역사 에세이를 쓰는 학생이라고 상상해 보십시오. 1960년대에는 자신의 주장을 뒷받침하기 위해 9권의 책을 찾아야 했을 수도 있습니다. 여러분은 그 책들을 읽고, 가장 좋은 것을 골라 하단에 목록을 적었을 것입니다. 이제 시간을 오늘날로 돌려봅시다. 여러분에게는 인터넷이 있고, 여러분의 에세이는 23개, 혹은 50개의 출처를 필요로 할 수도 있습니다. 이는 단순히 책이 많아졌기 때문이 아닙니다. 참고 문헌의 "공급"이 인플레이션되었기 때문입니다.

이 논문의 저자들은 논문당 참고 문헌의 수가 극적으로 증가했다는 점을 지적합니다. 1960년대에는 평균적으로 약 9개의 참고 문헌이 있었습니다. 하지만 2000년대에 들어서 그 숫자는 23개로 급증했습니다. 50년 동안 2.6배 증가한 것입니다. 하지만 핵심은 이것입니다. 디스러션 인덱스는 "새로운" 인용과 "오래된" 인용의 비율을 살펴보는 수학 공식입니다. 참고 문헌 목록(오래된 것들)이 거대해지면, 수학적 계산은 엉망이 됩니다.

디스러션 인덱스를 "뜨거운 감자(Hot Potato)" 게임이라고 생각해 보십시오. 만약 당신이 새로운 논문이고, "파괴(Disruption)" 상을 받고 싶다면, 미래의 플레이어들이 감자를 당신에게 던져야 하고, 당신이 인용한 오래된 논문들에게는 던지지 않아야 합니다. 하지만 당신의 참고 문헌 목록이 50개의 오래된 논문이 담긴 거대한 가방이라면, 미래의 플레이어들이 그중 적어도 하나를 당신에게 던질 확률이 높아집니다. 즉, 그 오래된 논문이 어쨌든 누구나 인용하는 "슈퍼스타"일 확률이 높기 때문입니다. 당신의 새로운 논문이 아무리 훌륭하더라도, 당신이 인용한 오래된 논문의 수가 너무 많으면 미래의 과학자들이 그중 하나를 인용하는 것은 거의 확실한 일이 됩니다. 이는 수학 방정식의 분모가 너무 커졌기 때문에 당신의 새로운 논문이 덜 "파괴적"으로 보이게 만듭니다.

"자기 포옹(Self-Hug)" 문제

이 인플레이션 이야기에는 두 번째 부분이 있으며, 여기에는 과학자들이 서로를 인용하는 방식이 포함됩니다. 저자들은 이를 **"삼각 폐쇄(triadic closure)"**라고 부르는데, 이는 "삼각형을 닫는다"는 뜻의 멋진 표현입니다. 앨리스, 밥, 찰리라는 세 친구가 있다고 상상해 봅시다. 만약 앨리스가 밥을 인용하고, 밥이 찰리를 인용한다면, 앨리 역시 찰리를 인용할 가능성이 매우 높습니다. 이는 인용의 긴밀한 삼각형을 만듭니다.

과거에는 이러한 삼각형이 자연스럽게 발생했습니다. 하지만 오늘날, 저자들은 이러한 삼각형이 **자기 인용(self-citations)**과 전략적 인용 때문에 더 자주 형성된다고 주장합니다. 과학자들은 자신의 수치를 높이거나 자신이 속한 저널을 돕기 위해 자신의 이전 작업이나 가까운 동료의 작업을 인용할 수 있습니다. 이는 서로 밀접하게 연결된 인용의 웹을 만듭니다. 디스러션 인덱스는 이러한 긴밀한 삼각형을 "공고화(consolidation)"(파괴가 아님)로 간주합니다. 따라서 과학자들이 이러한 인용 웹을 구축하는 데 능숙해질수록, 인덱스는 그들이 실제로는 훌륭한 일을 하고 있음에도 불구하고 덜 파괴적이라고 판단하게 됩니다. 이는 마치 심판이 체조 선수의 동작이 완벽함에도 불구하고, 선수가 입은 아주 화려하고 복잡한 의상 때문에 선수의 민첩성이 떨어진다고 점수를 낮게 주는 것과 같습니다.

시뮬레이션: 인플레이션 끄기

자신들의 주장을 증명하기 위해, 연구원들은 단순히 실제 데이터를 살펴본 것이 아니라 컴퓨터 시뮬레이션을 구축했습니다. 그들은 실제 세계처럼 시간이 흐름에 따라 성장하는 가상의 논문 세계를 만들었습니다. 그들은 이 가상 세계를 두 가지 설정으로 프로그래밍했습니다:

1. "인플레이션이 없는" 세계: 여기서는 논문당 참고 문헌의 수가 일정하게 유지되며, 과학자들이 인용 방식을 바꾸지 않습니다.
2. "인플레이션이 있는" 세계: 여기서는 실제 세계처럼 논문들이 더 긴 참고 문헌 목록을 가지고 더 많은 "삼각 폐쇄"(더 많은 자기 인용 및 그룹 인용)를 갖도록 프로그래밍했습니다.

연구원들이 "인플레이션이 없는" 설정을 사용하여 시뮬레이션을 실행했을 때, 디스러션 인덱스는 안정적으로 유지되었습니다. 떨어지지 않았습니다. 하지만 그들이 "인플레이션" 설정을 켜서 참고 문헌 목록을 더 길게 만들고 인용 패턴을 더 밀집되게 만들었을 때, 디스러션 인덱스는 실제 현실에서와 똑같이 급락하기 시작했습니다.

이는 디스션 점수의 하락이 과학자들이 창의성을 잃었기 때문이 아니라, 해당 지표가 참고 문헌 목록의 길이에 민감하기 때문임을 시사합니다. 저자들은 참고 문헌의 수($r$)가 증가함에 따라 "외부 인용(extraneous citation)" 비율($R_k$)이 증가하며, 이것이 디스러션 인덱스($CD$)를 0에 가깝게 만든다는 것을 발견했습니다. 시뮬레이션에서 특정 시점 이후에 참고 문헌 목록의 길이를 고정된 숫자(예: 25개)로 제한하자, 디스러션 인덱스는 떨어지는 것을 멈추고 다시 상승하기 시작했습니다. 이는 "감소"가 혁신의 쇠퇴가 아니라, 길어지는 참고 문헌 목록에 의한 결과물(artifact)임을 확인시켜 줍니다.

이것이 미래에 의미하는 바

저자들은 자신들이 문제를 "해결"했다고 말하는 것이 아니라, 현재의 측정 도구에 결함이 있음을 식별했다고 신중하게 밝히고 있습니다. 그들은 현재 사용되는 디스러션 인덱스가 편향되어 있으며 서로 다른 시기를 비교하기에 부적절하다고 주장합니다. 인용의 "통화(currency)"가 변했기 때문에, 1960년의 논문과 2020년의 논문을 이 인덱스로 비교할 수는 없습니다.

또한 그들은 이러한 인플레이션이 다른 측정치에도 영향을 미친다고 지적합니다. 예를 들어, 어떤 연구들은 더 큰 연구 팀이 덜 파괴적인 작업을 생성한다고 주장했습니다. 그러나 저자들은 연구 팀이 클수록 참고 문헌 목록도 길어지는 경향이 있다는 점을 고려했을 때 그 관계가 달라진다는 것을 발견했습니다. 결과적으로, 더 큰 팀이 실제로 더 파괴적일 수 있지만, 인용 인플레이션이 그 사실을 숨기고 있었던 것입니다.

그렇다면 결론은 무엇일까요? 과학계가 반드시 그 날카로움을 잃고 있는 것은 아닙니다. 대신, 그 날카로움을 측정하는 방식에 업그레이드가 필요합니다. 저자들은 학술지들이 논문의 참고 문헌 개수에 "상한선"을 두거나, 인용의 엄청난 양에 혼동되지 않는 새로운 방식의 파괴력 측정법을 개발해야 한다고 제안합니다. 그때까지, 우리는 디스러션 인덱스를 사용하여 과학이 덜 혁신적이 되어간다고 말할 때 매우 주의해야 합니다. 그것은 단지 스코어보드가 고장 난 것일 수도 있기 때문입니다.