Semantic Alignment, Chronological Distance, and Citation-Network Prominence in Citation Formation: Evidence from Ten Citation Corpora

내일의 거대한 도서관

인류 지식의 전체 역사를 모든 새로운 책이 하나의 과학 논문인, 거대하고 끊임없이 성장하는 도서관이라고 상상해 보십시오. 새로운 책이 쓰일 때, 저자는 이전의 어떤 책들을 각주에 언급할지 결정해야 합니다. 이 각주를 **인용(citation)**이라고 부르며, 이는 과학의 생명선입니다. 인용은 누가 누구의 아이디어를 구축했는지, 새로운 발견이 얼마나 빠르게 퍼지고 있는지, 그리고 현재 어떤 주제가 "핫"한지를 보여줍니다. 수십 년 동안 과학자들은 새로운 논문을 보고 그것이 어떤 오래된 책들을 인용할지 정확히 추측할 수 있는 컴퓨터 프로그램, 즉 수정구슬을 만들기 위해 노력해 왔습니다. 이를 **인용 예측(citation prediction)**이라고 합니다.

하지만 여기에 까다로운 점이 있습니다. 시간 여행은 불가능합니다. 현실 세계에서 2020년에 논문을 쓰는 저자는 2020년 이전에 출판된 책들만 볼 수 있습니다. 그들은 미래를 볼 수 없습니다. 그러나 인용을 예측하려는 많은 컴퓨터 프로그램은 속임수를 써왔습니다. 그들은 오늘날 존재하는 전체 도서관, 즉 아직 쓰이지도 않은 책들을 포함한 전체 라이브러리를 살펴봄으로써 "미래"를 엿봅니다. 이는 마치 경기가 시작되기도 전에 최종 스코어보드를 보고 축구 경기에서 누가 이길지 맞히려는 것과 같습니다. 이러한 "미래 엿보기"는 컴퓨터를 매우 똑똑해 보이게 만들지만, 실제 인간이 어떻게 결정을 내리는지는 알려주지 않습니다. 이 논문은 단순하지만 어려운 질문을 던집니다. 만약 우리가 컴퓨터가 미래를 엿보는 것을 막는다면, 무엇이 과학자를 한 논문에서 다른 논문을 인용하게 만드는 진짜 동력이 될까요? 아이디어가 완벽하게 일치하기 때문일까요? 그 논문이 유명하기 때문일까요? 아니면 단순히 그 논문이 최신 것이기 때문일까요?

시간 여행이 없는 실험

이 논문의 저자인 모세 부두리데스(Moses Boudourides)는 이를 알아내기 위해 "시간 여행이 없는" 실험실을 구축하기로 했습니다. 그는 다섯 가지 서로 다른 세계(생물학적 단백질 구조 및 CRISPR와 같은 과학, 공학, 의생명과학, 사회과학, 그리고 영화학과 같은 인문학)에서 가져온 10개의 거대한 논문 컬렉션을 모았습니다. 그런 다음 그는 컴퓨터 프로그램에 엄격한 규칙을 설정했습니다. 프로그램은 인용하는 논문이 출판되기 전에 이용 가능했던 정보만을 사용할 수 있었습니다. 미래의 데이터도 안 되고, 그 논문이 나중에 얼마나 유명해졌는지 엿보는 것도 안 되며, 사후에 업데이트된 메타데이터를 사용하는 것도 금지되었습니다.

컴퓨터가 공정하게 플레이하도록 강제되자, 결과는 놀라웠습니다. 컴퓨터는 완벽하지 않았습니다. 분야에 따라 53%에서 73% 사이의 정답률을 보였습니다. 하지만 진짜 이야기는 컴퓨터가 얼마나 잘 맞혔느냐가 아니라, 왜 그렇게 예측했느냐에 있었습니다. 저자는 논문을 인용하는 이유를 세 가지 범주로 나누었습니다: 의미적 일치(Semantic Alignment) (아이디어가 일치하는가?), 연대적 거리(Chronological Distance) (논문이 얼마나 오래되었는가?), 그리고 네트워크 유명도(Network Prominence) (논문이 얼마나 유명한가?).

가장 큰 충격은 무엇이었을까요? 시간이 거의 매번 승리했다는 것입니다.

연구된 거의 모든 분야에서, 특정 논문이 인용될지를 예측하는 가장 강력한 변수는 단순히 그 논문이 얼마나 최근의 것이냐 하는 점이었습니다. 만약 두 논문이 동일한 주제를 다루고 있다면, 컴퓨터는 텍xt상의 일치도가 약간 더 높은 10년 전의 논문보다 바로 작년에 출판된 논문을 선택할 확률이 훨씬 높았습니다. 실제로, 컴퓨터가 논문의 연도를 알게 되면 제목이나 초록의 정확한 단어들을 아는 것은 별로 도움이 되지 않았습니다. 10개 분야 중 4개 분야에서는 실제로 인용된 논문들이 인용되지 않은 논문들보다 오히려 의미론적으로 덜 유사했습니다. 이는 마치 컴퓨터가 이렇게 말하는 것 같았습니다. "아이디어가 완벽하게 일치하는지는 상관없어. 나는 그냥 선반 위의 가장 새로운 것을 원해."

하지만 시간이 게임을 지배하지 못한 두 가지 중요한 예외가 있었습니다. 기억 연구(Memory Studies)(인문학) 분야에서는 아이디어(의미적 일치)가 연령보다 더 중요했습니다. 이는 영화나 역사와 같은 분야에서는 연구자들이 단순히 최신 뉴스를 쫓기보다는 여전히 유효한 오래된 고전적 아이디어에 도달하는 경우가 많다는 점에서 타당합니다. 또한, 사회과학 분야인 **소득 불평등(Income Inequality)**에서는 시간이 중요하지 않았습니다. 논문의 연령은 예측을 위한 신호를 전혀 제공하지 못했습니다. 대신, 이 특정 분야에서는 논문의 "명성"(네트워크 유명도)이 주요 동력이었습니다.

"유명한" 논문의 신화

여러분은 수천 번 인용된 유명한 논문들이 모두의 모방 대상이 될 것이라고 생각할지도 모릅니다. 논문은 이를 "네트워크 유명도"라고 부릅니다. 하지만 컴퓨터가 미래를 무시하고 당시 알려진 것만을 보도록 강제되었을 때, 유명하다는 사실은 대부분의 분야에서 추가적인 힘을 더해주지 못했습니다. 왜일까요? 이 긴밀한 연구자 집단 내에서 "유명한" 논문들은 대개 주목받을 만큼 충분히 오래 존재해 온 오래된 논문들이었기 때문입니다. 일단 컴퓨터가 그 논문이 오래되었거나(혹은 새것임을) 알게 되면, 그것이 유명하다는 사실을 아는 것은 새로운 정보를 주지 못했습니다. "명성"은 단지 시간의 부수적인 효과였던 것입니다.

이것이 미래에 갖는 의미

이 논문은 대부분의 과학 분야에서, 적어도 동일한 주제로 작업하는 특정 연구자 집단을 바라볼 때, 논문이 무엇을 말하는가보다 언제 출간되었는가가 더 중요하다고 결론짓습니다. "마태 효과(Matthew Effect)"—부자가 더 부자가 되고 유명한 논문이 더 유명해진다는 아이디어—는 여전히 유효하지만, 이는 그 논문들이 본질적으로 더 뛰어나서가 아니라 그 논문들이 인용을 축적할 수 있는 충분한 시간을 가졌기 때문입니다.

저자는 이것이 과학의 미래를 예측하는 마법의 공식이 아니라고 조심스럽게 말합니다. 컴퓨터는 여전히 인용을 완벽하게 예측할 수 없었으며, 결과는 여러분이 보고 있는 논문 집단을 어떻게 정의하느냐에 따라 크게 달라집니다. 그러나 이 연구는 만약 우리가 과학이 실제로 어떻게 작동하는지 이해하고 싶다면, 컴퓨터가 미래를 훔쳐보며 속임수를 쓰는 것을 멈춰야 한다는 것을 증명합니다. 그렇게 했을 때, 우리는 과학이 완벽한 아이디어의 일치보다는 끊임없이 흘러가는 시간의 흐름에 의해 움직인다는 것을 보게 됩니다. 가장 새로운 아이디어들이 가장 많은 관심을 받으며, "유명한" 논문들은 종종 그저 충분히 오래 존재해 온 것들입니다. 하지만 기억 연구와 같은 일부 분야에서는 아이디어의 깊이가 날짜보다 더 중요하며, 소득 불평등과 같은 다른 분야에서는 명성의 네트워크가 시계보다 더 중요합니다.