A Multi-Surface Consistency Audit of Software Citation Metadata

현대 과학의 세계에서 소프트웨어는 현미경이나 망원경만큼이나 필수적인 도구가 되었습니다. 소프트웨어는 연구자들이 숫자를 계산하고, 기후 변화를 시뮬레이션하며, 원자의 행동을 모델링하는 데 사용하는 도구입니다. 이 소프트웨어가 인간의 노동과 지적 노력의 산물이기 때문에, 과학계는 소프트웨어도 연구 논문처럼 인용될 자격이 있다는 데 동의했습니다. 과학자가 특정 발견을 하기 위해 특정 프로그램을 사용한다면, 그들은 그것을 작성한 사람들과 사용한 버전, 그리고 그 소프트웨어를 찾을 수 있는 곳에 공로를 돌려야 합니다. 이를 가능하게 하기 위해, 소프트웨어 프로젝트가 디지털 "이름표"를 남길 수 있는 시스템이 구축되었습니다. 이 태그는 프로젝트의 제목, 저자 이름, 버전 번호, 그리고 소프트웨어가 온라인 어디에 존재하는지를 가리키는 고유 식별자를 포함하는 기계 판독 가능 파일입니다. 이 아이디어는 만약 연구자, 사서, 또는 컴퓨터 프로그램이 이러한 태그 중 하나를 본다면, 그들은 모두 동일한 소프트웨어에 대해 똑같은 이야기를 하게 될 것이라는 점입니다.

하지만 최근 한 연구는 단순하지만 당혹스러운 질문을 던졌습니다: 이 이름표들이 실제로 서로 일치하는가? 일리노이 대학교의 펭인 샨(Pengyin Shan)이 이끄는 연구진은 117개의 오픈 소스 연구 소프트웨어 프로젝트의 디지털 자기 기술(self-description)을 감사하기로 했습니다. 그들은 프로젝트가 자신을 설명할 수 있는 일곱 가지 서로 다른 장소를 조사했습니다: 인용을 위한 특정 파일, 아카이브용 데이터 파일, 소프트웨어가 다운로드되는 공공 레지스트리의 기록, 그리고 프로젝트의 메인 웹 페이지에 있는 텍스트입니다. 그들은 소프트웨어를 하나의 단일 객체로 보고, 이 다양한 파일들을 그 객체의 서로 다른 "표면" 또는 "면"으로 취급했습니다. 만약 시스템이 완벽하게 작동한다면, 모든 표면은 동일한 것을 말해야 합니다. 만약 불일치한다면, 이는 누가 작업을 수행했는지, 어떤 버전이 사용되었는지, 그리고 코드를 어디에서 찾을 수 있는지에 대한 혼란을 야기합니다. 연구 결과, 이 시스템은 결코 완벽하지 않았습니다. 사실, 조사된 프로젝트의 대다수는 인터넷의 서로 다른 부분에 서로 다른 이야기를 하고 있었습니다.

연구진은 이 프로젝트들을 점검하기 위해 세심한 과정을 구축했습니다. 그들은 슈퍼컴퓨팅과 양자 컴퓨팅에 사용되는 고성능 컴퓨팅 도구와 커뮤니티 저널에 채택된 더 작은 규모의 도구들을 포함하여 117개의 소프트웨어 도구 그룹을 모았습니다. 각 프로젝트에 대해, 그들은 특정 날짜에 일곱 가지 서로 다른 표면의 스냅샷을 다운로드했습니다. 그런 다음 컴퓨터 프로그램을 사용하여 정보를 정규화하여, 서로 다른 파일 형식을 제목, 저자, 버전, 연도, 라이선스, 고유 식별자라는 여섯 가지 핵심 사실의 공통 목록으로 변환했습니다. 그들은 프로젝트의 모든 표면 쌍을 비교하여 사실이 일치하는지 확인했습니다. 그들의 방법이 정확한지 확인하기 위해, 연구진은 컴퓨터의 판단을 대규모 샘플로 수동 점검하였고, 그들의 도구가 거의 99%의 정확도로 올바르게 작동함을 확인했습니다.

결과는 상당한 일관성 부족을 드러냈습니다. 117개의 프로젝트 중 62개만이 비교 가능한 최소 두 개의 표면을 가지고 있었습니다. 이 62개 프로젝트 중 52개, 즉 약 84%가 표면 간에 적어도 하나 이상의 주요 충돌을 포함하고 있었습니다. 이는 대부분의 프로젝트에 대해, 인용 파일을 읽는 사람이 아카이브 기록이나 다운로드 페이지를 읽는 사람과 다른 정보를 얻게 된다는 것을 의미합니다. 불일치는 저자 목록과 소프트웨어 제목에서 가장 흔하게 나타났습니다. 연도와 라이선스는 대개 일치했지만, 작업물을 식별하는 핵심 세부 사항들은 서로 일치하지 않는 경우가 많았습니다. 연구는 이 문제가 특정 유형의 소프트웨어에 국한되지 않음을 발견했습니다. 이는 고성능 컴퓨팅 프로젝트, Journal of Open Source Software에 의해 검토된 도구들, 그리고 pyOpenSci 커뮤니티에 의해 수락된 패키지들 모두에서 나타났습니다.

충돌의 가장 흔한 이유 중 하나는 소프트웨어와 그 소프트웨어를 설명하는 연구 논문 사이의 구체적인 혼동이었습니다. 많은 경우, 소프트웨어를 설명하기 위한 파일들이 실제로는 소프트웨어에 관한 학술 논문을 설명하고 있었습니다. 예를 들어, 어떤 파일은 컨퍼런스 발표의 제목이나 저널 논문의 저자를 나열하는 반면, 다른 파일은 코드 자체의 이름을 나열했습니다. 이는 검증된 충돌의 절반에서 발생했습니다. 연구진은 이것이 파일이 잘못 작성된 실수가 아니라, 오히려 무엇이 "인용 가능한 객체"인지에 대한 더 깊은 혼란을 반영하는 것이라고 언급했습니다. 그것이 코드인가, 아니면 코드에 관한 논문인가? 파일들이 논문을 가리키려고 할 때, 그들은 종-종 소프트웨어를 가리키는 것을 멈추게 되며, 이로 인해 메타데이터가 서로 어긋나게 됩니다.

또 다른 불일치의 원인은 Python의 PyPI나 JavaScript의 npm과 같이 소프트웨어가 다운로드되는 공공 레지스트리에서 왔습니다. 이러한 레지스트리들은 종종 "mpi4py"와 같이 패키지의 짧고 기술적인 이름을 사용하는 반면, 소프트웨어 자체의 파일들은 "MPI for Python"과 같은 서술적인 제목을 사용합니다. 컴퓨터가 이 두 표면을 일치시키려고 할 때, 컴퓨터는 제목 불일치를 감지합니다. 연구진은 제목과 저자 불일치의 상당 부분이 이러한 레지스트리 기록에 의해 발생한다는 것을 발견했습니다. 또한, 연구진은 자동화된 도구들이 정보를 찾는 곳에서 가장 최신의 정보가 누락되어 있는 경우가 많다는 것을 발견했습니다. 패키징 도구들이 읽는 파일들, 즉 레지스트리 기록들은 저자에 대한 ORCID와 같은 지속적인 식별자를 포함할 가능성이 가장 낮았는데, 이는 누가 작업을 수행했는지 추적하는 데 매우 중요합니다.

연구는 또한 "선호되는 인용(preferred citation)"이라는 특정 기능을 살펴보았습니다. 이는 소프트웨어 프로젝트가 사용자에게 소프트웨어 자체가 아닌 다른 객체, 대개 논문을 인용하도록 안내할 수 있게 해주는 기능입니다. 연구진은 이 기능을 사용하는 32개 프로젝트 중 28개에서, 해당 지침을 따랐을 때 소프트웨어 자체의 메타데이터와 일치하지 않는 기록로 연결된다는 것을 발견했습니다. 이는 프로젝트가 특정 인용을 유도하려고 할 때조차도, 그 안내가 프로젝트가 발표한 다른 정보와 충돌하는 기록을 가리키는 경우가 많다는 것을 의미합니다. 이는 규칙을 따르는 사용자가 실제로 사용한 소프트웨어의 버전과 일치하지 않는 논문을 인용하게 되는 상황을 만듭니다.

연구진은 현재의 소프트웨어 인용 인프라가 불완전하다고 결론지었습니다. 메타데이터를 선언하기 위한 도구들은 존재하며 널리 사용되고 있지만, 서로 다른 선언들이 일치하는지 확인할 수 있는 시스템은 없습니다. 연구는 점검 가능한 대부분의 프로젝트에서, 소프트웨어가 적어도 하나의 중요한 정보에 대해 스스로 불일치한다는 것을 보여주었습니다. 이러한 파편화는 공로가 분산되고, 출처가 불분명해지며, 자동화된 시스템이 연구 소프트웨어의 사용을 신뢰성 있게 추적할 수 없게 만듭니다. 연구진은 다른 사람들이 이 감사를 반복하거나, 시간이 지남에 따라 상황이 개선되었는지 확인하거나, 이러한 불일치를 자동으로 수정하는 도구를 구축할 수 있도록 데이터와 코드, 그리고 프로젝트 목록을 공개했습니다. 이 작업은 우리가 소프트웨어에 대한 디지털 신용 시스템을 완전히 신뢰하기 전에, 먼저 소프트웨어가 모든 곳에서 단일하고 일관된 이야기를 전달하도록 보장해야 함을 강조합니다.