The Reciprocal Impact of Science and Software: A Cross-Corpus Analysis of How Research Shapes Software and Software Enables Research

기술 요약: 과학과 소프트웨어의 상호적 영향

문제 정의
과학적 지식과 소프트웨어는 함께 진화하지만, 서로 분리된 장부에 기록된다. 즉, 소프트웨어는 버전 관리 생태계(예: GitHub)에, 과학은 서지 데이터베이스(예: Semantic Scholar, OpenAlex)에 기록된다. 이러한 분리는 "과학-소프트웨어 공급망(Science-Software Supply Chain, S3C)"을 관찰 불가능하게 만든다. 현재의 지표들은 이 상호적인 관계를 포착하는 데 실패한다. 서지 계량학(Bibliometrics)은 인용 횟수를 집계하지만 소프트웨어 재사용은 놓치고, 소프트웨어 지표(Stars, Forks)는 학술적 영향력을 반영하지 못한다. 또한, 문헌 내 소프트웨어 언급에 관한 기존 연구들은 낮은 재현율(Recall)과 실제 결과물과의 신뢰할 수 없는 연결성 문제를 겪고 있으며, 의존성 분석은 개발자 신원을 해결하지 못한 채 단일 생태계 내에 국한되는 경우가 많다. 본 논문은 논문과 소프트웨어 결과물 사이의 전역적이고 신원(Identity)이 해결된 연결이 없다면, 과학적 생산의 기원(Provenance)은 불투명하게 남게 되며, 이는 리스크 관리(예: "숨겨진 영웅" 의존성 식기)와 효율적인 공로 배분을 저해한다고 주장한다.

방법론
저자들은 거의 완전한 공개 버전 관리 이력(World of Code, V2604)과 서지 코퍼스(Semantic Scholar 및 OpenAlex)를 연결하는 **타입 지정 교차 코퍼스 그래프(Typed cross-corpus graph)**를 구축한다.

• 데이터 소스:
  • 소프트웨어: World of Code(WoC)는 커밋, 저자, 프로젝트, 그리고 프로젝트 간 의존성 엣지를 제공한다.
  • 과학: Semantic Scholar와 OpenAlex는 논문, 인용, 그리고 소프트웨어 언급을 제공한다.
  • 시드(Seed): LLM 분류를 통해 과학적 의도를 가진 것으로 선별된 SciCat 데이터셋으로부터 추출된 18,247개의 과학 레포지토리.
• 그래프 구축:
  • 그래프는 depends on(소프트웨어 간 의존), mentions doi(논문을 인용하는 소프트웨어), mentions repo(소프트웨어를 명시하는 논문), 그리고 저자와 DOI를 화해시키는 신원 브릿지(same as)를 포함하여 8개의 레이어에 걸친 6,980만 개의 엣지를 포함한다.
  • 신원 해결(Identity resolution)은 WoC의 저자 별칭 맵과 ORCID/소속 데이터를 활용하여 개발자를 정형화된 신원(Canonical identities)에 연결한다.
• 영향력 측정 (상호적 질문):
  • RQ1 (과학 $\to$ 소프트웨어): 논문의 "도달 범위(Reach)"를 측정한다. 특정 논문에 대해, 이는 해당 논문을 인용하는 독자적인 과학 레포지토리의 수이다. 저자의 경우, 그들의 논문을 통한 레포지토리의 도달 범위이다.
  • RQ2 (소프트웨어 $\to$ 과학): 소프트웨어에 의한 과학의 "조력(Enabling)"을 측정한다.
    • 엄격한 척도: 레포지토리를 명시하는 논문 (희소함, $n=137$).
    • 대리 척도: 생태계 영향력(Ecosystem Impact). 이는 역방향 depends on 인입 차수(In-degree, 해당 레포지토리에 의존하는 독자적인 프로젝트 수)로 정의된다. 직접적인 논문-소프트웨어 채널이 효과적으로 순위를 매기기에 너무 희소하기 때문에, 이를 과학적 조력의 대리 지표로 사용한다.
• 검증:
  • 내부 검증: 재현율을 평가하기 위해 두 개의 독립적인 추출기(Semantic Scholar 전체 텍스트 vs. OpenAlex 초록)를 비교한다.
  • 외부 검증: 재현율의 한계를 파악하고 구조적 편향(예: 방법론 섹션 언급 vs. 초록)을 식별하기 위해, 인간이 큐레이션한 생물 의학/경제학 언급 골드 코퍼스인 Softcite v2를 사용한다.
  • 삼각 측량(Triangulation): 견고성을 테스트하기 위해 여러 앵커(SciCat, JOSS, Softcite 도구 이름, CRAN/conda 레지스트리)를 가로질러 분석을 수행한다.

주요 결과

1. 구별되는 생태계 층위(Strata): 영향력의 두 방향은 생태계의 서로 다른 층위를 드러낸다.

   • 과학 $\to$ 소프트웨어: 재현성/패키징 레이어(예: nf-core, Nextflow, Singularity, Bioconda)와 서열 분석 도구(SAMtools, STAR)가 주도한다. 이 도구들은 많은 파이프라인에 통째로 채택된다.
   • 소프트웨어 $\to$ 과학 (대리 지표): 보이지 않는 ML/데이터 과학 인프라 계층(예: PyTorch, seaborn, NLTK, einops)이 주도한다. 이 도구들은 높은 의존성 인입 차수를 가지지만, 직접적인 조력 기반으로서 논문에 인용되는 경우는 드물다.
   • 학자: 생태계를 뒷받는 저자들은 주로 도구 제작자들이다(예: Nextflow의 Paolo Di Tommaso, SAMtools의 Heng Li).

2. 지표의 약한 결합:

   • 재사용 vs. 인기: 의존성 인입 차수는 GitHub Stars와 매우 낮은 상관관계를 보인다 (Spearman $\rho = 0.36$). 높은 의존성을 가진 도구인 cloudflare/circl(9,459개 의존자)은 Stars가 매우 적을 수 있다(150개).
   • 재사용 vs. 인용: 소프트웨어 재사용과 학술적 인용 사이의 상관관계는 **취약하며 연결 간극에 민데이션(Gap-sensitive)**하다.
     • 레포지토리를 명시하는 논문을 통해 쌍을 이룰 때($n=137$), 상관관계는 감지되지 않는다 ($\rho = 0.05$, CI가 0을 포함).
     • 레포지토리가 선언한 DOI를 통해 쌍을 이룰 때($n=1,067$), 약한 양의 상관관계가 나타난다 ($\rho = 0.13$, CI [0.07, 0.19]).
     • 저자들은 어떤 연결 간극을 허용하느냐에 따라 상관관계의 부호가 달라지므로, 강력한 디커플링(Decoupling) 주장은 시기상조라고 결론짓는다.

3. 연결의 한계:

   • 재현율(Recall)이 낮음: 외부 골드 벤치마크 결과, 방법론 섹션 언급에 대한 그래프의 재현율은 거의 제로에 가깝다. 이 그래프는 전체 방법론 텍스트가 아니라 "얇고 구조적으로 편향된 슬라이스"(초록, 랜딩 페이지, 참고문헌)를 포착한다.
   • 시드 편향: SciCat 시드는 WoC에서 큐레이터가 주석을 달았던 도구의 약 11%만을 커버하며, JOSS 레포지토리와도 중첩이 적다. 여러 앵커를 통한 삼각 측량 결과, 단일 시드가 전체 경관을 포착할 수 없음을 확인했다.

4. AI 코딩 에이전트:

   • 본 연구는 AI 코딩 에이전트를 채택한 58개의 과학 레포지토리를 식별한다.
   • 채택은 개발 강도(활성 월수, 커밋 볼륨) 및 상대적 신규성과 관련이 있지만, 분야, 인기(Stars), 또는 팀 규모와는 관련이 없다.
   • 사후 결과 연구는 영향력 축적(인용/의존성)을 위한 시간이 부족하여 유보되었다.

의의 및 주장
본 논문은 자신의 기여를 확정적인 계산이라기보다 **타당성 입증(Feasibility evidence)**으로 규정한다.

• 개념적 전환: 과학적 생산을 논문과 소프트웨어가 동등한 재화인 공급망으로 성공적으로 재구성하였으며, 전역적이고 신원이 해결된 "자재 명세서(Bill of Materials)"가 구축 가능하다는 것을 보여주었다.
• 방법론적 통찰: 단일 글로벌 그래프를 서로 다른 방향으로 읽는 것이 서로 약하게 결합된 별개의 층위를 드러낸다는 것을 증명했다. 결정적으로, 인용 횟수와 인기(Stars)는 과학적 영향력의 척도로서 의존성 기반의 재사용을 대체할 수 없음을 보여준다.
• 주의사항: 저자들은 연결 간극(선택 편향, 재현율 문제)으로 인해 현재의 결합 밀도가 정밀한 점 추정치를 내리기에는 너무 민감하다는 점을 명시적으로 밝히고 있다. 즉, 연결 방식에 따라 상관관계의 부호가 바뀐다.
• 미래 활용성: 구축된 그래프는 AI 에이전트와 같은 신흥 현상을 추적하고, 현재 서지 계량학으로는 보이지 않는 공급망 리스크(예: 유지보수되지 않는 "숨겨진 영웅" 라이브러리 식별)를 관리하기 위한 필수적인 토대를 제공한다.

본 논문은 현재의 연결 밀도가 정밀한 추정치를 제공하기에는 부족하지만, 결과의 방향성은 과학-과학(Science-of-science) 도구 세트에 소프트웨어 인지적이고 의존성에 근거한 지표를 포함시켜야 할 동기를 부여할 만큼 충분히 견고하다고 결론짓는다.