The Reciprocal Impact of Science and Software: A Cross-Corpus Analysis of How Research Shapes Software and Software Enables Research

Resumo Técnico: O Impacto Recíproco da Ciência e do Software

Problema
O conhecimento científico e o software coevoluem, mas são registrados em livros de contabilidade distintos: o software em ecossistemas de controle de versão (ex: GitHub) e a ciência em bases de dados bibliográficas (ex: Semantic Scholar, OpenAlex). Essa separação torna a "Cadeia de Suprimentos Ciência-Software" (S3C) inobservável. As métricas atuais falham em capturar a relação recíproca: a bibliometria conta citações, mas perde o reúso de software, enquanto as métricas de software (estrelas, forks) não refletem o impacto acadêmico. Além disso, estudos existentes sobre menções de software na literatura sofrem de baixa revocação (recall) e ligação pouco confiável com artefatos reais, enquanto análises de dependência são frequentemente confinadas a ecossistemas únicos sem resolver identidades de desenvolvedores. O artigo postula que, sem um elo global, resolvido por identidade, entre artigos e artefatos de software, a procedência da produção científica permanece opaca, dificultando a gestão de riscos (ex: identificar dependências de "heróis ocultos") e a alocação eficiente de crédito.

Metodologia
Os autores constroem um grafo de tipos cruzados ligando o histórico público quase completo de controle de versão (World of Code, V2604) com corpora bibliográficos (Semantic Scholar e OpenAlex).

• Fontes de Dados:
  • Software: O World of Code (WoC) fornece commits, autores, projetos e arestas de dependência de projeto para projeto.
  • Ciência: Semantic Scholar e OpenAlex fornecem artigos, citações e menções de software.
  • Semente (Seed): 18.247 repositórios científicos do conjunto de dados SciCat, curados via classificação por LLM para intenção científica.
• Construção do Grafo:
  • O grafo contém 69,8 milhões de arestas através de oito camadas, incluindo depende de (software para software), menciona doi (software citando artigos), menciona repo (artigos nomeando software) e pontes de identidade (mesmo como) reconciliando autores e DOIs.
  • A resolução de identidade utiliza o mapa de aliasing de autores do WoC e dados de ORCID/afiliação para ligar desenvolvedores a identidades canônicas.
• Medidas de Impacto (Questões Recíprocas):
  • RQ1 (Ciência $\to$ Software): Mede o "alcance" de artigos no software. Para um artigo, este é a contagem de repositórios científicos distintos que o citam. Para um autor, é o alcance de repositórios via seus artigos.
  • RQ2 (Software $\to$ Ciência): Mede o "capacitação" da ciência pelo software.
    • Medida Estrita: Artigos nomeando um repositório (esparsa, $n=137$).
    • Medida de Proxy: Impacto do Ecossistema, definido como o grau de entrada (in-degree) reverso de depende de (número de projetos distintos dependendo de um repositório). Isso é usado como um proxy para a capacitação científica porque o canal direto artigo-para-software é muito esparso para classificar de forma eficaz.
• Validação:
  • Interna: Comparação de dois extratores independentes (texto completo do Semantic Scholar vs. resumos do OpenAlex) para avaliar a revocação (recall).
  • Externa: Um corpus de ouro Softcite v2 retido (menções de biomedicina/economia curadas por humanos) usado para delimitar a revocação e identificar vieses estruturais (ex: menções na seção de métodos vs. resumos).
  • Triangulação: Análise realizada através de múltiplos âncoras (SciCat, JOSS, nomes de ferramentas Softcite, registros CRAN/conda) para testar a robustez.

Resultos Principais

1. Estratos Distintos de Ecossistema: As duas direções de impacto revelam camadas do ecossistema amplamente disjuntas.

   • Ciência $\to$ Software: Dominado por uma camada de reprodutibilidade/empacotamento (ex: nf-core, Nextflow, Singularity, Bioconda) e ferramentas de análise de sequências (SAMtools, STAR). Essas ferramentas são adotadas integralmente por muitas pipelines.
   • Software $\to$ Ciência (Proxy): Dominado por um nível de infraestrutura invisível de ML/ciência de dados (ex: PyTorch, seaborn, NLTK, einops). Essas ferramentas possuem alto grau de entrada de dependência, mas são raramente citadas diretamente como o substrato habilitador.
   • Acadêmicos: Os autores que sustentam o ecossistema são primariamente os criadores das ferramentas (ex: Paolo Di Tommaso para Nextflow, Heng Li para SAMtools).

2. Acoplamento Fraco de Métricas:

   • Reúso vs. Popularidade: O grau de entrada de dependência correlaciona-se fracamente com estrelas do GitHub (Spearman $\rho = 0,36$). Ferramentas de alta dependência como cloudflare/circl (9.459 dependentes) podem ter pouquíssimas estrelas (150).
   • Reúso vs. Citação: A correlação entre o reúso de software e a citação acadêmica é frágil e sensível a lacunas.
     • Ao parear via artigos que nomeiam o repositório ($n=137$), a correlação é indetectável ($\rho = 0,05$, CI cruzando zero).
     • Ao parear via DOIs declarados pelo repositório ($n=1.067$), uma correlação positiva fraca emerge ($\rho = 0,13$, CI [0,07, 0,19]).
     • Os autores concluem que o sinal da correlação é um artefato de qual lacuna de ligação é tolerada; alegações de desacoplamento forte são prematuras dada a densidade atual dos dados.

3. Limitações de Ligação:

   • A Revocação é Baixa: O benchmark de ouro externo revela que a revocação do grafo para menções na seção de métodos é próxima de zero. O grafo captura uma "fatia fina e estruturalmente enviesada" (resumos, páginas de destino, referências) em vez do texto completo de métodos.
   • Viés da Semente (Seed): A semente SciCat cobre apenas ~11% das ferramentas anotadas por curadores no WoC e sobrepõe-se mal com repositórios JOSS. A triangulação com múltiplas âncoras confirma que nenhuma semente única captura o cenário completo.

4. Agentes de Codificação de IA:

   • O estudo identifica 58 repositórios científicos adotando agentes de codificação de IA (2023+).
   • A adoção está associada à intensidade de desenvolvimento (meses ativos, volume de commits) e juventude relativa, mas não com campo, popularidade (estrelas) ou tamanho da equipe.
   • Estudos de resultado pós-adoção são adiados devido ao tempo insuficiente para o acúmulo de estoques de impacto (citações/dependências).

Significância e Alegações
O artigo enquadra sua contribuição como evidência de viabilidade em vez de um registro definitivo.

• Mudança Conceitual: Ele consegue reestruturar a produção científica como uma cadeia de suprimentos onde artigos e software são bens coiguais, demonstrando que uma "lista de materiais" global e resolvida por identidade é construível.
• Insight Metodológico: Prova que a leitura de um único grafo global em diferentes direções revela estratos de impacto distintos e fracamente acoplados. Crucialmente, demonstra que contagens de citação e popularidade (estrelas) não podem substituir o reúso baseado em dependência como uma medida de impacto científico.
• Ressalvas: Os autores são explícitos ao afirmar que o acoplamento quantitativo entre reúso e citação é atualmente sensível demais às lacunas de ligação (viés de seleção, problemas de revocação) para sustentar fortes alegações causais. O "sinal" da correlação muda dependendo do método de pareamento.
• Utilidade Futura: O grafo construído fornece o substrato necessário para rastrear fenômenos emergentes (como agentes de IA) e, eventualmente, gerenciar riscos de cadeia de suprimentos (ex: identificar bibliotecas de "heróis ocultos" sem manutenção) que são atualmente invisíveis para a bibliometria.

O artigo conclui que, embora a densidade de ligação atual seja insuficiente para estimativas pontuais precisas, a direcionalidade dos achados é robusta o suficiente para motivar a inclusão de métricas conscientes de software e baseadas em dependências no arsenal da ciência da ciência.