The Reciprocal Impact of Science and Software: A Cross-Corpus Analysis of How Research Shapes Software and Software Enables Research

Resumen Técnico: El Impacto Recíproco de la Ciencia y el Software

Planteamiento del Problema
El conocimiento científico y el software coevolucionan, pero están registrados en libros de contabilidad disjuntos: el software en ecosistemas de control de versiones (p. ej., GitHub) y la ciencia en bases de datos bibliográficas (p. ej., Semantic Scholar, OpenAlex). Esta separación hace que la "Cadena de Suministro de Ciencia-Software" (S3C) sea inobservable. Las métricas actuales no logran capturar la relación recíproca: la bibliometría cuenta citas pero omite la reutilización de software, mientras que las métricas de software (estrellas, forks) no reflejan el impacto académico. Además, los estudios existentes sobre menciones de software en la literatura sufren de una baja recuperación (recall) y una vinculación poco fiable con los artefactos reales, mientras que los análisis de dependencias suelen limitarse a ecosistemas individuales sin resolver las identidades de los desarrolladores. El artículo postula que, sin un vínculo global e identificado por identidad entre los artículos y los artefactos de software, la procedencia de la producción científica permanece opaca, lo que dificulta la gestión de riesgos (p. ej., identificar dependencias de "héroes ocultos") y la asignación eficiente de crédito.

Metodología
Los autores construyen un grafo de tipos cruzados que vincula el historial de control de versiones público casi completo (World of Code, V2604) con corpora bibliográficos (Semantic Scholar y OpenAlex).

• Fuentes de Datos:
  • Software: World of Code (WoC) proporciona commits, autores, proyectos y aristas de dependencia de proyecto a proyecto.
  • Ciencia: Semantic Scholar y OpenAlex proporcionan artículos, citas y menciones de software.
  • Semilla (Seed): 18,247 repositorios científicos del conjunto de datos SciCat, curados mediante clasificación por LLM para la intención científica.
• Construcción del Grafo:
  • El grafo contiene 69.8 millones de aristas a través de ocho capas, incluyendo depende de (software a software), menciona doi (software citando artículos), menciona repo (artículos nombrando software) e identidades puente (es lo mismo que) que reconcilian autores y DOIs.
  • La resolución de identidad utiliza el mapa de alias de autores de WoC y datos de ORCID/afiliación para vincular a los desarrolladores con identidades canónicas.
• Medidas de Impacto (Preguntas Recíprocas):
  • RQ1 (Ciencia $\to$ Software): Mide el "alcance" de los artículos en el software. Para un artículo, es el recuento de repositorios científicos distintos que lo citan. Para un autor, es el alcance de los repositorios a través de sus artículos.
  • RQ2 (Software $\to$ Ciencia): Mide el "habilitamiento" de la ciencia por parte del software.
    • Medida Estricta: Artículos que nombran un repositorio (dispersa, $n=137$).
    • Medida Proxy: Impacto del Ecosistema, definido como el grado de entrada (in-degree) inverso de depende de (número de proyectos distintos que dependen de un repositorio). Se utiliza como un proxy del habilitamiento científico porque el canal directo de artículo-a-software es demasiado disperso para clasificar eficazmente.
• Validación:
  • Interna: Comparación de dos extractores independientes (texto completo de Semantic Scholar vs. resúmenes de OpenAlex) para evaluar la recuperación (recall).
  • Externa: Un corpus de oro Softcite v2 (curado por humanos con menciones biomédicas/económicas) utilizado para acotar la recuperación e identificar sesgos estructurales (p. ej., menciones en la sección de métodos vs. resúmenes).
  • Triangulación: El análisis se realiza a través de múltiples anclajes (SciCat, JOSS, nombres de herramientas de Softcite, registros de CRAN/conda) para probar la robustez.

Resultos Clave

1. Estratos de Ecosistemas Distintos: Las dos direcciones de impacto revelan capas del ecosistema mayoritariamente disjuntas.

   • Ciencia $\to$ Software: Dominado por una capa de reproducibilidad/empaquetado (p. ej., nf-core, Nextflow, Singularity, Biocolas) y herramientas de análisis de secuencias (SAMtools, STAR). Estas herramientas son adoptadas íntegramente por muchas tuberías (pipelines).
   • Software $\to$ Ciencia (Proxy): Dominado por un nivel de infraestructura invisible de ML/ciencia de datos (p. ej., PyTorch, seaborn, NLTK, einops). Estas herramientas tienen un alto grado de entrada de dependencias pero rara vez se citan directamente como el sustrato habilitador.
   • Académicos: Los autores que sustentan el ecosistema son principalmente los creadores de las herramientas (p. ej., Paolo Di Tommaso para Nextflow, Heng Li para SAMtools).

2. Acoplamiento Débil de Métricas:

   • Reutilización vs. Popularidad: El grado de entrada de dependencias solo tiene una débil correlación con las estrellas de GitHub (Spearman $\rho = 0.36$). Herramientas de alta dependencia como cloudflare/circl (9,459 dependientes) pueden tener muy pocas estrellas (150).
   • Reutilización vs. Citación: La correlación entre la reutilización de software y la citación académica es frágil y sensible a las brechas de enlace.
     • Al emparejar mediante artículos que nombran el repositorio ($n=137$), la correlación es indetectable ($\rho = 0.05$, CI cruzando cero).
     • Al emparejar mediante DOIs declarados por el repositorio ($n=1,067$), emerge una débil correlación positiva ($\rho = 0.13$, CI [0.07, 0.19]).
     • Los autores concluyen que el signo de la correlación es un artefacto de qué brecha de enlace se tolera; las afirmaciones de un fuerte desacoplamiento son prematuras dado el estado actual de la densidad de los datos.

3. Limitaciones de Vinculación:

   • La recuperación es baja: El benchmark de oro externo revela que la recuperación del grafo para las menciones en la sección de métodos es cercana a cero. El grafo captura una "rebanada delgada y estructuralmente sesgada" (resúmenes, páginas de aterrizaje, referencias) en lugar del texto completo de los métodos.
   • Sesgo de la Semilla: La semilla SciCat cubre solo ~11% de las herramientas anotadas por curadores en WoC y se solapa pobremente con los repositorios de JOSS. La triangulación con múltiples anclajes confirma que ninguna semilla única captura el panorama completo.

4. Agentes de Codificación de IA:

   • El estudio identifica 58 repositorios científicos que adoptan agentes de codificación de IA (2023+).
   • La adopción está asociada con la intensidad de desarrollo (meses activos, volumen de commits) y la juventud relativa, pero no con el campo, la popularidad (estrellas) o el tamaño del equipo.
   • Los estudios de resultados post-adopción se difieren debido al tiempo insuficiente para que los stocks de impacto (citas/dependencias) se acumulen.

Significancia y Reivindicaciones
El artículo enmarca su contribución como evidencia de factibilidad más que como un recuento definitivo.

• Cambio Conceptual: Logra redefinir la producción científica como una cadena de suministro donde los artículos y el software son bienes co-iguales, demostrando que un "listado de materiales" global e identificado por identidad es construible.
• Perspectiva Metodológica: Demuestra que leer un único grafo global en diferentes direcciones revela estratos de impacto distintos y débilmente acoplados. Crucialmente, demuestra que los recuentos de citación y la popularidad (estrellas) no pueden sustituir a la reutilización basada en dependencias como medida del impacto científico.
• Advertencias: Los autores son explícitos en que el acoplamiento cuantitativo entre la reutilización y la citación es actualmente demasiado sensible a las brechas de vinculación (sesgo de selección, problemas de recuperación) para apoyar afirmaciones causales sólidas. El "signo" de la correlación cambia dependiendo del método de emparejamiento.
• Utilidad Futura: El grafo construido proporciona el sustrato necesario para rastrear fenómenos emergentes (como los agentes de IA) y, eventualmente, gestionar los riesgos de la cadena de suministro (p. ej., identificar librerías de "héroes ocultos" sin mantenimiento) que actualmente son invisibles para la bibliometría.

El artículo concluye que, si bien la densidad de vinculación actual es insuficiente para estimaciones puntuales precisas, la direccionalidad de los hallazgos es lo suficientemente robusta como para motivar la inclusión de métricas conscientes del software y fundamentadas en dependencias en el conjunto de herramientas de la ciencia de la ciencia.