Measuring coverage of cited fields by author publication histories

Resumen Técnico: Medición de la Cobertura de los Campos Citados por las Historias de Publicación de los Autores

Planteamiento del Problema
Los estudios bibliométricos utilizan frecuentemente las listas de referencias para caracterizar la diversidad disciplinaria, las combinaciones de conocimiento y la antigüedad de la literatura. Sin embargo, persiste una distinción crítica que no ha sido abordada: la relación entre la literatura citada y las historias de publicación específicas del autor que produce el trabajo. Una lista de referencias diversa puede estar bien representada en los registros previos de un equipo de investigación, mientras que en otro podría estar mayormente ausente. Las medidas existentes de diversidad de la experiencia suelen centrarse en las distancias entre los perfiles de los autores o en la composición de la cartera de citas de forma aislada, sin cuantificar la intersección entre ambas. El artículo postula que comprender la investigación en equipo requiere una medición específica de cuánto de la distribución de referencias citadas de un artículo está representada en las historias individuales de los autores frente a la historia combinada del equipo, y cuánto permanece sin cubrir.

Metodología
El estudio introduce un marco de descomposición ponderado por referencias para particionar los campos citados de un artículo focal en tres componentes:

1. Cobertura Individual Máxima ($M$): La proporción de categorías citadas cubiertas por el único autor con la historia más extensa y relevante.
2. Cobertura Adicional de Coautores ($D$): La proporción incremental de categorías citadas cubiertas al combinar las historias de todos los coautores, más allá de lo que cubre $M$.
3. Remanente No Cubierto ($E$): La proporción de categorías citadas ausentes en la historia de publicación observada de cada autor.

El marco distingue entre dos ventanas de observación: una ventana preproyecto (cinco años antes del inicio del proyecto) y una ventana de prepublicación (cinco años antes del artículo focal). Esto permite calcular el cambio neto de cobertura ($A = E_{pre} - E_{pub}$), separando las proporciones no cubiertas basales de las ganancias o pérdidas subsecuentes.

Datos y Secuencia Inferencial
El estudio utiliza un conjunto de datos vinculado que combina registros de subvenciones del Servicio de Información de Ciencia y Tecnología Nacional de Corea (NTIS), agradecimientos de la Fundación Nacional de Investigación (NRF) y publicaciones de OpenAlex. El análisis sigue una secuencia inferencial de tres etapas:

• Etapa de Descubrimiento: 115 artículos vinculados a subvenciones.
• Primera Etapa de Confirmación: 240 artículos (N total agrupado = 355 para diagnósticos exploratorios).
• Segunda Etapa de Confirmación: Un protocolo fijado prospectivamente que analiza 194 subvenciones (112 de uso de IA, 82 no relacionadas con IA) seleccionadas de un grupo mayor de 832.

La aplicación principal investiga si los proyectos clasificados como de uso de Inteligencia Artificial (IA) exhiben proporciones no cubiertas basales ($E_{pre}$) más altas en comparación con los proyectos no relacionados con la IA, probando hipótesis sobre el papel de la IA en la introducción de conocimiento desconocido.

Contribuciones Clave y Métricas

• Descomposición de la Cobertura: El artículo proporciona un método reproducible para separar las porciones de cobertura individual, colectiva e no cubierta en un denominador común, ponderado por la frecuencia de citación.
• Análisis de Énfasis de Citación: A través de experimentos de reasignación dentro de los artículos, el estudio mantiene constantes las historias de los autores, la diversidad y los totales de campo mientras permuta los recuentos de citación. Esto aísla el efecto de dónde se colocan las citas (campos cubiertos vs. no cubiertos) independientemente de la composición de la cartera.
• Distinción de la Familiaridad: El autor establece explícitamente que $E$ mide la ausencia de evidencia indexada, no la ausencia de experiencia o aprendizaje real. Es un recuento descriptivo de la intersección entre las citas y los registros, no un indicador de familiaridad cognitiva.

Resultados

• Diagnósticos Exploratorios:

  • La diversidad de referencias (entropía de Shannon) permanece asociada positivamente con la proporción no cubierta ($E_{pre}$) incluso tras ajustar por número de autores, número de referencias y volumen de la historia. En la etapa de descubrimiento, añadir diversidad al modelo aumentó el $R^2$ de 0.328 a 0.502.
  • Énfasis de Citación: Las carteras reales asignan significativamente menos peso a los subcampos no cubiertos que los referentes estructurales. En la etapa de descubrimiento, la proporción no cubierta observada fue 8.66 puntos porcentuales inferior al referente de reasignación condicionado al campo (IC del 95%: 6.22–11.36). Este contraste persistió incluso tras excluir las referencias en el propio subcampo primario del artículo.
  • Efectos de Agregación: En los artículos de uso de IA, la "cobertura adicional de coautores" ($D$) promedia un 10.89% por artículo, pero solo un 3.45% por ocurrencia de referencia en la primera etapa de confirmación, resaltando cómo las métricas de agregación pueden oscurecer la contribución marginal de los coautores a citas específicas.

• Aplicación de la IA (Prueba de Hipótesis):

  • Descubrimiento: Sugirió una asociación positiva entre el uso de IA y la proporción no cubierta.
  • Primera Confirmación: Falló la prueba principal de cambio de cobertura neta positiva ($A$).
  • Segunda Confirmación: El punto final principal se desplazó a $E_{pre}$ (proporción no cubierta preproyecto) basado en resultados anteriores. El coeficiente de uso de IA fue cercano a cero (+0.455 puntos, IC del 95%: −6.831 a 7.742) bajo el ajuste de campo padre y (+0.517 puntos, IC del 95%: −7.395 a 8.428) bajo el ajuste de campo detallado.
  • Conclusión sobre la IA: El estudio no confirma que los proyectos de uso de IA tengan una proporción no cubierta basal más alta. Aunque los proyectos de IA citan más literatura de IA, esta literatura suele estar ya representada en los registros previos de los autores.

Significancia y Reivindicaciones
El artículo afirma ofrecer un relato reproducible del énfasis de la citación en relación con las historias de publicación documentadas. Su principal contribución es metodológica: establece un marco para cuantificar qué parte de los campos citados de un artículo están "cubiertos" por el trabajo pasado del equipo frente a los "no cubiertos".

El autor es modesto en sus afirmaciones, enfatizando que:

1. Cobertura $\neq$ Familiaridad: Una referencia no cubierta indica una falta de historia indexada, no necesariamente una falta de experiencia o aprendizaje.
2. Sin Mecanismo Causal: El estudio describe asociaciones y contrastes estructurales, pero no establece mecanismos causales de por qué los equipos citan campos no cubiertos o cómo se adquiere el conocimiento.
3. Dependencia del Contexto: Los resultados son específicos para la población conservadora y vinculada de subvenciones coreanas y no necesariamente se generalizan a todos los contextos de investigación sin una validación adicional.
4. Límites de Interpretación: El marco identifica la relación entre el énfasis de la citación y los registros, pero no establece la falta de familiaridad. El fallo en la confirmación de la asociación de la IA sugiere que la investigación de IA en esta muestra no depende necesariamente de campos ajenos a los registros previos de los autores.

En última instancia, el artículo sostiene que medir la cobertura proporciona una capa necesaria de granularidad al análisis bibliométrico, distinguiendo entre la diversidad de las referencias de un artículo y la alineación de esas referencias con la experiencia documentada del autor.