The disruption index suffers from citation inflation and is confounded by shifts in scholarly citation practice

Resumen Técnico: El índice de disrupción sufre de inflación de citas y cambios de confusión en la práctica de citación académica

Declaración del Problema
El índice de disrupción ($CD$) fue desarrollado para cuantificar el grado en que una contribución intelectual (por ejemplo, un artículo o una patente) supera a sus referencias citadas, identificando así innovaciones "disruptivas" que transforman las redes de conocimiento. Sin embargo, la literatura reciente ha reportado un descenso temporal sistemático en el $CD$, lo que sugiere un estancamiento en la innovación disruptiva. Este documento argumenta que el descenso observado no es un refleño de una disminución en la creatividad científica, sino un artefacto de medición impulsado por dos mecanismos no innovadores: el crecimiento secular en la producción de investigación y la inflación de citas (CI).

El problema central es que la formulación matemática del $CD$ es estructuralmente susceptible a la creciente densidad de las redes de citación. A medida que el número de publicaciones ($n(t)$) y la longitud promedio de la lista de referencias ($r(t)$) crecen con el tiempo, el denominador de la ecuación del $CD$ se expande desproporcionadamente, forzando al índice a converger hacia cero independientemente de la naturaleza disruptiva real del trabajo. Además, el índice se ve confundido por cambios de comportamiento en las prácticas de citación, como el aumento de la autocitación y el cierre triádico, que no están contemplados en la definición de la métrica.

Metodología
Los autores emplean un enfoque metodológico de cuatro vertientes para aislar y validar los efectos de la inflación de citas y las variables de confusión:

1. Deducción Matemática: Los autores reformulan la ecuación del $CD$ para demostrar su comportamiento de escala. Demuestran que $CD_p = \frac{N_i - N_j}{N_i + N_j + N_k}$, donde $N_k$ (citas a las referencias pero no al artículo focal) escala con el volumen total de citas. A medida que las listas de referencias crecen ($r(t) \uparrow$), $N_k$ aumenta, causando que la razón converja a cero.
2. Simulación Computacional: Utilizando un modelo de crecimiento de red de citación mecanístico validado, los autores generaron dos conjuntos de redes sintéticas. Un conjunto incluyó tasas de crecimiento empíricas tanto para el volumen de publicación como para la longitud de la lista de referencias (incorporando la CI), mientras que el segundo conjunto "congeló" el crecimiento de las longitudes de las listas de referencias ($r(t)$) después de un periodo específico, manteniendo el crecimiento del volumen de publicación. Esto permitió una comparación controlada de las tendencias del $CD$ con y sin inflación de citas.
3. Validación Cuasi-Experimental: Los autores analizaron el corpus de artículos de Proceedings of the National Academy of Sciences (PNAS) publicados entre 2011 y 2015. Compararon artículos tradicionales con artículos "PNAS Plus" (solo en línea, de formato largo). Estos dos grupos son casi idénticos en tamaño de equipo e impacto de citación, pero difieren significativamente en la longitud de la lista de referencias ($r_p$). Esta configuración aísla el efecto de la longitud de la referencia en el $CD$ controlando otras variables.
4. Regresión Multivariante: Se realizó un análisis de regresión a gran escala sobre 7.8 millones de artículos de 1995–2015 (obtenidos de SciSciNet). El modelo incluyó controles a nivel de publicación para el tamaño del equipo ($k_p$), la longitud de la lista de referencias ($r_p$) y el recuento de citas ($c_{p,5}$), así como efectos fijos para la revista y el año. Los autores abordaron específicamente los problemas de calidad de datos (por ejemplo, referencias faltantes en bases de datos tempranas) filtrando los artículos con cero referencias o recuentos de referencias insuficientes.

Contribuciones Clave

• Identificación de la Inflación de Citas (CI): El documento establece un vínculo causal entre el crecimiento secular de las longitudes de las listas de referencias y la disminución sistemática del índice de disrupción. Demuestra que el $CD$ es una medida extensiva en su denominador, lo que lo hace inherentemente sesgado contra las listas de referencias más largas.
• Crítica a las Pruebas de Robustez Previas: Los autores muestran que los intentos previos de corregir estas tendencias (por ejemplo, normalizando por campo-año o utilizando redes aleatorizadas) fallan porque no contabilizan adecuadamente la dependencia no lineal del $CD$ respecto a la longitud de la lista de referencias o los problemas específicos de calidad de datos (citas faltantes) prevalentes en los conjuntos de datos más antiguos.
• Reevaluación de las Relaciones de Covariables: El estudio cuestiona la ampliamente citada correlación negativa entre el $CD$ y el tamaño del equipo. Al controlar la longitud de la lista de referencias y las tendencias temporales, los autores demuestran que la relación entre el tamaño del equipo y la disrupción es insignificante y, en algunas especificaciones, ligeramente positiva.

Result los

• Hallazgos de la Simulación: En el modelo computacional, cuando se detuvo el crecimiento de las listas de referencias mientras el volumen de publicación continuaba aumentando, el descenso en el $CD$ se revirtió. Esto confirma que el crecimiento de $r(t)$, más que el crecimiento de $n(t)$ por sí solo, es el principal motor del descenso observado en el $CD$.
• Cuasi-Experimento: El análisis de los artículos PNAS vs. PNAS Plus reveló que las listas de referencias más largas de los artículos PNAS Plus resultaron en valores de $|CD|$ significativamente menores. La diferencia en la longitud de las referencias ($\approx 39\%$ más referencias) explicó casi el 100% de la diferencia de disrupción entre los dos grupos.
• Análisis de Regresión:
  • Tendencia Temporal: Tras controlar la longitud de la lista de referencias, el tamaño del equipo y el recuento de citas, la tendencia temporal residual en el $CD$ resultó estar al nivel del ruido (tamaño del efecto $\approx 0.06\sigma$). El descenso previamente reportado en la disrupción a través del tiempo desaparece en gran medida.
  • Tamaño del Equipo: La relación negativa entre el tamaño del equipo y el $CD$ reportada en la literatura previa es un artefacto del sesgo de variable omitida (específicamente la correlación entre el tamaño del equipo y la longitud de la lista de referencias). Cuando se controla adecuadamente, el efecto del tamaño del equipo sobre el $CD$ es insignificante (tamaño del efecto $\approx 0.09\sigma$) y cambia de negativo a positivo para equipos con 8 o más autores.
  • Coeficiente de Inflación de Citas: El coeficiente para la longitud de la lista de referencias ($r_p$) es negativo y estadísticamente significativo, confirmando que las listas de referencias más largas deprimen sistemáticamente la puntuación del $CD$.

Significancia y Reivindicaciones
El documento concluye que el índice de disrupción, en su forma actual, es susceptible de un error de medición severo debido a la inflación de citas y a los cambios no contabilizados en la práctica académica. En consecuencia, el creciente cuerpo de investigación que utiliza el $CD$ para identificar tendencias de declive en la innovación o para asociar estructuras de equipo específicas con la disrupción, probablemente se basa en correlaciones espurias.

Los autores afirman que el "declive en la disrupción" observado es un artefacto metodológico más que una realidad científica. Argumentan que la dependencia no lineal del $CD$ respecto a la longitud de la lista de referencias lo hace inadecuado para comparaciones longitudinales sin una corrección rigurosa para la inflación de citas. El documento sugiere que la investigación futura debería desarrollar nuevas métricas que sean neutrales a la inflación de citas o implementar medidas de política, como topes en las longitudes de las listas de referencias, para templar estos sesgos estructurales en la evaluación de la investigación. Los hallazgos ponen en duda la validez del uso del $CD$ como un indicador primario para monitorear la eficiencia y competitividad de la economía del conocimiento sin abordar estos fallos estructurales fundamentales.