The disruption index suffers from citation inflation and is confounded by shifts in scholarly citation practice

Resumo Técnico: O Índice de Disrupção Sofre de Inflação de Citações e Mudanças de Confundimento nas Práticas de Citação Acadêmica

Definição do Problema
O índice de disrupção ($CD$) foi desenvolvido para quantificar o grau em que uma contribuição intelectual (por exemplo, um artigo ou patente) supera suas referências citadas, identificando assim inovações "disruptivas" que alteram as redes de conhecimento. No entanto, a literatura recente tem relatado um declínio temporal sistemático no $CD$, sugerindo um estagnação na inovação disruptiva. Este artigo argumenta que o declínio observado não é um reflexo da diminuição da criatividade científica, mas sim um artefato de medição impulsionado por dois mecanismos não inovativos: o crescimento secular na produção de pesquisa e a inflação de citações (CI).

O problema central é que a formulação matemática do $CD$ é estruturalmente suscetível à crescente densidade das redes de citação. À medida que o número de publicações ($n(t)$) e o comprimento médio da lista de referências ($r(t)$) crescem ao longo do tempo, o denominador da equação do $CD$ expande-se desproporcionalmente, forçando o índice a convergir para zero, independentemente da natureza disruptiva real do trabalho. Além disso, o índice é confundido por mudanças comportamentais nas práticas de citação, como o aumento da autocitação e o fechamento triádico, que não são contabilizados na definição da métrica.

Metodologia
Os autores empregam uma abordagem metodológica de quatro frentes para isolar e validar os efeitos da inflação de citações e das variáveis de confusão:

1. Dedução Matemática: Os autores reformulam a equação do $CD$ para demonstrar seu comportamento de escala. Eles mostram que $CD_p = \frac{N_i - N_j}{N_i + N_j + N_k}$, onde $N_k$ (citações às referências, mas não ao artigo focal) escala com o volume total de citações. À medida que as listas de referências crescem ($r(t) \uparrow$), $N_k$ aumenta, fazendo com que a razão convirja para zero.
2. Simulação Computacional: Utilizando um modelo de crescimento de rede de citações mecanístico validado, os autores geraram dois conjuntos de redes sintéticas. Um conjunto incluiu taxas de crescimento empíricas tanto para o volume de publicação quanto para o comprimento da lista de referências (incorporando a CI), enquanto o segundo conjunto "suprimiu" o crescimento dos comprimentos das listas de referências ($r(t)$) após um período específico, mantendo o crescimento do volume de publicações. Isso permitiu uma comparação controlada das tendências de $CD$ com e sem a inflação de citações.
3. Validação Quase-Experimental: Os autores analisaram o corpus de artigos da Proceedings of the National Academy of Sciences (PNAS) publicados entre 2011 e 2015. Eles compararam artigos tradicionais com artigos "PNAS Plus" (apenas online, formato longo). Estes dois grupos são quase idênticos em tamanho de equipe e impacto de citação, mas diferem significativamente no comprimento da lista de referências ($r_p$). Esta configuração isola o efeito do comprimento da referência no $CD$ enquanto controla outras variáveis.
4. Regressão Multivariada: Uma análise de regressão em larga escala foi realizada em 7,8 milhões de artigos de 1995–2015 (extraídos do SciSciNet). O modelo incluiu controles ao nível da publicação para tamanho de equipe ($k_p$), comprimento da lista de referências ($r_p$) e contagens de citações ($c_{p,5}$), bem como efeitos fixos para jornal e ano. Os autores abordaram especificamente problemas de qualidade de dados (ex: referências ausentes em bases de dados mais antigas) filtrando artigos com zero referências ou contagens de referências insuficientes.

Principais Contribuições

• Identificação da Inflação de Citação (CI): O artigo estabelece um elo causal entre o crescimento secular dos comprimentos das listas de referências e a diminuição sistemática do índice de disrupção. Demonstra que o $CD$ é uma medida extensiva em seu denominador, tornando-o inerentemente enviesado contra listas de referências mais longas.
• Crítica aos Testes de Robustez Anteriores: Os autores mostram que tentativas anteriores de corrigir essas tendências (ex: normalizando por campo-ano ou usando redes aleatorizadas) falham porque não contabilizam adequadamente a dependência não linear do $CD$ em relação ao comprimento da lista de referências ou os problemas específicos de qualidade de dados (citações ausentes) prevalentes em bases de dados mais antigas.
• Reavaliação das Relações de Covariáveis: O estudo desafia a amplamente citada correlação negativa entre $CD$ e tamanho de equipe. Ao controlar o comprimento da lista de referências e as tendências temporais, os autores demonstram que a relação entre tamanho de equipe e disrupção é negligenciável e, em algumas especificações, ligeiramente positiva.

Resultados

• Achados da Simulação: No modelo computacional, quando o crescimento da lista de referências foi interrompido enquanto o volume de publicação continuou a subir, o declínio no $CD$ reverteu-se. Isso confirma que o crescimento de $r(t)$, e não o crescimento de $n(t)$ isoladamente, é o principal motor do declínio observado no $CD$.
• Quase-Experimento: A análise de artigos PNAS vs. PNAS Plus revelou que as listas de referências mais longas dos artigos PNAS Plus resultaram em valores de $|CD|$ significativamente menores. A diferença no comprimento da referência ($\approx 39\%$ mais referências) explicou quase 100% da diferença de disrupção entre os dois grupos.
• Análise de Regressão:
  • Tendência Temporal: Após controlar o comprimento da lista de referências, o tamanho da equipe e as contagens de citações, a tendência temporal residual no $CD$ foi encontrada no nível de ruído (tamanho do efeito $\approx 0,06\sigma$). O declínio previamente relatado na disrupção ao longo do tempo praticamente desaparece.
  • Tamanho de Equipe: A relação negativa entre o tamanho da equipe e o $CD$ reportada na literatura anterior é um artefato de viés de variável omitida (especificamente a correlação entre tamanho de equipe e comprimento da lista de referências). Quando devidamente controlado, o efeito do tamanho da equipe sobre o $CD$ é negligenciável (tamanho do efeito $\approx 0,09\sigma$) e muda de negativo para positivo para equipes com 8 ou mais autores.
  • Coeficiente de Inflação de Citação: O coeficiente para o comprimento da lista de referências ($r_p$) é negativo e estatisticamente significativo, confirmando que listas de referências mais longas deprimem sistematicamente o escore $CD$.

Significância e Alegações
O artigo conclui que o índice de disrupção, em sua forma atual, é suscetível a erros de medição severos devido à inflação de citações e mudanças não contabilizadas nas práticas acadêmicas. Consequentemente, o crescente corpo de pesquisas que utiliza o $CD$ para identificar tendências de declínio de inovação ou para associar estruturas de equipe específicas à disrupção é provavelmente baseado em correlações espúrias.

Os autores alegam que o "declínio na disrupção" observado é um artefato metodológico e não uma realidade científica. Argumentam que a dependência não linear do índice em relação ao comprimento da lista de referências o torna inadequado para comparações longitudinais sem uma correção rigorosa para a inflação de citações. O artigo sugere que pesquisas futuras devem desenvolver novas métricas que sejam neutras à inflação de citações ou implementar medidas políticas, como limites nos comprimentos das listas de referências, para mitigar esses vieses estruturais na avaliação de pesquisas. Os achados colocam em questão a validade do uso do $CD$ como um indicador primário para monitorar a eficiência e a competitividade da economia do conhecimento sem abordar essas falhas estruturais fundamentais.