The disruption index suffers from citation inflation and is confounded by shifts in scholarly citation practice
Cet article démontre que l'indice de disruption (CD) décline systématiquement au fil du temps en raison de l'inflation des citations et de l'évolution des pratiques de citation plutôt qu'en raison de changements réels dans l'innovation, un constat soutenu par la déduction mathématique, des simulations et l'analyse empirique de données de publication.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayiez de mesurer à quel point une nouvelle invention est « révolutionnaire ». Dans le monde de la science et des brevets, les chercheurs ont développé un score spécial appelé l'Indice de Disruption (CD). Voyez cet indice comme un « compteur de coolitude » pour les idées. Si un nouvel article ou un brevet est véritablement disruptif, c'est comme un super-héros qui arrive et change tellement la donne que tout le monde arrête de regarder les anciens méchants (les idées précédentes) pour ne regarder que le nouveau héros. Dans ce scénario, les scientifiques du futur citent le nouveau héros et ignorent les anciens méchants. L'indice tente de compter ces citations pour voir si une idée ouvre de nouveaux horizons ou si elle se contente de s'appuyer sur ce qui existait déjà.
Pourquoi est-ce important ? Parce que les gouvernements, les universités et les entreprises veulent savoir si nous devenons meilleurs pour inventer de nouvelles choses. Si le « compteur de coolitude » commence à chuter, cela pourrait signifier que nous manquons de grandes idées capables de changer le monde. Mais et si le compteur était cassé ? Et si ce n'était pas que nos idées deviennent moins « cool », mais que la façon dont nous les comptons présente un bug ? C'est la grande question que les scientifiques se posent actuellement : la baisse de la « disruption » est-elle une véritable crise du progrès humain, ou s'agit-il simplement d'une erreur de mesure ?
Le Grand Bug de la Citation
Dans cet article, les auteurs agissent comme des détectives du numérique enquêtant sur une chute suspecte de l'Indice de Disruption. Ils soutiennent que l'indice ne montre pas réellement que la science devient moins innovante. Au lieu de cela, ils démontrent que l'indice souffre d'un cas massif d'« inflation de citations ».
Pour comprendre cela, imaginez une bibliothèque où chaque livre devient de plus en plus épais. Autrefois, un livre pouvait avoir une liste courte de « livres lus pour écrire celui-ci » (références) à la fin. Mais avec le temps, les auteurs ont commencé à ajouter de plus en plus de livres à cette liste. Maintenant, imaginez qu'un nouveau livre arrive. Parce que les listes dans chaque livre sont si longues, il devient statistiquement presque impossible pour un nouveau livre d'être le seul que les gens citent. Même si ce nouveau livre est extraordinaire, quelqu'un d'autre mentionnera inévitablement l'une des longues listes anciennes provenant d'un autre livre.
Les auteurs expliquent que l'Indice de Disruption est comme une balance qui s'alourdit de plus en plus d'un côté. La formule de l'indice possède un « dénominateur » (le chiffre du bas) qui devient énorme à mesure que les listes de références s'allongent. À mesure que ce chiffre du bas explose, le score final est écrasé vers zéro, faisant paraître tout plus moins disruptif, même si les idées sont en réalité tout aussi révolutionnaires qu'auparavant.
Les Deux Suspects : Comportement et Structure
L'article identifie deux raisons principales pour lesquelles l'indice chute, et aucune des deux n'a de lien avec un manque de génie au sein de la communauté scientifique.
Le Suspect Structurel (Inflation de Citations) : C'est le plus important. Il s'agit d'un problème mécanique. À mesure que le nombre d'articles scientifiques augmente et que le nombre de références par article croît, le « bruit » dans le réseau de citations augmente. Les auteurs utilisent une preuve mathématique et des simulations informatiques pour montrer que si l'on arrêtait simplement la croissance des listes de références, le score de « disruption » cesserait de chuter. C'est comme un thermomètre qui affiche une température plus basse non pas parce que la pièce se refroidit, mais parce que quelqu'un tient un énorme glaçon contre lui.
Le Suspect Comportemental : Cela concerne la façon dont les scientifiques se comportent réellement. Des phénomènes comme l'« auto-citation » (les auteurs citant leurs propres travaux précédents) ou le fait de citer des articles populaires simplement pour paraître crédibles sont devenus plus courants. Cela crée davantage de « triangles » de citations où tout le monde pointe vers tout le monde, ce que l'indice interprète comme de la « consolidation » plutôt que de la « disruption ».
L'Expérience PNAS : Un Test en Conditions Réelles
Pour prouver leur point, les auteurs ont mis en place un « quasi-expérience » ingénieuse en utilisant la revue PNAS (Proceedings of the National Academy of Sciences). Cette revue possède deux formats :
- Articles standards : Imprimés dans le magazine et en ligne, avec des limites strictes sur leur longueur.
- Articles PNAS Plus : Uniquement en ligne, ce qui permet aux auteurs d'écrire des articles plus longs avec des listes de références beaucoup plus longues.
Les auteurs ont comparé ces deux groupes. Ils sont presque identiques à tous les niveaux — même revue, même processus de révision, mêmes auteurs — à l'exception de la longueur de la liste de références. Le résultat ? Les articles PNAS Plus, avec leurs listes plus longues, avaient des scores de Disruption nettement inférieurs. Cela a confirmé que la longueur de la liste de références à elle seule tirait le score vers le bas, prouvant que l'« inflation » des citations était le coupable, et non un manque d'innovation.
Et Quid de la Taille des Équipes ?
Une autre idée populaire dans la recherche récente était que les équipes plus grandes produisent un travail moins disruptif. Les auteurs ont réanalysé les données à ce sujet, en examinant 7,8 millions d'articles. Ils ont découvert qu'une fois les erreurs de mesure corrigées (comme la prise en compte de la longueur des listes de références), la relation entre la taille de l'équipe et la disruption était presque inexistante.
En fait, ils ont découvert que la « chute » de la disruption au fil du temps est si faible qu'elle n'est pratiquement que du bruit statistique. Lorsqu'ils ont examiné l'effet de la taille de l'équipe, la différence était si infime (environ 0,09 écart-type) qu'elle est pratiquement invisible. L'article suggère que l'idée selon laquelle « les grandes équipes tuent l'innovation » est probablement un mirage créé par une mauvaise mathématique, et non par la réalité.
Le Verdict
Les auteurs concluent que l'Indice de Disruption est actuellement défaillant pour mesurer les tendances à long terme car il ne peut pas gérer le fait que les listes de références s'allongent de plus en plus. Ils soutiennent que la célèbre « baisse de la disruption » rapportée dans des études précédentes est probablement une illusion causée par cette inflation.
Ils ne disent pas que l'innovation s'est arrêtée ; ils disent que notre règle est déformée. Ils suggèrent que pour corriger cela, les revues pourraient devoir imposer un plafond au nombre de références qu'un auteur peut lister, de la même manière que certaines revues limitent le nombre de mots dans un article. Tant que nous ne réparons pas la règle, nous ne pourrons pas être certains si nous sommes réellement en train de manquer de grandes idées, ou si nous comptons simplement mal.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.