💰 quantitative finance

The disruption index is biased by citation inflation

Cet article soutient que le déclin rapporté de la disruptivité scientifique est un artefact de l'« inflation de citations » — entraîné par l'allongement des listes de références et les autocitations — plutôt qu'une véritable diminution de l'innovation, rendant l'indice de disruption temporellement biaisé et inapproprié pour une analyse intertemporelle.

Auteurs originaux : Alexander M. Petersen, Felber Arroyave, Fabio Pammolli

Publié 2026-07-20

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alexander M. Petersen, Felber Arroyave, Fabio Pammolli

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de mesurer à quel point une nouvelle invention est « cool » ou « révolutionnaire » en regardant combien de personnes en parlent. Dans le monde de la science, les chercheurs font quelque chose de similaire en utilisant un outil appelé l'Indice de Disruption. Considérez cet indice comme un tableau de score pour les articles scientifiques et les brevets. Il tente de répondre à une question simple : ce nouveau travail a-t-il brisé les anciennes règles pour ouvrir une voie inédite, ou s'est-il contenté de construire une petite extension sur une maison existante ? Si un article est véritablement disruptif, les futurs scientifiques citeront le nouvel article mais ignoreront les anciens sur lesquels il s'appuyait. S'il est simplement de « consolidation », ils citeront à la fois le nouvel article et les anciens.

Pendant longtemps, les scientifiques ont utilisé ce tableau de score pour suivre l'histoire de l'innovation. Ils ont remarqué quelque chose d'inquiétant : les scores semblaient chuter. On aurait dit que la science moderne devenait moins révolutionnaire et que tout le monde se contentait de faire du surplace, en se copiant les uns les autres et en apportant de petites retouches. Cela a déclenché un grand débat : perdons-nous notre capacité à inventer de grandes choses ? Ou se passe-t-il autre chose ? Pour comprendre cela, vous devez savoir que les articles scientifiques ont deux parties : les nouvelles idées qu'ils présentent et la « liste de références » à la fin, qui est une liste de tous les articles plus anciens sur lesquels ils s'appuient.

Ce document, écrit par une équipe de chercheurs, soutient que le « déclin de la disruption » n'est pas dû au fait que les scientifiques perdent leur étincelle. Au contraire, ils suggèrent que le tableau de score lui-même est cassé à cause d'un phénomène qu'ils appellent l'« inflation des citations ». Tout comme l'argent peut perdre de sa valeur lorsqu'on en imprime trop, la valeur d'une citation unique change lorsque le nombre de citations explose. Les auteurs affirment que, parce que les scientifiques rédigent des listes de références de plus en plus longues et se citent les uns les autres de manière plus complexe et auto-référencée, les mathématiques derrière l'Indice de Disruption sont faussées. Ils ne disent pas que la science est mauvaise ; ils disent que la règle que nous utilisons pour la mesurer s'est étirée.

La grande inflation des références

Imaginez que vous soyez un étudiant rédigeant une dissertation d'histoire. Dans les années 1960, vous auriez peut-être dû trouver 9 livres pour appuyer votre argument. Vous les auriez lus, sélectionnés les meilleurs, et les auriez listés à la fin. Maintenant, faites un bond dans le présent. Vous avez Internet, et votre dissertation pourrait nécessiter 23, voire 50 sources. Ce n'est pas seulement parce qu'il y a plus de livres ; c'est parce que l'« offre » de références a gonflé.

Les auteurs de ce document soulignent que le nombre de références par article a augmenté de façon spectaculaire. Dans les années 1960, un article moyen comportait environ 9 références. Dans les années 2000, ce nombre était passé à 23. C'est une augmentation de 2,6 fois en 50 ans. Mais voici le point crucial : l'Indice de Disruption est une formule mathématique qui examine le ratio entre les nouvelles citations et les anciennes citations. Quand la liste de références (le « vieux » matériel) devient énorme, les mathématiques deviennent confuses.

Considérez l'Indice de Disruption comme un jeu de « patate chaude ». Si vous êtes le nouvel article, et que vous voulez gagner le prix de la « Disruption », vous devez faire en sorte que les futurs joueurs vous lancent la patate à vous et ne la lancent pas aux anciens articles que vous avez cités. Mais si votre liste de références est un sac massif de 50 anciens articles, les chances augmentent qu'au moins un de ces anciens articles soit une « superstar » que tout le monde cite de toute façon. Même si votre nouvel article est brillant, le nombre impressionnant d'anciens articles que vous avez cités signifie que les futurs scientifiques sont presque garantis de citer au moins l'un d'entre eux. Cela fait paraître votre nouvel article moins « disruptif » simplement parce que le dénominateur de l'équation mathématique est devenu trop grand.

Le problème de l'« auto-étreinte »

Il y a une deuxième partie à cette histoire d'inflation, et elle implique la façon dont les scientifiques se citent les uns les autres. Les auteurs appellent cela la fermeture triadique, une façon sophistiquée de dire « fermer le triangle ». Imaginez trois amis : Alice, Bob et Charlie. Si Alice cite Bob, et que Bob cite Charlie, il y a une forte probabilité qu'Alice cite également Charlie. Cela crée un triangle de citations très serré.

Autrefois, ces triangles se formaient naturellement. Mais aujourd'hui, les auteurs soutiennent que ces triangles se forment plus souvent à cause des auto-citations et des citations stratégiques. Les scientifiques peuvent citer leurs propres travaux précédents, ou ceux de leurs collègues proches, pour augmenter leurs propres chiffres ou aider leur revue. Cela crée un réseau de citations étroitement connectées. L'Indice de Disruption compte ces triangles serrés comme de la « consolidation » (et non de la disruption). Ainsi, à mesure que les scientifiques deviennent plus habiles pour construire ces réseaux de citations, l'indice pense qu'ils sont moins disruptifs, même s'ils font en réalité un excellent travail. C'est comme un juge qui noterait une gymnaste plus bas simplement parce qu'elle porte un costume très brillant et compliqué qui la fait paraître moins agile, même si ses acrobaties sont parfaites.

La simulation : Éteindre l'inflation

Pour prouver leur point, les chercheurs ne se sont pas contentés d'observer des données réelles ; ils ont construit une simulation informatique. Ils ont créé un monde fictif d'articles scientifiques qui croissait au fil du temps, tout comme le monde réel. Ils ont programmé ce monde fictif pour qu'il possède deux réglages différents :

Le monde « Sans Inflation » : Ici, le nombre de références par article restait identique, et les scientifiques ne changeaient pas leur façon de se citer.
Le monde « Avec Inflation » : Ici, ils ont programmé les articles pour qu'ils aient des listes de références plus longues et davantage de « fermeture triadique » (plus d'auto-citations et de citations de groupe), tout comme dans le monde réel.

Lorsqu'ils ont lancé la simulation avec les paramètres « Sans Inflation », l'Indice de Disruption est resté stable. Il n'a pas chuté. Mais lorsqu'ils ont activé les paramètres « Avec Inflation » — rendant les listes de références plus longues et les modèles de citation plus regroupés — l'Indice de Disruption a commencé à plonger, exactement comme cela se produit dans la vie réelle.

Cela suggère que la chute des scores de disruption n'est pas due au fait que les scientifiques deviennent moins créatifs. C'est parce que la métrique est sensible à la longueur de la liste de références. Les auteurs ont découvert qu'à mesure que le nombre de références ( $r$ ) augmente, le taux de « citation étrangère » ( $R_k$ ) augmente, ce qui force l'Indice de Disruption ($CD$) à se rapprocher de zéro. Dans leurs simulations, lorsqu'ils ont plafonné la longueur de la liste de références à un nombre fixe (comme 25 références) après un certain point, l'Indice de Disruption a cessé de chuter et a même commencé à remonter. Cela confirme que le « déclin » était un artefact de l'allongement des listes de références, et non un déclin de l'innovation.

Ce que cela signifie pour l'avenir

Les auteurs prennent soin de préciser qu'ils n'ont pas « résolu » le problème de la mesure de l'innovation, mais qu'ils ont identifié une faille majeure dans la règle actuelle. Ils soutiennent que l'Indice de Disruption, tel qu'il est utilisé actuellement, est biaisé et inapproprié pour comparer différentes périodes de temps. On ne peut pas comparer un article de 1960 avec un article de 2020 en utilisant cet indice car la « monnaie » des citations a changé.

Ils soulignent également que cette inflation affecte d'autres mesures. Par exemple, certaines études affirmaient que les équipes de recherche plus larges produisent un travail moins disruptif. Mais les auteurs ont découvert que lorsqu'ils tenaient compte du fait que les équipes plus larges ont également tendance à avoir des listes de références plus longues, la relation changeait. Il s'avère que les équipes plus larges pourraient en fait être plus disruptives, mais l'inflation des citations cachait ce fait.

Alors, quelle est la conclusion ? Le monde scientifique ne perd pas nécessairement son tranchant. Au lieu de cela, la façon dont nous mesurons ce tranchant a besoin d'une mise à jour. Les auteurs suggèrent que les revues pourraient devoir imposer un « plafond » au nombre de références qu'un article peut contenir, ou développer de nouvelles façons de mesurer la disruption qui ne soient pas confuses par le volume massif de citations. En attendant, nous devrions être très prudents avant d'utiliser l'Indice de Disruption pour dire que la science devient moins révolutionnaire. Il se pourrait bien que ce soit le tableau de score qui soit cassé, et non les joueurs.

Résumé technique : L'indice de disruption est biaisé par l'inflation des citations

Énoncé du problème
Des analyses récentes de réseaux de publications scientifiques et de brevets (par exemple, Park et al., Nature, 2023) ont suggéré que les contributions intellectuelles deviennent de moins en moins « disruptives » au fil du temps. L'indice de disruption ($CD$) est une mesure bibliométrique conçue pour quantifier le degré auquel une publication supplante les sources qu'elle cite. Cependant, cet article soutient que le déclin temporel de la disruptivité rapporté n'est pas le reflet d'un changement dans le système d'innovation, mais plutôt un artefact de changements systématiques dans la structure du réseau de citations, sans lien avec le progrès scientifique. Plus précisément, les auteurs identifient l'« inflation des citations » (CI) — une augmentation systématique et dépendante du temps du nombre de liens au sein des réseaux de citations — comme le principal moteur rendant l'indice $CD$ inapproprié pour une analyse trans-temporelle.

Méthodologie
Pour démontrer que le déclin de $CD$ est un artefact de mesure plutôt qu'un phénomène réel, les auteurs emploient trois lignes de critique complémentaires :

Analyse déductive : Les auteurs réexaminent la définition mathématique de l'indice de disruption. $CD_p$ est défini comme le rapport $(N_i - N_j) / (N_i + N_j + N_k)$ , où :
- $N_i$ : Citations de l'article focal $p$ qui ne citent pas ses références.
- $N_j$ : Citations à la fois de $p$ et de ses références (fermeture triadique/consolidation).
- $N_k$ : Citations des références de $p$ qui ne citent pas $p$ (citations extrinsèques).
  Les auteurs soutiennent qu'à mesure que la longueur des listes de références ( $r_p$ ) augmente au fil du temps, la probabilité de citer des articles hautement cités au sein de ces listes augmente. Cela provoque une croissance non bornée de $N_k$ (le terme du dénominateur), tandis que le numérateur ( $N_i - N_j$ ) reste borné. Par conséquent, $CD_p$ est mathématiquement prédisposé à converger vers zéro à mesure que les listes de références s'allongent.
Analyse empirique : Utilisant l'ensemble de données Microsoft Academic Graph (MAG) (environ 29,5 millions d'articles de 1945 à 2012), les auteurs analysent la corrélation entre l'indice de disruption et les moteurs de l'inflation des citations. Ils emploient des modèles de régression linéaire avec effets fixes annuels pour contrôler la croissance séculaire, analysant la relation entre $CD$, le nombre de références ( $r_p$ ) et la taille de l'équipe ( $k_p$ ).
Modélisation computationnelle : Les auteurs utilisent un modèle de réseau génératif (modèle de croissance et de redirection) pour construire des réseaux de citations synthétiques. Cette approche permet d'isoler des variables spécifiques. Ils simulent des réseaux selon six scénarios variant :
- La présence ou l'absence d'inflation des citations (croissance de la longueur de la liste de références, $g_r$ ).
- Le taux de fermeture triadique (mécanisme de redirection, $\beta$ ).
- La taille de la fenêtre de citation ($CW$).
  En contrôlant ces paramètres, ils testent si le déclin de $CD$ persiste en l'absence d'inflation des citations.

Résultats clés

Biais mathématique : L'analyse confirme que $CD$ est biaisé car le terme $R_k = N_k / (N_i + N_j)$ est une quantité extensive qui croît avec la taille des listes de références. À mesure que les listes de références s'allongent, $N_k$ augmente de manière disproportionnée, entraînant $CD$ vers zéro indépendamment de la nature réellement disruptive de la publication.
Corrélation empirique : Dans l'ensemble de données MAG, le nombre moyen de références par article ( $r(t)$ ) est passé d'environ 9 dans les années 1960 à environ 23 dans les années 2000 (une augmentation de 2,6 fois). Cette croissance est fortement corrélée au déclin de $CD$. L'analyse de régression montre une relation négative significative entre $CD$ et le logarithme du nombre de références, tandis que la relation avec la taille de l'équipe ( $k_p$ ) est positive lorsque l'on contrôle la longueur des références, contredisant les conclusions précédentes qui suggéraient une corrélation négative.
Preuves de simulation :
- Dans les réseaux synthétiques où les longueurs de listes de références sont constantes ( $g_r = 0$ ), $CD$ ne présente pas de tendance descendante systématique, même lorsque le volume de publication augmente.
- Lorsque les longueurs de listes de références croissent exponentiellement ( $g_r > 0$ ), $CD$ décline rapidement, reflétant les observations empiriques.
- L'augmentation du taux de fermeture triadique ( $\beta$ ) affecte également $CD$, mais l'inflation des citations ( $g_r$ ) est le facteur dominant qui pousse la convergence vers zéro.
- L'extension de la fenêtre de citation ($CW$) ne résout pas le biais ; $CD$ converge toujours vers zéro à mesure que $r(t)$ augmente.
Simulation d'intervention : Une intervention politique hypothétique plafonnant la longueur des listes de références à une valeur fixe (25) après un point temporel spécifique ( $T^*$ ) entraîne un renversement immédiat de la tendance de $CD$, passant d'une diminution à une augmentation. Cela confirme que le déclin est piloté par l'expansion des listes de références plutôt que par des changements intrinsèques du comportement scientifique.

Signification et revendications
L'article affirme que la diminution observée de la disruptivité scientifique est un « problème de mesure fondamental » causé par l'inflation des citations, et non un véritable changement dans la nature de l'innovation. Les auteurs affirment que :

Biais temporel : L'indice de disruption est temporellement biaisé et inapproprié pour les comparaisons trans-temporelles. Comparer les valeurs de $CD$ à travers différentes époques revient à comparer des prix sans ajuster pour l'inflation monétaire.
Variables de confusion : L'indice est confondu par les changements dans les pratiques de citation académique, notamment l'allongement des listes de références et l'augmentation du taux d'auto-citations et de fermeture triadique.
Implications politiques : Les auteurs suggèrent que pour atténuer ce biais, les revues pourraient envisager de plafonner la longueur des listes de références (par exemple, en fonction du type d'article ou du nombre de pages). Une telle politique pourrait stabiliser la métrique $CD$ et réduire le biais systématique introduit par l'inflation des citations.
Disponibilité des ressources : Pour faciliter la recherche sur les mesures exemptes de biais, les auteurs ont mis à disposition un ensemble de réseaux de citations synthétiques, qui peuvent être utilisés pour tester d'autres indices basés sur les citations face au biais systématique.

En conclusion, les auteurs soutiennent que les chercheurs et les décideurs doivent distinguer les comptes « nominaux » des valeurs « réelles » dans l'évaluation scientifique. Sans tenir compte de la croissance dépendante du temps des réseaux de citations, des métriques comme $CD$ continueront de produire des interprétations trompeuses du progrès scientifique.

La grande inflation des références

Le problème de l'« auto-étreinte »

La simulation : Éteindre l'inflation

Ce que cela signifie pour l'avenir

Articles similaires