Predicting Replication from Domain-Stripped Fingerprints, Where Citations Fail

La science repose sur une promesse simple : si vous répétez une expérience, vous devriez obtenir le même résultat. Pourtant, dans le monde moderne de la recherche, la façon la plus célèbre d'évaluer la valeur d'une étude consiste à compter combien de fois d'autres scientifiques la mentionnent dans leurs propres travaux. Ces mentions, appelées citations, agissent comme un concours de popularité. Plus un article est cité, plus il est supposé être précieux. Mais un soupçon grandissant suggère que ce système est défaillant. Une étude peut être extrêmement populaire et citée des milliers de fois simplement parce qu'elle dit quelque chose de surprenant ou de nouveau, même si cette découverte s'effondre lorsque quelqu'un tente de la répéter. En fait, certaines recherches suggèrent que les découvertes qui ne peuvent pas être répétées sont souvent citées encore plus que celles qui le peuvent. Cela crée un angle mort dangereux où la communauté scientifique récompense l'attention mais ignore la vérité.

Un chercheur de la KU Leuven, Eryk Kulikowski, a développé une nouvelle façon d'examiner les articles scientifiques qui sépare ces deux idées. Au lieu d'essayer de réduire la valeur d'un article à un chiffre unique, l'étude traite la qualité de la recherche comme un profil doté de deux côtés distincts. L'un est la nouveauté, qui mesure à quel point une idée est surprenante ou nouvelle. L'autre est la vérifiabilité, qui mesure la probabilité que le résultat tienne bon si quelqu'un répète l'expérience. L'étude soutient que le système de citation actuel ne voit que le premier côté. Il récompense la affirmation surprenante mais est presque aveugle au fait de savoir si cette affirmation est réellement solide. Pour corriger cela, le chercheur a construit un outil capable de lire le résumé d'un article et de prédire si ses conclusions survivront à un test de répétition, sans avoir besoin de connaître la condition médicale spécifique ou le problème social étudié.

La méthode fonctionne en dépouillant les détails spécifiques d'une étude pour révéler sa structure sous-jacente. Imaginez que vous preniez une machine complexe, que vous retiriez la peinture et les marques pour ne regarder que les engrenages et les leviers afin de comprendre comment elle fonctionne. Le chercheur a utilisé un modèle de langage pour lire des milliers de résumés scientifiques et les réécrire sous forme d'une « empreinte digitale ». Cette empreinte décrit le design de l'étude, ce qui a été mesuré et la manière dont les données ont été analysées, mais elle supprime tout le jargon spécifique aux maladies, aux populations ou aux substances chimiques. Cela permet à l'ordinateur de comparer une étude sur la mémoire chez l'humain avec une étude sur la mémoire chez le rat, ou une étude sur l'économie avec une étude sur la psychologie, car les empreintes se concentrent sur la mécanique partagée de la façon dont la science a été réalisée.

Une fois ces empreintes créées, le chercheur les a testées contre un programme informatique simple et transparent. Ce programme n'utilisait pas d'algorithmes complexes et cachés. Au lieu de cela, il recherchait des mots et des expressions spécifiques dans l'empreinte qui avaient tendance à apparaître dans les études qui étaient réussies lors d'une répétition par rapport à celles qui avaient échoué. Les résultats ont été frappants. Lorsque l'équipe a testé cette méthode sur une base de données de près de cinq cents études de psychologie, elle a prédit correctement si une étude serait reproductible environ soixante-huit pour cent du temps. C'est une amélioration significative par rapport à la norme actuelle, qui repose sur le nombre de citations. En fait, lorsque l'équipe a vérifié à quel point les comptes de citations prédisaient la reproduction, le résultat n'était pas meilleur qu'un choix aléatoire. Le système de citation était totalement incapable de dire quels résultats tiendraient bon et lesquels ne le feraient pas.

L'étude a également prouvé que ce nouvel outil n'apprenait pas simplement les noms de différents domaines scientifiques. Si l'ordinateur avait simplement appris que les études de « psychologie sociale » échouent plus souvent que les études de « psychologie cognitive », il aurait pu obtenir un bon score sans réellement comprendre la science. Mais lorsque les chercheurs ont testé l'outil au sein de sous-domaines spécifiques, il fonctionnait tout aussi bien. Il pouvait distinguer une étude solide d'une étude fragile même lorsque les deux portaient exactement sur le même sujet. De plus, l'outil fonctionnait tout aussi bien sur un ensemble de données complètement différent provenant d'un autre projet de recherche majeur, montrant que le signal trouvé était réel et non un coup de chance lié à un jeu de données spécifique.

Le constat le plus important fut ce qui se passa lorsque les chercheurs tentèrent de mélanger les deux côtés de la valeur de la recherche. Ils ont pris leur mesure de nouveauté et l'ont ajoutée à l'outil qui prédit la reproduction. Le résultat fut que la prédiction s'est dégradée. Cela a confirmé que la nouveauté et la vérifiabilité sont des choses véritablement distinctes. Une étude peut être hautement nouvelle et hautement fragile, ou peut être ennuyeuse et solide comme un roc. Le système de citation actuel échoue car il pèse lourdement sur le côté de la nouveauté, récompensant le surprenant et ignorant le solide. En forçant ces deux concepts dans un score unique, le système perd la capacité de voir la partie la plus importante : si la science est vraie.

Les chercheurs ont également constaté que cette nouvelle approche n'a pas besoin de lire l'intégralité du texte complet d'un article, souvent inaccessible. Elle fonctionne parfaitement en utilisant uniquement le résumé, la courte synthèse qui apparaît au début de chaque article. Cela rend l'outil peu coûteux et facile à utiliser pour n'importe quelle bibliothèque ou base de données. Tout le processus est transparent ; parce que le programme informatique est simple, les scientifiques peuvent examiner les mots spécifiques qu'il a utilisés pour prendre une décision et comprendre exactement pourquoi un article a été marqué comme susceptible de se reproduire ou susceptible d'échouer. Cela contraste nettement avec les autres outils modernes qui agissent comme des boîtes noires, donnant un score sans expliquer comment il a été atteint.

En fin de compte, ce travail offre une nouvelle façon de penser la valeur scientifique. Il suggère que nous devrions cesser d'essayer de classer chaque article avec un chiffre unique. Au lieu de cela, nous devrions regarder un profil qui nous montre à la fois à quel point une idée est nouvelle et la probabilité qu'elle soit vraie. L'outil développé dans cette étude fournit un moyen clair, honnête et transparent de mesurer la seconde partie de cette équation. Il montre que si nous ne pouvons pas toujours prédire quelles découvertes changeront le monde, nous pouvons désormais prédire, avec une précision raisonnable, quelles découvertes résisteront à l'épreuve du temps. Ce passage de la recherche d'attention à la vérification de la vérité pourrait aider les scientifiques, les bailleurs de fonds et le public à se concentrer sur les travaux qui tiennent réellement la route, plutôt que sur ceux qui font simplement le plus de bruit.