💻 computer science

A new impact for an AI-mediated science

Cet article soutient que la mesure traditionnelle de l'impact scientifique basée sur les citations devient obsolète à une ère de revues dégroupées et d'accès aux connaissances médiatisés par l'IA, nécessitant un nouveau système qui reconnaisse et mesure les contributions de l'engagement envers l'IA, des bibliothèques open-source et des ensembles de données qui ne font pas l'objet de publications formelles.

Auteurs originaux : Fabio Favoretto

Publié 2026-07-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fabio Favoretto

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : La bibliothèque change, mais le tableau des scores, lui, ne bouge pas

Imaginez le monde de la science comme une immense bibliothèque. Depuis 70 ans, nous mesurons le « succès » d'un livre en comptant combien d'autres livres dans la bibliothèque contiennent une note disant : « J'ai lu celui-ci ». C'est le système de citation. Si un article est beaucoup cité, il est considéré comme important.

Mais l'auteur, Fabio Favoretto, soutient que la bibliothèque est en pleine rénovation massive. Nous passons d'un monde où les humains lisent des livres de la première à la dernière page à un monde où les assistants IA (comme les chatbots intelligents) sont le principal moyen pour les gens de trouver l'information.

Le problème ? L'ancien tableau des scores (compter les citations) est cassé car il ne peut pas voir les nouvelles choses que l'IA utilise réellement.

Analogie 1 : Le moteur invisible

Imaginez que vous conduisez une voiture. L'ancienne façon de juger le succès d'une voiture était de compter combien d'autres voitures klaxonnaient pour elle. Mais maintenant, la voiture fonctionne grâce à un nouveau moteur invisible fait de code logiciel et de données.

L'ancien système : Compte combien d'autres voitures ont klaxonné pour la voiture (l'article publié).
La nouvelle réalité : La voiture fonctionne en réalité grâce à un moteur invisible (des bibliothèques logicielles comme pandas ou NumPy). Ces moteurs sont si essentiels que la voiture ne peut pas avancer sans eux, mais ils ne sont jamais « klaxonnés » car ils ne sont pas écrits sous forme de livres formels.

L'article montre qu'un tiers des outils les plus importants utilisés par les scientifiques n'ont aucun article formel du tout. Ce ne sont que du code. L'ancien système de citation est aveugle à leur existence. C'est comme juger le succès d'un chef uniquement par les recettes qu'il a écrites, tout en ignorant le fait que sa cuisine fonctionne grâce à une marque spécifique et invisible de cuisinière pour laquelle il n'a jamais écrit de manuel.

Analogie 2 : Le bibliothécaire IA

Considérez un assistant IA comme un bibliothécaire super rapide qui répond à vos questions.

L'ancienne méthode : Si vous demandiez : « Que savons-nous du changement climatique ? », le bibliothécaire vous tendrait les livres les plus célèbres et les mieux notés des années 1990, car c'étaient ceux que les autres bibliothécaires recommandaient.
La nouvelle méthode : Le bibliothécaire IA regarde ce qui est utile en ce moment même. Il vous tend des livres plus récents, des guides plus pratiques et des résumés en accès libre.

L'article a découvert que l'IA nous montre une version de la science plus jeune, plus diversifiée et plus pratique que l'ancien système de citation.

L'écart : En science du climat, les 50 meilleurs articles présentés par une IA sont, en moyenne, 16 ans plus jeunes que les 50 meilleurs articles cités par les humains.
L'équité : L'IA est beaucoup plus susceptible de vous montrer des articles gratuits, en accès libre (comme un parc public), plutôt que des revues coûteuses et verrouillées (comme un club privé).

La solution proposée : L'« Indice d'Impact IA »

L'auteur propose une nouvelle façon de mesurer le succès appelée l'Indice d'Impact IA. Au lieu de compter combien de fois un article est cité, ce nouvel indice compte combien de fois un système d'IA « touche » une œuvre.

L'article définit trois façons dont une IA « touche » la science :

Récupération (Retrieval) : L'IA trouve l'article lorsque vous posez une question (comme un bibliothécaire qui sort un livre de l'étagère).
Génération (Generation) : L'IA écrit une réponse qui ressemble beaucoup à l'article (comme un étudiant qui résume un livre avec ses propres mots).
Mémorisation (Memorization) : L'IA peut se rappeler des faits spécifiques de l'article lorsqu'on lui demande directement (comme un champion de quiz qui se souvient d'une date précise).

Distinction cruciale : L'auteur prend grand soin de préciser que ce nouvel indice ne prouve pas que l'article est « vrai » ou « le meilleur ». Il prouve simplement que l'IA y a accédé. C'est une mesure d'accès, et non nécessairement de qualité.

Pourquoi est-ce important (Le « Et alors ? »)

L'article soutient que si nous ne mettons pas à jour notre système de notation, nous allons récompenser les mauvaises choses.

Le risque : Nous pourrions continuer à donner des prix à des personnes qui écrivent des articles sophistiqués que plus personne ne lit, tout en ignorant ceux qui ont construit les outils logiciels et les jeux de données invisibles sur lesquels l'IA (et le reste de la science) repose réellement.
L'objectif : Nous avons besoin d'une nouvelle « technologie de confiance ». Tout comme les revues étaient autrefois le sceau d'approbation, nous avons besoin d'un système capable de voir et de créditer les logiciels, les données et les outils que l'IA utilise pour faire son travail.

Résumé en un mot

La science passe d'un monde de livres à un monde d'assistants IA. L'ancienne façon de mesurer le succès (compter les citations) revient à essayer de mesurer la popularité d'un jeu vidéo en comptant combien de personnes ont acheté le manuel d'instructions. Cela ignore le fait que le jeu lui-même (le code, les données, les outils) est ce avec quoi tout le monde joue réellement.

Cet article suggère de commencer à compter combien de fois l'IA « joue » avec la science, afin de pouvoir enfin donner du crédit aux outils invisibles qui font fonctionner la science moderne.

Résumé technique : Un nouvel impact pour une science médiée par l'IA

Énoncé du problème
L'article soutient que la pile d'évaluation scientifique traditionnelle, construite sur la revue comme « technologie de confiance » et sur les métriques basées sur les citations, est en train de se désaligner de la réalité de la pratique scientifique. Alors que les assistants d'IA médient de plus en plus la manière dont les chercheurs, les étudiants et les décideurs accèdent à la connaissance et la synthétisent, le système actuel ne parvient pas à mesurer les contributions qui alimentent réellement cette nouvelle couche de la science. Plus précisément, le système de citation ne peut « voir » ni récompenser l'infrastructure critique telle que les bibliothèques de logiciels open-source, les ensembles de données curatés et les méthodes de calcul qui ne possèdent pas d'articles d'origine formels. L'auteur postule qu'une divergence significative existe entre ce que les systèmes d'IA récupèrent et synthétisent, et ce que le système revue-citation récompense, créant un angle mort dans l'évaluation scientifique qui néglige le « travail invisible » de la science computationnelle.

Méthodologie
Pour quantifier cette divergence et proposer un nouveau cadre de mesure, l'auteur a mené une étude empirique à travers trois domaines scientifiques : l'écologie marine, la génomique biomédicale et les sciences de la Terre/climat.

Construction du registre : Un registre de 86 paquets de logiciels et de données, validé par un curateur, a été assemblé, identifié comme étant opérationnellement central pour les scientifiques actifs dans ces domaines. Chaque paquet a été classé selon sa provenance de citation (article d'origine complet, chemin de citation partiel ou absence de papier).
Corpus et conception des tâches : Un corpus stratifié de 1 350 articles (450 par domaine) a été extrait d'OpenAlex. Un ensemble de 90 questions de recherche standard (30 par domaine), vérifiées par des experts du domaine, a été créé pour simuler les interactions typiques d'un utilisateur avec un assistant d'IA.
L'Indice d'Impact de l'IA (AIII - AI Impact Index) : L'étude propose un cadre pour mesurer les « empreintes d'engagement » — des traces observables d'interaction avec l'IA — à travers trois canaux :
- Récupération (R-AIII) : Mesure si un article ou un outil est retourné par une recherche dans une base de données vectorielle (utilisant sentence-transformers/all-MiniLM et ChromaDB) lors de la réponse à des questions de recherche. Le score combine l'étendue des questions, l'étendue des types de tâches, la force de similitude et le retour pondéré par le rang.
- Génération (G-AIII) : Mesure l'alignement sémantique entre la sortie d'un modèle (générée uniquement à partir de la mémoire d'entraînement, sans augmentation par récupération via Claude Sonnet 4.5) et les résumés des articles du corpus.
- Mémorisation (M-AIII) : Interroge la capacité d'un modèle à se rappeler des découvertes spécifiques d'un article lorsqu'on lui demande directement, en utilisant une règle UNKNOWN conservatrice pour éviter la confabulation.
Validation et étalonnage : Le cadre a été validé par :
- Cohérence interne : Une validation croisée où les canaux d'IA prédisaient les uns les autres (Spearman $\rho \approx 0,43–0,49$ ), alors que les citations ne prédisaient rien.
- Ancrage externe : Corrélation avec un Indice d'Usage Externe (EUI) basé sur les téléchargements et les étoiles GitHub. Notamment, les métriques au niveau de l'article (y compris les citations et l'AIII) ont montré une corrélation nulle avec l'usage au niveau du paquet, soulignant la nature distincte de l'impact des articles par rapport à celui de l'infrastructure.
- Panel de référence : Comparaison avec les familles de métriques actuelles concernant la couverture de l'infrastructure, la composition des types d'articles et l'informativité au-delà des citations.

Résultats clés

Invisibilité de l'infrastructure : Un tiers des 86 ressources centrales du registre n'ont pas d'article d'origine formel. Un quart possède des articles d'origine cités des ordres de grandeur de moins que les ressources ne sont utilisées (ex: NumPy a environ 20 000 citations mais 770 millions de téléchargements mensuels). En science du climat, 60 % des paquets recensés n'ont aucun chemin de citation.
Paysages de récupération divergents : Les systèmes de récupération par IA font remonter une littérature systématiquement différente du classement basé sur les citations. En science du climat, l'année de publication médiane des 50 articles récupérés par l'IA est 2013, contre 1997 pour les 50 articles les plus cités. L'IA fait également remonter une plus grande proportion d'articles de méthodes et de revues de synthèse.
Implications pour l'équité : La littérature récupérée par l'IA présente des taux d'accès ouvert plus élevés (ex: 74 % contre 38 % en science du climat) et une plus grande diversité de journaux, suggérant que l'IA pourrait affaiblir la fonction de filtrage des revues héritées, bien qu'elle puisse concentrer l'influence de nouvelles manières.
Écart de mesure : Les mécanismes de financement et d'évaluation actuels, reposant sur les citations, ne parviennent pas à créditer les outils (ex: CDO, xarray, cartopy) sur lesquels la science médiée par l'IA fonctionne réellement.

Signification et revendications
L'article présente explicitement l'Indice d'Impact de l'IA comme un « prototype conceptuel » plutôt que comme une métrique d'impact entièrement validée. Sa principale signification est descriptive et diagnostique :

Visibilité : Il démontre que des traces mesurables d'engagement de l'IA existent aujourd'hui et révèlent une couche d'infrastructure scientifique (logiciels, données, méthodes) qui est opérationnellement centrale mais structurellement invisible pour le système de citation.
Recadrage de l'impact : L'article soutient que l'engagement de l'IA n'est pas une mesure de la vérité ou de l'importance épistémique, mais une mesure de « quelles contributions la nouvelle pile atteint déjà ». Il sert de signal nécessaire pour une nouvelle technologie de confiance qui doit remplacer le système revue-citation.
Agenda actionnable : L'auteur propose trois priorités indépendantes de l'indice spécifique : (1) construire un registre communautaire des infrastructures non publiées avec des événements d'usage sans citation ; (2) standardiser les types d'événements d'engagement de l'IA pour un enregistrement auditable ; et (3) établir une gouvernance pour ces métriques avant leur déploiement afin d'éviter les manipulations.

L'article conclut que, bien que le cadre soit exploratoire, la conclusion selon laquelle le système d'évaluation actuel ne peut voir l'infrastructure d'une science médiée par l'IA est robuste. Il affirme qu'un système d'évaluation aveugle à cette couche « mesure tout à fait la mauvaise chose » et que la capacité à mesurer ces traces est la condition préalable à un écosystème scientifique post-revue équitable.