Measuring coverage of cited fields by author publication histories

Résumé Technique : Mesurer la couverture des champs cités par les historiques de publication des auteurs

Énoncé du problème
Les études bibliométriques utilisent fréquemment les listes de références pour caractériser la diversité disciplinaire, les combinaisons de connaissances et l'ancienneté de la littérature. Cependant, une distinction critique reste non traitée : la relation entre la littérature citée et les historiques de publication spécifiques de l'auteur produisant le travail. Une liste de références diversifiée peut être bien représentée dans les dossiers antérieurs d'une équipe de recherche tout en étant largement absente dans ceux d'une autre. Les mesures existantes de la diversité de l'expertise se concentrent souvent sur les distances entre les profils d'auteurs ou sur la composition du portefeuille de citations de manière isolée, sans quantifier l'intersection entre les deux. L'article postule que la compréhension de la recherche en équipe nécessite une mesure spécifique de la part de la distribution des références citées d'un article qui est représentée dans les historiques individuels des auteurs par rapport à l'historique combiné de l'équipe, et de ce qui reste non couvert.

Méthodologie
L'étude introduit un cadre de décomposition pondéré par les références pour partitionner les champs cités d'un article focal en trois composantes :

1. Couverture individuelle maximale ($M$) : La part des catégories citées couverte par l'auteur unique possédant l'historique pertinent le plus étendu.
2. Couverture supplémentaire des coauteurs ($D$) : La part incrémentale des catégories citées couverte par la combinaison des historiques de tous les coauteurs, au-delà de ce que $M$ couvre.
3. Reste non couvert ($E$) : La part des catégories citées absente de l'historique de publication observé de chaque auteur.

Le cadre distingue deux fenêtres d'observation : une fenêtre pré-projet (cinq ans avant le début du projet) et une fenêtre pré-publication (cinq ans avant l'article focal). Cela permet de calculer le changement net de couverture ($A = E_{pre} - E_{pub}$), séparant les parts non couvertes de base des gains ou pertes ultérieurs.

Données et séquence inférentielle
L'étude utilise un ensemble de données liées combinant les dossiers de subventions du Service d'information sur la science et la technologie nationale coréenne (NTIS), les remerciements de la Fondation nationale de la recherche (NRF) et les publications OpenAlex. L'analyse suit une séquence inférentielle en trois étapes :

• Étape de découverte : 115 articles liés à des subventions.
• Première étape de confirmation : 240 articles (pool $N=355$ pour les diagnostics exploratoires).
• Seconde étape de confirmation : Un protocole fixé de manière prospective analysant 194 subventions (112 utilisant l'IA, 82 non-IA) sélectionnées parmi un pool plus large de 832.

L'application principale examine si les projets classés comme utilisant l'Intelligence Artificielle (IA) présentent des parts non couvertes de base ($E_{pre}$) plus élevées par rapport aux projets non-IA, testant ainsi les hypothèses concernant le rôle de l'IA dans l'introduction de connaissances unfamiliar (inconnues).

Contributions clés et métriques

• Décomposition de la couverture : L'article fournit une méthode reproductible pour séparer les parts de couverture individuelle, collective et non couverte sur un dénominateur commun, pondérée par la fréquence de citation.
• Analyse de l'emphase de la citation : À travers des expériences de réallocation intra-article, l'étude maintient constants les historiques des auteurs, la diversité et les totaux de champs tout en permutant les comptes de citations. Cela isole l'effet de l'endroit où les citations sont placées (champs couverts vs non couverts) indépendamment de la composition du portefeuille.
• Distinction de la familiarité : L'auteur précise explicitement que $E$ mesure l'absence de preuves indexées, et non l'absence de réelle expertise ou d'apprentissage. Il s'agit d'un compte descriptif de l'intersection entre les citations et les dossiers, et non d'un proxy pour la familiarité cognitive.

Résultats

• Diagnostics exploratoires :

  • La diversité des références (entropie de Shannon) reste positivement associée à la part non couverte ($E_{pre}$), même après ajustement pour le nombre d'auteurs, le nombre de références et le volume de l'historique. Dans l'étape de découverte, l'ajout de la diversité au modèle a augmenté le $R^2$ de 0,328 à 0,502.
  • Emphase de la citation : Les portefeuilles réels accordent significativement moins de poids aux sous-champs non couverts que les références de comparaison structurelles. Dans l'étape de découverte, la part non couverte observée était de 8,66 points de pourcentage inférieure au benchmark de réallocation conditionné par le champ (IC 95 % : 6,22–11,36). Ce contraste a persisté même après l'exclusion des références dans le propre sous-champ primaire de l'article.
  • Effets d'agrégation : Dans les articles utilisant l'IA, la « couverture supplémentaire des coauteurs » ($D$) est en moyenne de 10,89 % par article, mais seulement de 3,45 % par occurrence de référence dans la première étape de confirmation, soulignant comment les métriques d'agrégation peuvent occulter la contribution marginale des coauteurs à des citations spécifiques.

• Application de l'IA (Test d'hypothèse) :

  • Découverte : A suggéré une association positive entre l'utilisation de l'IA et la part non couverte.
  • Première confirmation : A échoué au test principal de changement de couverture net positif ($A$).
  • Seconde confirmation : Le point final principal a été déplacé vers $E_{pre}$ (part non couverte pré-projet) sur la base des résultats précédents. Le coefficient d'utilisation de l'IA était proche de zéro (+0,455 point, IC 95 % : −6,831 à 7,742) sous ajustement du champ parent et (+0,517 point, IC 95 % : −7,395 à 8,428) sous ajustement de champ détaillé.
  • Conclusion sur l'IA : L'étude ne confirme pas que les projets utilisant l'IA ont une part non couverte de base plus élevée. Bien que les projets d'IA citent davantage la littérature de l'IA, cette littérature est souvent déjà représentée dans les dossiers antérieurs des auteurs.

Signification et revendications
L'article affirme offrir un compte reproductible de l'emphase de la citation par rapport aux historiques de publication documentés. Sa principale contribution est méthodologique : il établit un cadre pour quantifier quelle part des champs cités d'un article est « couverte » par le travail passé de l'équipe par rapport à ce qui est « non couvert ».

L'auteur est modeste dans ses affirmations, soulignant que :

1. Couverture $\neq$ Familiarité : Une référence non couverte indique une absence d'historique indexé, et non nécessairement une absence d'expertise ou d'apprentissage.
2. Pas de mécanisme causal : L'étude décrit des associations et des contrastes structurels, mais n'établit pas de mécanismes causaux expliquant pourquoi les équipes citent des champs non couverts ou comment les connaissances sont acquises.
3. Dépendance au contexte : Les résultats sont spécifiques à la population conservatrice et liée de subventions coréennes et ne se généralisent pas nécessairement à tous les contextes de recherche sans validation supplémentaire.
4. Limites d'interprétation : Le cadre identifie la relation entre l'emphase de la citation et les dossiers, mais n'établit pas l'unfamiliarité. L'échec de la confirmation de l'association avec l'IA suggère que la recherche en IA dans cet échantillon ne repose pas nécessairement sur des domaines extérieurs aux dossiers antérieurs des auteurs.

En fin de compte, l'article soutient que mesurer la couverture fournit une couche de granularité nécessaire à l'analyse bibliométrique, distinguant la diversité des références d'un article de l'alignement de ces références avec l'expertise documentée de l'auteur.