Traditional statistical representations outperform generative AI in identifying expert peer reviewers

Résumé technique : Les représentations statistiques traditionnelles surpassent l'IA générative dans l'identification des pairs experts pour l'examen par les pairs

Énoncé du problème
La croissance exponentielle des soumissions scientifiques a mis à rude épreuve le système mondial d'examen par les pairs, rendant l'identification manuelle des experts irréalisable. Bien que les institutions aient de plus en plus adopté les modèles de langage de grande taille (LLM) et les systèmes automatisés pour associer des examinateurs aux soumissions, la fiabilité de ces modèles génératifs dans l'identification précise des experts du domaine manque d'évaluation rigoureuse à grande échelle. Les méthodologies actuelles reposent souvent sur des étiquettes de substitution qui introduisent des biais (par exemple, des auto-évaluations ou une annotation humaine externe) et manquent d'une vérité terrain standardisée pour l'expertise scientifique. De plus, le domaine souffre d'un paysage fragmenté d'algorithmes sans consensus sur les méthodes de représentation qui permettent le mieux de retrouver des experts dans des environnements opérationnels.

Méthodologie
Les auteurs formulent l'identification d'experts comme un problème de recherche d'information (RI), en utilisant le système d'examen par les pairs distribué (DPR) de l'Observatoire européen austral (ESO) durant la période 110 (P110) comme banc d'essai. Ce cadre fournit un environnement « en boucle fermée » unique où les auteurs de propositions agissent simultanément comme le pool d'examinateurs, permettant une évaluation rigoureuse.

• Données : L'étude analyse 435 propositions et 379 examinateurs désignés par proposition uniques. Les principales données d'entrée sont les résumés de propositions et les profils d'expertise des examinateurs dérivés des résumés de publications (récupérés via NASA/ADS) et des mots-clés déclarés.
• Vérité terrain : L'étude emploie une stratégie de validation double :
  1. Étiquettes orales de substitution : Considérer l'« examinateur désigné par la proposition » (l'auteur nommé pour examiner le groupe de pairs de sa propre proposition) comme l'expert de vérité terrain pour cette proposition spécifique.
  2. Étiquettes déclarées : Comparer les scores de récupération aux niveaux d'expertise auto-catégorisés des examinateurs (Expert, Intermédiaire, Non-expert).
• Méthodes évaluées : Six méthodologies distinctes ont été mises en concurrence :
  1. Mots-clés : Le système de correspondance de mots-clés de base de l'ESO.
  2. LDA (Latent Dirichlet Allocation) : Modélisation thématique.
  3. TF-IDF (Fréquence de terme-fréquence inverse de document) : Représentation lexicale statistique.
  4. SPECTER2 : Un modèle basé sur les Transformers affiné sur les citations scientifiques.
  5. SentenceTransformer : Un modèle d'encodage sémantique polyvalent.
  6. GPT-4o mini : Un LLM génératif utilisé pour évaluer l'alignement sémantique.
• Métriques d'évaluation : L'étude utilise des métriques de RI basées sur le rang, notamment le rang médian, le taux de réciproque moyen (MRR), Hit@25 (fraction de propositions où l'expert désigné se trouve dans les 25 premiers) et les scores Z. De plus, le gain cumulatif décimal normalisé (NDCG) est utilisé pour évaluer l'alignement avec les hiérarchies d'expertise déclarées. La signification statistique est déterminée par rééchantillonnage par bootstrap et le test des rangs signés de Wilcoxon.

Résultats clés
L'évaluation empirique démontre que les représentations statistiques traditionnelles surpassent significativement l'IA générative et les architectures neuronales sémantiques dans ce domaine spécialisé :

• Performance de récupération : TF-IDF a atteint les meilleures performances, identifiant avec succès l'expert désigné parmi les 25 premières recommandations dans 79,5 % des cas (Hit@25) avec un rang médian de 4,0. En revanche, GPT-4o mini a obtenu un Hit@25 de seulement 51,5 % avec un rang médian de 24,0, performant de manière comparable à LDA (50,3 % Hit@25) et significativement moins bien que la référence TF-IDF.
• Alignement avec le jugement humain : Lors de l'évaluation de l'alignement avec les étiquettes d'expertise déclarées, TF-IDF a de nouveau mené avec un NDCG de 0,832, suivi de près par SentenceTransformer (0,827). Les deux ont significativement surpassé la référence de mots-clés auto-sélectionnés (0,789). Notamment, GPT-4o mini (0,811) et SPECTER2 (0,815) ont également surpassé la référence de mots-clés mais n'ont pas dépassé TF-IDF.
• Robustesse : TF-IDF et SentenceTransformer ont démontré une robustesse dans des scénarios à données contraintes (par exemple, historiques de publications limités), tandis que les performances de LDA et SPECTER2 se sont dégradées significativement avec moins de publications.
• Lissage sémantique : Les auteurs observent que, bien que les encodages neuronaux capturent des relations sémantiques larges, ils appliquent un « effet de lissage » qui obscurcit le vocabulaire fin et spécifique au domaine (par exemple, « Type Ia », « Naine brune ») nécessaire pour distinguer des sous-domaines hautement spécialisés. Les modèles génératifs, en particulier, ont échoué à exploiter efficacement ces signaux lexicaux précis.

Signification et revendications
L'article affirme que pour les tâches scientifiques spécialisées, les représentations statistiques transparentes et reproductibles restent supérieures aux LLM coûteux en calcul et probabilistes. Les auteurs soutiennent que le succès de TF-IDF met en évidence que, dans les domaines spécialisés, la correspondance de vocabulaire technique précis est plus discriminante que le regroupement sémantique large offert par les architectures neuronales modernes.

L'étude établit un cadre d'évaluation rigoureux pour l'examen par les pairs automatisé, démontrant que :

1. Précision sur la sémantique : Dans l'examen par les pairs scientifique, les correspondances exactes de terminologie spécifique au domaine sont critiques, une force des méthodes statistiques comme TF-IDF qui est souvent diluée par le lissage sémantique des modèles génératifs.
2. Reproductibilité : Les méthodes statistiques déterministes offrent la reproductibilité requise pour les décisions formelles d'examen par les pairs, tandis que les LLM génératifs introduisent du non-déterminisme et des coûts de calcul élevés qui sapent ces exigences.
3. Réalité opérationnelle : Les résultats remettent en question la littérature récente suggérant que les modèles d'apprentissage profond nécessitent des manuscrits complets pour rivaliser avec TF-IDF ; cette étude montre que TF-IDF surpasse les modèles sémantiques même lorsqu'il est contraint aux résumés de publications, à condition que l'évaluation reflète la réalité opérationnelle de la récupération d'experts à l'échelle mondiale.

Les auteurs concluent que, à mesure que les agences de financement et les observatoires automatisent l'examen par les pairs, les méthodes lexicales transparentes et efficaces en calcul devraient rester la norme robuste pour la récupération d'expertise scientifique.