Exploring Academic Influence of Algorithms by Co-occurrence Network Based on Full-text of Academic Papers

Résumé technique : Exploration de l'influence académique des algorithmes par un réseau de cooccurrence basé sur le texte intégral de articles académiques

Énoncé du problème
À l'ère de l'intelligence artificielle, les algorithmes sont des objets de recherche pivots. Bien que les méthodes existantes évaluent l'influence académique des algorithmes, elles reposent principalement sur des mesures individuelles telles que la fréquence de mention ou le nombre de citations. Ces approches traitent les algorithmes comme des entités isolées, négligeant l'impact collectif découlant de leur interconnectivité au sein d'une communauté de recherche. Par conséquent, les évaluations actuelles ne parviennent pas à capturer les rôles structurels que jouent les algorithmes au sein des clusters, tels que leur capacité à faire le pont entre différentes époques ou à servir de médiateurs entre distincts modules algorithmiques. Il existe un manque de recherche analysant si les algorithmes d'un domaine spécifique sont mentionnés ensemble, ou explorant l'interconnexion, la séparation et les écarts de statut entre les individus algorithmiques au sein d'une communauté.

Méthodologie
L'étude construit un réseau de cooccurrence d'entités algorithmiques au sein du domaine du Traitement du Langage Naturel (NLP) en utilisant le contenu textuel intégral d'articles académiques de l'Annual Meeting of the Association for Computational Linguistics (ACL) couvrant la période de 1979 à 2020.

1. Collecte de données et extraction d'entités :

   • Corpus : L'étude utilise un corpus d'entraînement de 4 604 articles de l'ACL (1979–2015) avec des phrases d'algorithmes annotées manuellement et un corpus brut de 2 793 articles (2016–2020) au format PDF.
   • Modèle d'extraction : La tâche est formulée comme une Reconnaissance d'Entités Nommées (NER). Trois modèles de deep learning (BiLSTM+CRF, BERT+CRF, et BERT+BiLSTM+CRF) ont été entraînés et comparés. Le modèle BERT+BiLSTM+CRF a obtenu le score F1 le plus élevé (0,9642) et a été sélectionné pour extraire les entités algorithmiques candidates.
   • Normalisation : Un processus de normalisation rigoureux a été appliqué pour gérer les variations de dénomination (ex. : « SVM » vs « Support Vector Machine ») et l'ambiguïté (ex. : « BP » se référant à la rétropropagation ou à la propagation de croyance). Cela a impliqué des algorithmes de distance d'édition pour les noms complets et une revue basée sur des règles ou manuelle pour les acronymes, aboutissant à un dictionnaire final de 3 841 entités algorithmiques uniques.

2. Construction du réseau :

   • Nœuds et Arêtes : Les algorithmes servent de nœuds. Une arête est établie entre deux nœuds s'ils apparaissent dans le même article. Les poids des arêtes sont calculés sur la base du nombre d'articles de cooccurrence, normalisés par le nombre total d'articles de l'ACL publiés cette année-là.
   • Types de réseaux : Trois configurations de réseaux ont été construites : (1) un Réseau Global (tous les articles), (2) des Réseaux Cumulatifs (agrégés de 1979 jusqu'à chaque année spécifique), et (3) des Réseaux Annuels (articles publiés au cours d'une seule année).

3. Évaluation de l'influence :

   • L'étude emploie quatre mesures de centralité de réseau pour évaluer l'influence académique sous différents angles :
     • Popularité : Mesurée par la Centralité de Degré (DC), reflétant le nombre de connexions directes.
     • Contrôle : Mesuré par la Centralité d'Intermédiarité (BC), indiquant la capacité de l'algorithme à agir comme un pont entre des nœuds non connectés.
     • Position Centrale : Mesurée par la Centralité de Proximité (CC), reflétant l'efficacité de la diffusion de l'information vers les autres nœuds.
     • Équilibre : Mesuré par l'Entropie d'Information d'Adjacence (AC), évaluant l'uniformité de l'influence d'un algorithme sur ses voisins.

Résultats Clés

• Topologie du Réseau : Le réseau de cooccurrence des algorithmes présente les caractéristiques d'un réseau complexe, spécifiquement une structure de type « petit monde » avec un coefficient de regroupement élevé (82,5 %), un composant géant important (99,2 %) et une distribution de degré suivant une loi de puissance (scale-free). Cela indique qu'un petit nombre d'algorithmes détient la majorité des connexions.
• Évolution de la Connectivité : Sur quatre décennies, le réseau est passé d'une structure lâche à un petit monde étroitement connecté. Le degré moyen a augmenté de manière significative, l'année 2001 marquant un tournant dans les taux de croissance. La séparation moyenne entre les nœuds a atteint un sommet en 1994 avant de diminuer, indiquant une amélioration de l'efficacité de la communication.
• Algorithmes à Haute Influence :
  • Global : Les algorithmes qui obtiennent des scores élevés à travers plusieurs mesures de centralité partagent des traits communs : ils sont classiques, performants et émergent souvent à la jonction de différentes époques. Long Short-Term Memory (LSTM) (Réseaux de neurones), Support Vector Machine (SVM) (Classification), Adaptive Moment (Adam) (Optimisation) et Conditional Random Field (CRF) (Modèles graphiques probabilistes) sont apparus comme des influenceurs majeurs dans leurs catégories respectives.
  • Changements Temporels : Les algorithmes dominants ont évolué au fil du temps :
    • 1979–1993 : Les algorithmes basés sur la grammaire (ex. : ATN, CFG, TAG) étaient centraux.
    • 1994–2015 : Les algorithmes d'apprentissage statistique (ex. : HMM, MaxEnt, SVM) ont dominé.
    • 2016–2019 : Les modèles de deep learning, particulièrement le LSTM, sont devenus le cœur du domaine.
    • 2020 : Le modèle de pré-entraînement BERT est rapidement monté au sommet, signalant une nouvelle ère.
• Modèles d'Évolution de l'Influence : L'étude identifie un cycle de vie pour l'influence des algorithmes. Lorsqu'une influence d'algorithme décline, elle perd généralement d'abord sa position centrale (Centralité d'Intermédiarité), suivie d'une baisse de son influence équilibrée (Entropie d'Information d'Adjacence), et enfin d'une réduction du nombre de voisins connectés (Centralité de Degré).

Signification et Contributions
L'article se présente comme la première analyse à grande échelle des réseaux d'algorithmes basée sur le contenu textuel intégral, offrant une méthodologie qui dépasse le simple comptage de fréquence pour évaluer l'influence via la topologie du réseau.

• Innovation Méthodologique : En utilisant des données textuelles intégrales plutôt que des métadonnées, l'étude capture un paysage plus complet de l'utilisation et des relations entre les algorithmes.
• Nouvelle Perspective sur l'Influence : Les résultats suggèrent que les classements traditionnels basés sur la fréquence peuvent négliger l'importance structurelle des algorithmes « ponts ». Les mesures basées sur le réseau révèlent que les algorithmes agissant comme des liens de transition entre différentes époques ou sous-domaines (ex. : le SVM faisant le pont entre l'apprentissage statistique et le deep learning) possèdent des rôles uniques et de haute valeur que la fréquence seule ne peut quantifier.
• Fondation pour la Recherche Future : Le réseau construit sert de pierre angulaire pour l'élaboration de réseaux multifacettes reliant algorithmes, chercheurs et tâches. Cela facilite l'exploration future des rôles scientifiques, des relations sémantiques et le développement de services de recommandation et de recherche d'algorithmes.

Limites
Les auteurs reconnaissent que l'étude est limitée au domaine du NLP (articles de l'ACL), et que les résultats peuvent ne pas être généralisables à d'autres domaines ayant des pratiques de citation ou de mention différentes. De plus, l'analyse est basée sur la cooccurrence au niveau de l'article, manquant de granularité au niveau de la phrase, et le réseau reflète des relations de cooccurrence sans modéliser explicitement les nuances sémantiques comme la coopération ou la compétition.