Résumé Technique : MIRAI – Prédiction et Génération de la Recherche Académique à Haut Impact

Énoncé du Problème

La communauté scientifique est confrontée à une crise d'accélération du volume et de la qualité. La littérature scientifique connaît une croissance quasi exponentielle — illustrée par une augmentation annuelle de 16,1 % des articles dans l'indice Nature et des soumissions sur arXiv atteignant des records en 2026 — rendant l'identification des travaux à haut impact de plus en plus difficile. Ce défi est aggravé par la prolifération de textes générés par IA et une contraction du financement de la recherche, ce qui nécessite une allocation plus efficace des ressources.

Les méthodes actuelles d'évaluation de l'impact de la recherche souffrent de limitations significatives :

• Évaluation par les pairs : Ne peut pas passer à l'échelle face au taux de publication actuel et est sujette aux biais ainsi qu' à une dépendance envers des indicateurs quantitatifs rudimentaires.
• Métriques de citation : Sont intrinsèquement des indicateurs retardés qui nécessitent des années pour se matérialiser et amplifient souvent les biais de prestige plutôt que le mérite intrinsèque.
• Modèles de prédiction existants : Reposent souvent sur des données post-publication (historique de citations, réseaux d'auteurs) ou sur des caractéristiques superficielles et spécifiques à un domaine, limitant leur capacité à prédire l'impact au moment de la publication.

Les questions de recherche centrales abordées sont : (1) L'impact de la recherche peut-il être prédit au niveau de l'article en utilisant uniquement le contenu disponible lors de la publication (titre, résumé, date) ? (2) Ce signal prédictif peut-il être exploité pour synthétiser de manière générative de nouvelles directions de recherche susceptibles d'être à haut impact ?

Méthodologie

Collecte de Données et Construction du Graphe

Les auteurs ont construit un graphe de citations académiques auto-contenu exclusivement à partir d'articles arXiv soumis jusqu'au 9 avril 2026, comprenant 2 976 125 articles (98,74 % du corpus à ce moment-là).

• Source : L'API Semantic Scholar a été utilisée pour récupérer les métadonnées, incluant les titres, les résumés, les dates de publication et les identifiants de références.
• Structure du Graphe : Les articles ont été représentés sous forme de graphe de citations dirigé stocké au format CSR creux. Les références ont été filtrées pour n'inclure que les articles présents dans le corpus arXiv afin de garantir que le graphe reste auto-contenu pour le calcul du PageRank.
• Domaines : Le jeu de données est fortement biaisé vers l'informatique, les mathématiques et la physique.

Définition des Étiquettes (Labels)

Pour assurer une comparaison équitable entre les articles d'âges différents, les auteurs ont défini des étiquettes d'impact basées sur des horizons temporels fixes ($n$-années après la publication) :

1. Nombre de Citations : Défini comme le nombre de citations reçues au cours des $n$ premières années. La variable cible est le compte logarithmique : $\ln(1 + C_n)$.
2. PageRank : Calculé sur le sous-graphe de citations à des horizons temporels fixes. Pour corriger la dilution de la taille du graphe (où le PageRank brut diminue à mesure que le graphe croît), les auteurs ont utilisé la transformation $\ln(N \times \text{PageRank})$, où $N$ est le nombre d'articles dans le sous-graphe de la cohorte. Cette métrique capture mieux l'influence à long terme et le statut de jalon (milestone).

Architecture du Modèle (MIRAI)

MIRAI (Multi-year Inference of Research trends and Academic Impact) est un cadre de deep learning conçu pour prédire les scores d'impact pour des horizons de 1 à 5 ans après la publication.

• Entrée :
  • Texte : Titre et résumé concaténés ("{title}\n{abstract}") et intégrés via llama-embed-nemotron-8b (vecteur de dimension 4096).
  • Données Temporelles : Date de publication convertie en année fractionnaire et normalisée par z-score.
• Réseau : Un réseau de neurones à propagation avant (FFNN) avec quatre couches cachées (2048, 1024, 512, 256 dimensions), utilisant la LayerNorm, l'activation ReLU et un dropout de 0,3.
• Sortie : Un vecteur de 5 éléments représentant les scores d'impact prédits correspondant aux horizons de 1 à 5 ans.
• Entraînement : Le modèle est entraîné conjointement sur tous les horizons en utilisant la perte d'erreur quadratique moyenne (MSE). La perte est moyennée sur les horizons pour garantir que le terme de 5 ans reçoive un poids égal malgré le nombre moindre d'étiquettes disponibles. L'optimisation utilise AdamW avec un taux d'apprentissage de $3 \times 10^{-4}$.

Pipeline de Génération de la Recherche

Un pipeline a été développé pour générer des idées de recherche à haut impact en synthétisant des travaux établis avec des développements récents :

1. Ensemencement (Seeding) : Des paires d'articles sont sélectionnées : un article "ancien" (top 1 % du PageRank réel, 2016–2021) et un article "nouveau" (top 5 % du PageRank prédit par MIRAI, 2026).
2. Synthèse : Un LLM (Claude Haiku 4.5) génère un titre et un résumé candidats en combinant les contributions clés de la paire d'ensemencement.
3. Sélection : Le pipeline génère $N=32$ candidats. Le candidat ayant le score MIRAI le plus élevé est sélectionné comme sortie finale.
4. Variantes : L'étude compare le pipeline guidé par MIRAI (Variante A) à un pipeline guidé par LLM (Variante B) et à une base aléatoire (Variante C).

Résultats Clés

Performance de Prédiction d'Impact

Évalué sur des articles publiés en 2021 (l'année de test la plus récente entièrement résolue), MIRAI a atteint :

• Prédiction de Citation à 5 ans : Rho de Spearman ($\rho$) de 0,6192.
• Prédiction de PageRank à 5 ans : Rho de Spearman ($\rho$) de 0,4686.

Tendances Clés :

• Effet d'Horizon : La performance augmente de manière monotone avec l'horizon de prédiction. Les horizons plus longs fournissent des étiquettes plus stables, compensant la difficulté de prédire plus loin dans le futur.
• Comparaison de Métriques : Les modèles de comptage de citations surpassent les modèles de PageRank, probablement parce que le PageRank dépend de manière récursive de la centralité des articles citants, un signal moins inférable à partir du texte seul.
• Stabilité Temporelle : La performance est stable jusqu'en 2019 mais décline pour les années de test 2020–2023. Cela est attribué à un décalage de distribution causé par l'expansion rapide des soumissions en informatique sur arXiv, ce que le modèle gère bien, tandis que la performance chute en physique et en mathématiques.

Comparaison avec les LLM Zero-Shot

MIRAI a été comparé à l'utilisation de prompts zero-shot de LLM de pointe (GPT-4o et Hermes 3) pour classer les articles par impact de citation à 2 ans :

• Classement Global : MIRAI a atteint $\rho = 0,581$, surpassant significativement GPT-4o ($\rho = 0,336$) et Hermes 3 ($\rho = 0,305$).
• Récupération de Haut Impact : MIRAI a obtenu une précision moyenne (AP) de 0,426 pour le top 5 % des articles, contre 0,179 pour GPT-4o et 0,151 pour Hermes 3.
• Conclusion : L'entraînement supervisé sur les données de citation produit des performances de classement nettement supérieures au prompting zero-shot des LLM.

Évaluation de la Génération de la Recherche

Dans une étude de 300 essais comparant le pipeline guidé par MIRAI (A), le pipeline guidé par LLM (B) et la base aléatoire (C) :

• Juge LLM (GPT-5.4) : A préféré le pipeline guidé par LLM (B) au pipeline guidé par MIRAI (A) dans 62,0 % des essais. Cependant, les deux pipelines curatés (A et B) ont nettement surpassé la base non curatée (C).
• Juge MIRAI : Préfère naturellement son propre pipeline (A) dans 96,3 % des comparaisons A-contre-B.
• Analyse par Rubrique : Le juge LLM a trouvé que la sélection par MIRAI (A vs C) a amélioré la Signification (+0,82) et la Clarté (+0,24) mais n'a pas significativement amélioré la Nouveauté ou la Rigueur Technique. Inversement, la sélection par LLM (B vs C) a amélioré les quatre critères.
• Interprétation : MIRAI capture un signal réel mais partiel corrélé à la signification et à la clarté, tandis que les juges LLM semblent capturer une gamme plus large de dimensions de qualité, incluant la nouveauté et la rigueur technique.

Signification et Revendications

L'article positionne MIRAI comme une étape vers une évaluation scalable et basée sur le contenu de l'impact scientifique qui opère avec une faible latence, indépendamment de l'historique des citations. Ses principales contributions sont :

1. Démonstration de la Faisabilité : Montrer que la recherche à haut impact peut être prédite au moment de la publication en utilisant uniquement le texte et la date, atteignant une performance qui surpasse les LLM zero-shot.
2. Application Générative : Proposer un pipeline qui utilise les signaux prédictifs pour guider l'idéation de nouvelles directions de recherche.
3. Évaluation Équitable : Offrir une alternative potentielle à l'évaluation traditionnelle par les pairs et aux métriques de citation retardées, qui sont sujettes aux biais et aux effets de prestige.

Les auteurs concluent modestement que, bien que MIRAI fournisse un signal puissant pour le filtrage et l'idéation, il ne capture pas encore pleinement toutes les dimensions de la qualité de la recherche (telles que la nouveauté et la rigueur technique) aussi efficacement que les juges humains ou les LLM. Ils suggèrent qu'une approche hybride, combinant le pouvoir prédictif de MIRAI avec d'autres signaux d'évaluation, représente une voie prometteuse pour naviguer et contribuer à la littérature scientifique en croissance rapide. Le modèle de prédiction de citation à 5 ans est rendu public pour faciliter la recherche ultérieure.