Résumé Technique : Repenser l'Évaluation de la Recherche Bibliographique

Énoncé du Problème

La recherche bibliographique est une étape fondamentale du travail scientifique, pourtant son évaluation reste problématique. La communauté évalue traditionnellement les systèmes de récupération en mesurant la précision et le rappel par rapport à la liste de référence d'un article de requête, traitant cette liste humaine comme une « vérité terrain ». Les auteurs identifient deux flaws critiques dans cette convention :

1. Limites de la Récupération : La recherche API standard (reposant sur des requêtes à un ou plusieurs mots-clés) est fragile et échoue à capturer la structure à longue traîne des graphes de citations, manquant ainsi des travaux pertinents cachés derrière des chaînes de références.
2. Défauts de la Vérité Terrain : La liste de référence humaine elle-même est incomplète et idiosyncrasique. Elle inclut des citations non thématiques telles que des attributions d'articles fondateurs, des crédits logiciels/bibliothèques, et des citations à des collaborateurs directs, qui peuvent ne pas refléter une pertinence thématique au sens strict.

Méthodologie

1. Le Pipeline de Recherche Approfondie

Les auteurs proposent un pipeline de récupération modulaire conçu pour surmonter les limites de la recherche par mots-clés. Le système opère en deux phases :

• Phase 1 (Récupération à Haut Rappel) : Un LLM génère des requêtes à mots-clés diversifiées basées sur le texte intégral de l'article de requête. Celles-ci sont traduites en syntaxe spécifique au fournisseur pour les API académiques (arXiv, OpenAlex, Semantic Scholar) afin de récupérer des articles de départ.
• Phase 2 (Expansion en Largeur) : Le système étend l'ensemble des candidats en largeur selon les références bibliographiques jusqu'à une profondeur configurable ($D_{max}=3$) et un budget d'articles ($N_{max}$). Cela exploite le graphe de citations pour découvrir une littérature pertinente que les requêtes par mots-clés manquent.
• Reclassement : Le pool étendu est reclassé en utilisant l'un des trois modules interchangeables suivants :
  • Embeddings QWEN3 : Récupération dense utilisant des embeddings de requête conditionnés par des instructions.
  • Débat LLM : Un agent génère des arguments pour et contre la citation d'un candidat, attribuant un score de pertinence de 0 à 100.
  • Ensemble : Une combinaison des scores du Débat et de QWEN3.

2. Référence de Comparaison et Métriques d'Évaluation

Pour évaluer ces systèmes sans contamination des données, les auteurs introduisent ROLLINGEVAL-JUN25, une référence de comparaison de 250 soumissions d'arXiv en informatique de juin 2025 (postérieures aux coupures d'entraînement des modèles évalués). L'évaluation emploie quatre métriques complémentaires :

• Précision et Rappel : Mesurés par rapport à la liste de référence humaine.
• Pertinence Sémantique (SR) : Un score de 0 à 100 attribué par un juge LLM neutre (GPT-OSS-120B) basé sur le texte intégral de l'article de requête et le titre/résumé du candidat.
• $\alpha$-nDCG : Une métrique consciente de la nouveauté mesurant la diversité thématique et la redondance dans la liste classée.
• Distance de Co-auteurship : Une métrique diagnostique utilisant le graphe de co-auteurship OpenAlex pour mesurer la distance en sauts entre les auteurs de la requête et les auteurs des candidats.

3. Analyse de la Vérité Terrain

Les auteurs ne traitent pas la liste de référence humaine comme une vérité absolue mais comme une cible à analyser. Ils utilisent un juge LLM neutre pour évaluer la pertinence thématique de chaque citation humaine et comparent cette distribution avec des listes générées par IA de longueur correspondante. Ils analysent en outre le « écart de citation » en mappant les citations sur le graphe de co-auteurship OpenAlex pour quantifier le biais réseau.

Résultats Clés

Performance de Récupération

Le pipeline de Recherche Approfondie démontre une amélioration d'un ordre de grandeur du rappel par rapport à la recherche API standard :

• Rappel : La recherche standard atteint un pic d'environ 15 % de rappel même à $K \approx 10^5$. En revanche, toutes les variantes de Recherche Approfondie dépassent 80 % de rappel à $K=10^4$. La meilleure variante (embeddings QWEN3) atteint 51,9 % de rappel à $K=1000$, triplant presque la performance d'une base de référence API arXiv.
• Précision : Les embeddings QWEN3 atteignent la plus forte précision top-$K$ (0,37 à $K=1$).
• Diversité : Le reclasseur basé sur le Débat atteint le $\alpha$-nDCG le plus élevé, suggérant qu'il distribue les éléments pertinents plus uniformément dans la liste par rapport à la seule similarité d'embedding.

L'Écart de la « Vérité Terrain »

L'étude révèle une divergence significative entre les citations humaines et les listes générées par IA concernant la pertinence thématique :

• Pertinence Sémantique : Lorsqu'on se limite à la même longueur de liste, seulement 51 % des citations humaines sont jugées comme modérément pertinentes ou plus (score $\ge 60$). En revanche, les meilleurs reclasseurs IA (QWEN3 et Débat+Qwen) atteignent 86–88 % de scores de haute pertinence.
• Biais Réseau : L'analyse du graphe de co-auteurship OpenAlex montre que les humains sont 2,5 fois plus susceptibles que les meilleurs reclasseurs IA de citer un collaborateur direct ($d=0$). Le biais s'étend aux collaborateurs à un saut, où les humains citent à un taux de 12,2 % contre 6,9–7,4 % pour l'IA.
• Citations Non Thématiques : Environ 48,6 % des citations humaines tombent dans des catégories de faible pertinence (architectures fondamentales, bibliothèques logicielles, algorithmes classiques) qui manquent de signaux thématiques dans leurs résumés, alors que les reclasseurs IA produisent de telles citations à un taux de seulement 12–14 %.

Signification et Revendications

L'article s'oppose à l'utilisation d'une évaluation unidimensionnelle pour la recherche bibliographique. Les auteurs affirment que :

1. Les Listes de Référence Humaines sont une Vérité Terrain Imparfaite : Traiter les citations humaines comme une cible propre pour l'évaluation est problématique car elles incluent systématiquement des citations non thématiques (travaux fondateurs, outils) et présentent un biais réseau (collaborateurs).
2. Une Évaluation Multidimensionnelle est Requise : Aucune métrique unique ne capture la qualité complète d'une recherche bibliographique. Les auteurs préconisent de rapporter quatre propriétés complémentaires conjointement :
   • Rappel : Pour mesurer la couverture par rapport aux cibles connues.
   • Pertinence Thématique : Pour mesurer l'alignement sémantique avec la requête.
   • Diversité de la Liste Classée : Pour s'assurer que la liste couvre des sujets variés sans redondance.
   • Distance de Co-auteurship : Pour diagnostiquer le biais réseau dans l'ensemble des citations.
3. La Recherche Approfondie est une Base Nécessaire : Le gain de rappel d'un ordre de grandeur fourni par la Recherche Approfondie élargit le pool de candidats, augmentant le plafond réalisable pour tout système de récupération, quelle que soit la définition finale de la vérité terrain.

Les auteurs concluent que les futures références de comparaison ne doivent pas traiter les listes de référence humaines comme la seule vérité terrain, mais devraient plutôt les utiliser comme un axe diagnostique parmi d'autres, aux côtés de la pertinence sémantique et de l'analyse réseau. Ils publient la référence de comparaison ROLLINGEVAL-JUN25, le pipeline de Recherche Approfondie et les scripts d'analyse de distance OpenAlex pour faciliter cette réexamen.