Eliot: Interactively $\underline{E}$xploring Fast-Changing Scientific $\underline{Li}$terature Trends with $\underline{O}$nline Da$\underline{t}$a and Learning

Résumé Technique : Eliot – Exploration Interactive des Tendances de la Littérature Scientifique en Évolution Rapide

Énoncé du Problème
La croissance rapide de l'édition scientifique rend de plus en plus difficile le suivi de l'évolution des domaines de recherche en mouvement rapide. Bien que les moteurs de recherche existants et les assistants basés sur les grands modèles de langage (LLM) récupèrent ou résumant des articles, ils obscurcissent souvent les décisions sous-jacentes concernant la sélection du corpus, son organisation et son lien avec les modèles temporels. Les assistants de littérature actuels présentent fréquemment des listes classées ou des synthèses générées opaques qui masquent les preuves derrière les tendances. Les chercheurs ont besoin d'un flux de travail inspectable pour vérifier quels documents soutiennent les modèles temporels apparents, comprendre comment les articles se séparent en thèmes et identifier les directions émergentes sans dépendre de taxonomies fixes maintenues par des experts ou de scripts spécifiques au domaine.

Méthodologie
Les auteurs présentent Eliot, un système interactif déployé publiquement conçu pour l'exploration traçable de la littérature scientifique évolutive à l'aide de données en ligne. Le système fonctionne sur une base de requête en temps réel, récupérant des articles sur arXiv plutôt que de s'appuyer sur des ensembles de données de référence fixes.

• Pipeline du Système :

  1. Récupération : Les utilisateurs saisissent des termes de requête explicites (mots-clés/expressions), des filtres de catégorie, des plages de dates et des critères de tri. Le système récupère les articles pertinents sur arXiv, concaténant les titres et les résumés pour le traitement.
  2. Représentation et Regroupement : Le corpus récupéré est représenté à l'aide d'incorporations de texte (text embeddings). Le système prend en charge à la fois le regroupement automatique (inférence de structure) et le regroupement contrôlé par l'utilisateur (spécification du nombre de clusters).
  3. Étiquetage : Chaque cluster se voit attribuer des mots-clés représentatifs à l'aide de la méthode TF-IDF basée sur les classes (c-TF-IDF), inspirée de BERTopic, pour résumer les caractéristiques distinctives du groupe.
  4. Visualisation : L'interface affiche les mots-clés des clusters, un diagramme de dispersion temporel montrant la distribution des articles sur les années de publication, et des listes paginées d'articles avec des liens vers les sources.
  5. Traçabilité : Un objectif central de conception est l'auditabilité ; les utilisateurs peuvent inspecter l'appartenance aux clusters, comparer les étiquettes et accéder aux enregistrements sources originaux plutôt que de se fier uniquement aux résumés.

• Évaluation de la Configuration Hors Ligne (RQ1) :
  Pour déterminer la configuration par défaut optimale, les auteurs ont mené une évaluation automatisée hors ligne à travers huit domaines divers d'arXiv (par exemple, Informatique, Physique, Économie). Ils ont testé des combinaisons de :

  • Représentations de Documents : MiniLM, SciBERT et TF-IDF.
  • Réduction de Dimensionnalité : UMAP et SVD (avec des nombres de composants variables).
  • Algorithmes de Regroupement : K-Means, Regroupement Agglomératif et Fuzzy C-Means.
  • Métriques : Métriques de regroupement intrinsèques (Score de Silhouette, Indice de Calinski-Harabasz, Indice de Davies-Bouldin) et métriques de cohérence des sujets ($C_{V}$ et $C_{NPMI}$).

• Évaluation Utilisateur (RQ2 & RQ3) :
  L'interprétabilité et l'utilité du système ont été évaluées via une enquête basée sur des scénarios (10 participants) et un groupe de discussion d'experts (4 chercheurs expérimentés). Les participants ont évalué des scénarios prédéfinis (par exemple, « Grands Modèles de Langage » en Informatique, « Marché et Prédiction » en Finance Quantitative) et ont effectué des tâches autodirigées.

Contributions Clés

1. Un Système Interactif Public : Eliot combine la récupération d'arXiv en temps réel, le regroupement non supervisé, l'étiquetage par mots-clés, la visualisation temporelle et l'inspection au niveau du document dans un flux de travail unique.
2. Un Flux de Travail Traçable : Le système expose les paramètres de requête, les articles récupérés, les attributions de clusters et les liens sources, soutenant l'auditabilité dans l'analyse exploratoire de la littérature.
3. Analyse Empirique de la Configuration : Une évaluation automatisée à travers huit domaines a identifié une configuration par défaut robuste (incorporations MiniLM, UMAP à 10 dimensions et Regroupement Agglomératif).
4. Validation Centrée sur l'Utilisateur : Des preuves issues d'enquêtes et de groupes de discussion démontrent que les utilisateurs trouvent les étiquettes de clusters significatives et valorisent le système pour des aperçus auditables de domaines techniques en évolution rapide.

Résultats

• Sélection de Configuration : L'évaluation hors ligne a révélé que les incorporations MiniLM étaient la représentation la plus performante sur les huit domaines, surpassant SciBERT et TF-IDF. UMAP était la méthode de réduction de dimensionnalité préférée, avec 10 composants étant le réglage optimal le plus fréquent. Le Regroupement Agglomératif apparaissait le plus fréquemment dans les configurations les mieux classées, suivi de près par K-Means. Par conséquent, les auteurs recommandent MiniLM + UMAP 10D + Regroupement Agglomératif comme défaut pratique.
• Interprétabilité Utilisateur : Dans l'enquête, 85 % des réponses ont jugé les étiquettes de clusters significatives (4 ou 5 sur une échelle de Likert), un résultat statistiquement significatif ($p < 0.001$). Bien que l'utilité perçue de scénarios spécifiques ait varié selon le contexte de l'utilisateur, les participants ont montré une perception positive de l'utilité de l'outil pour la recherche future ($p = 0.047$).
• Retour d'Information des Experts : Le groupe de discussion a confirmé qu'Eliot est le plus précieux pour fournir des aperçus traçables de domaines en évolution rapide. Les utilisateurs ont apprécié la possibilité d'interagir avec les visualisations et d'accéder directement aux articles sources.
• Limites Identifiées : Les utilisateurs ont noté une confusion potentielle lorsque le regroupement automatique produisait des granularités différentes sur différentes fenêtres temporelles (en raison de limites fixes de récupération de documents affectant la densité des incorporations). Les auteurs ont remédié à cela en exposant des contrôles pour augmenter le nombre maximum d'articles récupérés ou passer au regroupement contrôlé par l'utilisateur.

Signification et Revendications
L'article revendique qu'Eliot généralise l'analyse de l'évolution de la littérature au-delà des contraintes des taxonomies construites à la main et des scripts spécifiques au domaine utilisés dans les études précédentes (telles que l'analyse de la littérature sur la planification par LLM par Pallagani et al.). En passant d'une classification supervisée dans des catégories fixes à un regroupement non supervisé en temps réel, Eliot permet aux chercheurs d'inspecter directement les preuves derrière les tendances de la littérature.

Les auteurs positionnent Eliot non pas comme un remplacement des assistants IA orientés vers les réponses (qui synthétisent des affirmations), mais comme un outil complémentaire pour la phase exploratoire précoce. Il aide les chercheurs à rendre le corpus récupéré visible sous forme de thèmes, d'étiquettes et de modèles temporels, soutenant ainsi des « aperçus auditables » de domaines techniques en évolution rapide. Le travail suggère que le regroupement en temps réel et l'inspection temporelle peuvent compléter les outils de recherche et de génération en permettant aux chercheurs d'affiner et de vérifier les preuves derrière les tendances émergentes.

Les auteurs restent modestes dans leurs revendications, notant que les résultats de configuration sont des « défauts pratiques » plutôt que des optima universels, et que les études utilisateurs sont préliminaires, appelant à des évaluations contrôlées à plus grande échelle dans les travaux futurs.