How Much Structure Do LLMs Need? Evaluating LLMs for Bibliometric Cluster Description

Résumé technique : Quelle quantité de structure les modèles de langage nécessitent-ils ? Évaluation des modèles de langage pour la description de clusters bibliométriques

Énoncé du problème
Les modèles de langage de grande taille (LLM) sont de plus en plus utilisés pour la synthèse de la littérature scientifique, notamment pour la génération de travaux connexes et les revues de littérature automatiques. Cependant, générer une revue de littérature à partir de zéro reste problématique en raison de la propension des modèles à halluciner des références, à fournir une couverture inégale et à imposer des organisations thématiques non étayées par le registre académique. Bien que la génération augmentée par la récupération (RAG) améliore l'ancrage, elle ne résout pas entièrement la difficulté de structurer une carte de la littérature. L'analyse bibliométrique offre une alternative structurée, utilisant les métadonnées (citations, références) pour organiser les articles en clusters représentant des courants de recherche. La question de recherche centrale abordée est : Quelle quantité de structure bibliométrique externe doit être fournie à un LLM pour générer des descriptions de clusters fiables ? Plus précisément, les auteurs examinent si les LLM peuvent inférer de manière autonome une structure bibliométrique ou s'ils fonctionnent mieux en tant qu'interprètes de structures définies algorithmiquement.

Méthodologie
L'étude évalue six pipelines distincts représentant un continuum de responsabilité décroissante du LLM et de structure bibliométrique croissante. Le référentiel est construit à partir de 100 articles de revue bibliométrique à comité de lecture. Pour chaque article source, les auteurs extraient manuellement la requête de recherche originale et les descriptions de clusters rédigées par des humains, puis reconstruisent le corpus Scopus correspondant.

Les six pipelines testés sont :

1. Aveugle : Le LLM reçoit uniquement la requête de recherche et le nombre cible de clusters. Il doit inférer les thèmes, les références et les structures de clusters à partir de zéro.
2. Corpus : Le LLM reçoit la requête, le nombre cible de clusters et l'intégralité du corpus Scopus reconstruit (titres et résumés). Il doit induire une structure de clusters et les décrire en une seule passe.
3. Corpus-sélection : Un processus en deux étapes où le LLM sélectionne d'abord les articles pertinents du corpus pour chaque cluster, puis synthétise les descriptions à partir de cette preuve filtrée.
4. Étiqueté : Le LLM reçoit le corpus pré-grouper par un algorithme standard de clustering bibliométrique (détection de communautés Louvain basée sur le couplage bibliographique ou la citation directe). Le rôle du LLM est restreint à l'interprétation et à la description de ces clusters pré-définis.
5. Étiqueté-sélection : Similaire à Étiqueté, mais dans un processus en deux étapes où le LLM sélectionne d'abord les articles les plus représentatifs au sein des clusters pré-définis avant de générer les descriptions.
6. Classé : Le LLM reçoit les clusters pré-définis mais se voit fournir uniquement un sous-ensemble compact et classé par rang d'articles (basé sur la force des liens) de chaque cluster à résumer.

Métriques d'évaluation
Les sorties sont évaluées selon cinq dimensions :

• Alignement humain : Similarité sémantique (BERTScore) entre les descriptions générées et celles rédigées par des humains.
• Couverture sémantique : La mesure dans laquelle les descriptions générées couvrent le contenu sémantique de l'ensemble du corpus reconstruit.
• Qualité du clustering : Mesurée par l'indice Rand ajusté (ARI) et le score de silhouette, évaluant si les descriptions générées induisent des affectations d'articles qui récupèrent la structure bibliométrique originale.
• Qualité structurelle du graphe : Scores de modularité évaluant si les clusters induits s'alignent avec les régions denses du graphe de citation ou de couplage bibliographique sous-jacent.
• Ancrage des références : Validation des références générées par rapport aux enregistrements bibliographiques réels (OpenAlex) et vérification si les descriptions reflètent les preuves citées.

Résultats clés

1. LLM en tant qu'interprètes vs générateurs : Les LLM produisent des descriptions sémantiquement proches de celles rédigées par des humains (score BERT élevé), mais sont peu fiables lorsqu'on leur demande d'inférer une structure bibliométrique à partir de zéro. Le pipeline Aveugle performe mal sur toutes les métriques structurelles et présente une hallucination significative de références.
2. Impact de la structure : Les performances s'améliorent considérablement lorsque des algorithmes bibliométriques définissent les clusters et que le LLM les interprète. Les pipelines avec une structure algorithmique (Étiqueté, Étiqueté-sélection, Classé) surpassent systématiquement les pipelines basés uniquement sur le corpus (Corpus, Corpus-sélection) en termes de qualité de clustering, de modularité du graphe et d'ancrage des références.
3. Structure dépendante de la tâche : Le niveau optimal de structure dépend de la relation bibliométrique :
   • Couplage bibliographique : Bénéficie d'un contexte de cluster complet (Étiqueté performe le mieux), car ces clusters reflètent souvent des contextes intellectuels larges distribués à travers de nombreux articles.
   • Citation directe : Bénéficie d'une preuve compacte classée par lien (Classé performe le mieux), car les structures de citation se concentrent souvent autour d'œuvres centrales influentes.
4. Humains vs LLM structurés : Bien que les descriptions humaines soient écrites pour l'interprétation académique, les pipelines de LLM structurés obtiennent souvent des scores plus élevés sur les métriques au niveau du corpus, de clustering et basées sur le graphe. Cela indique que les pipelines structurés préservent mieux la structure bibliométrique ou de citation reconstruite, bien que cela n'implique pas nécessairement une meilleure compréhension ou nuance du domaine que les experts humains.

Signification et affirmations
L'article affirme que la synthèse bibliométrique assistée par LLM est la plus prometteuse en tant que flux de travail hybride. Dans ce modèle, les algorithmes fournissent des tâches structurelles précises et vérifiables (telles que le regroupement d'articles par citations ou références partagées), tandis que les LLM gèrent la tâche interprétative de traduction de cette structure en descriptions lisibles.

Les auteurs positionnent ce travail comme un cas de test pour la conception plus large des systèmes LLM, suggérant que les LLM sont les plus fiables lorsque des systèmes externes fournissent une structure et que le modèle effectue la synthèse, l'explication ou la traduction. L'étude met explicitement en garde que ses résultats démontrent une « fidélité structurelle » plutôt qu'une supériorité générale des LLM sur les experts humains en matière de compréhension académique. Les résultats soutiennent un changement dans la recherche sur les revues de littérature, passant d'applications isolées à une seule tâche vers des flux de travail structurés et multi-étapes où la répartition du travail entre la précision algorithmique et la synthèse générative est soigneusement gérée.