Résumé technique : Découverte de la structure sémantique multi-échelle dans les corpus textuels à l'aide d'arbres basés sur la densité et des plongements LLM

1. Énoncé du problème

L'organisation sémantique des vastes corpus textuels demeure un défi central pour la recherche d'information et la représentation des connaissances. Bien que les modèles de langage de grande taille (LLM) aient révolutionné la représentation textuelle grâce à des plongements denses de haute fidélité, les systèmes actuels reposent largement sur un partitionnement plat (ex: k-means, DBSCAN) ou des taxonomies prédéfinies. Ces approches échouent à capturer la nature hiérarchique des relations sémantiques, occultant la manière dont les concepts fins fusionnent en domaines thématiques plus larges. De plus, les méthodes hiérarchiques traditionnelles dépendent souvent de fortes hypothèses de modélisation, de matrices de distance globales sensibles au bruit, ou d'ontologies fixes qui s'adaptent mal aux collections de textes hétérogènes et évolutives. Il est nécessaire de disposer d'une approche pilotée par les données capable de reconstruire des hiérarchies sémantiques directement à partir des espaces de plongement sans imposer une résolution fixe ou une structure prédéfinie.

2. Méthodologie

2.1 Données et plongements (Embeddings)

L'étude utilise un ensemble diversifié de corpus textuels en langue anglaise, incluant des références standards (20 Newsgroups, IMDB 50K Reviews, AG News) ainsi que de grands corpus scientifiques institutionnels (résumés de l'Université américaine de Beyrouth [AUB] et de la TU Wien, plus des thèses de doctorat françaises).

• Génération de plongements : Les textes sont transformés en vecteurs de dimension 4096 à l'aide de modèles de haute performance (Qwen3-Embedding-8B ou SFR-Embedding-Mistral) sélectionnés selon leurs performances sur le classement MTEB.
• Réduction de dimensionnalité : L'Analyse en Composantes Principales (PCA) est appliquée pour réduire la dimensionnalité. Les auteurs ont constaté que l'utilisation des distances de norme L2 sur un ensemble réduit de composantes principales (par exemple, 2 à 10 composantes) produit des arbres nettement plus interprétables et structurellement distincts que l'utilisation de la distance cosinus sur des vecteurs complets de 4096 dimensions.

2.2 Construction d'un arbre hiérarchique basé sur la densité

L'innovation centrale est une procédure de partitionnement par densité adaptative qui opérationnalise la structure hiérarchique par la relaxation progressive des contraintes de densité locale.

• Algorithme : La méthode adapte DBSCAN mais itère à travers des seuils de densité successifs plutôt que de produire un simple partitionnement plat.
• Processus :
  1. Les clusters sont définis à l'itération $L$ où la densité locale $\rho_L > \frac{minpts}{V(\epsilon_L)}$.
  2. Le rayon de voisinage $\epsilon$ est augmenté par incréments fixes ($\Delta\epsilon$), abaissant ainsi efficacement le seuil de densité.
  3. À mesure que $\epsilon$ augmente, les clusters précédemment denses fusionnent en clusters plus larges et plus diffus.
  4. Ce processus génère un arbre où les branches terminales représentent des groupes sémantiques étroitement liés (denses), et les nœuds de niveau supérieur représentent des régions thématiques de plus en plus générales.
• Résultat : L'arbre résultant encode une organisation sémantique multi-échelle directement à partir des données, révélant comment des groupes compacts fusionnent en régions plus vastes sans supposer une taxonomie fixe.

2.3 Annotation sémantique automatisée

Pour garantir l'interprétabilité, la méthode intègre des LLM comme annotateurs sémantiques :

• Contexte : Le modèle Llama-4-Scout-17B-16E-Instruct (quantifié) est utilisé pour traiter de larges contextes (jusqu'à environ 600k tokens).
• Flux de travail : Pour chaque nœud de l'arbre, le LLM reçoit le contenu textuel de tous les résumés de ce cluster et est invité à inférer un label de domaine de recherche unificateur.
• Gestion des grands clusters : Si un cluster dépasse la limite de tokens, les résumés sont échantillonnés (avec suréchantillonnage pour la stabilité), traités par blocs, et les labels candidats résultants sont résumés par un second modèle (gpt-oss-20b) pour produire un label global unique.
• Visualisation : Les arbres sont visualisés via des cartes colorées (via MNHN-Tree-Tools et newick-utilities) et un spectateur interactif basé sur des tuiles pour permettre une exploration détaillée des labels au niveau des nœuds.

2.4 Évaluation

Pour les jeux de données de référence possédant des labels de vérité terrain, les auteurs évaluent l'alignement en utilisant l'indice de Rand ajusté (ARI) et l'information mutuelle normalisée (NMI) calculés par couche d'arbre. Cela permet d'évaluer comment l'accord sémantique évolue à travers différentes résolutions (profondeurs) de la hiérarchie.

3. Résultats clés

3.1 Impact de la réduction de dimensionnalité

Les expériences ont démontré que les arbres construits à l'aide de la distance cosinus sur des plongements complets présentaient une faible résolution structurelle. En revanche, l'application de la PCA suivie d'un partitionnement par distance de norme L2 a produit des arbres avec une ramification plus claire et des sous-structures fines détectables. Les auteurs attribuent cela à la capacité de la PCA à prioriser la variance et à supprimer le bruit.

3.2 Performance sur les benchmarks

• 20 Newsgroups : L'arbre inféré a réussi à récupérer des relations intuitives, telles que la proximité des groupes liés au sport et la fusion de la religion et de la politique. L'ARI et la NMI atteignent un sommet à des profondeurs d'arbre intermédiaires, indiquant que l'alignement le plus fort avec les labels de vérité terrain se produit à une résolution où le bruit lexical fin est absorbé mais où les distinctions thématiques larges subsistent.
• AG News : Les catégories "Monde" et "Sports" forment des sous-arbres distincts et séparables. Les catégories "Affaires" et "Science/Technologie" présentent un chevauchement substantiel, reflétant leur similitude topique dans les titres.
• IMDB 50K Reviews : L'arbre est peu profond et homogène, avec des scores ARI/NMI faibles à toutes les profondeurs. Cela indique que les modèles de plongement utilisés ne codent que faiblement le sentiment par rapport à d'autres dimensions sémantiques, et que les clusters de sentiment ne persistent pas comme des structures stables à grande échelle.
• Thèses françaises (Theses-fr-en) : Malgré des labels fournis par les auteurs très hétérogènes, l'arbre sépare clairement les Humanités des Sciences Naturelles. Une analyse plus poussée utilisant les classifications des champs de la science de l'OCDE (FOS) a révélé que l'Ingénierie et les Sciences Médicales fusionnent plus tôt dans la hiérarchie que les Sciences Sociales et les Humanités, une relation structurelle non explicitement définie dans la taxonomie FOS standard.

3.3 Perspectives institutionnelles

Appliquée aux corpus de l'AUB et de la TU Wien, la méthode a révélé des paysages de recherche spécifiques aux institutions sans dépendre de catégories prédéfinies :

• AUB : Dominée par un sous-arbre cohérent de médecine/santé, avec une branche distincte de sciences humaines (Études du Moyen-Orient) qui fusionne structurellement plus près de l'ingénierie que de la médecine, suggérant des connexions interdisciplinaires uniques.
• TU Wien : A révélé un arbre homogène mais structurellement organisé, mettant en évidence des forces en physique quantique, science des matériaux et technologie de l'information, les mathématiques fondamentales et la physique théorique formant des branches distinctes précoces.

4. Contributions clés

1. Opérationnalisation des hiérarchies basées sur la densité : L'article introduit une méthode pour construire des arbres sémantiques en relaxant progressivement les contraintes de densité sur les plongements LLM, une application novatrice du partitionnement par densité aux corpus textuels.
2. Représentation multi-échelle : L'approche fournit une représentation unique et unifiée qui capture à la fois la cohérence sémantique locale et l'organisation thématique globale, accueillant les documents qui n'appartiennent pas à des groupes denses aux résolutions fines.
3. Découverte de taxonomie pilotée par les données : La méthode infère des relations hiérarchiques de manière non supervisée, ce qui la rend adaptée à l'analyse exploratoire de corpus hétérogènes où les classifications existantes sont incomplètes ou inexistantes.
4. Pipeline d'annotation intégré : Le travail combine la découverte de structure non supervisée avec une annotation par LLM à large contexte pour générer des labels lisibles par l'humain pour les nœuds de l'arbre.
5. Validation empirique : L'étude démontre que l'alignement sémantique culmine à des niveaux de densité intermédiaires et que les transitions abruptes dans l'arbre correspondent à des changements significatifs de résolution sémantique.

5. Signification et affirmations

Les auteurs affirment que le fait de présenter la structure hiérarchique comme une propriété émergente de la densité dans les espaces de plongement offre une représentation multi-échelle interprétable, adaptée aux collections de textes vastes et évolutives. La méthode offre une alternative flexible aux taxonomies fixes, capable de révéler :

• Les domaines dominants et les proximités interdisciplinaires au sein de la recherche institutionnelle.
• Les clusters thématiques émergents qui pourraient ne pas être capturés par les systèmes de classification existants.
• Les ambiguïtés structurelles dans les taxonomies standards (ex: la relation entre l'Ingénierie, la Médecine et les Sciences Naturelles).

L'article conclut que, bien que la méthode soit contrainte par la capacité de représentation des modèles de plongement sous-jacents (ex: incapacité à capturer des signaux faibles comme le sentiment dans IMDB), elle constitue un cadre puissant pour cartographier la structure sémantique et explorer des espaces de connaissances textuelles complexes. Les auteurs notent modestement des limites concernant la stabilité de l'annotation pour les très grands clusters et suggèrent que les travaux futurs pourraient impliquer des plongements spécifiques au domaine ou l'application à d'autres modalités (images, audio).