Topeax -- An Improved Clustering Topic Model with Density Peak Detection and Lexical-Semantic Term Importance

Résumé technique de « Topeax : un modèle de clustering de sujets amélioré par la détection de pics de densité et l'importance lexicale-sémantique des termes »

Énoncé du problème
Bien que le clustering de texte soit devenu le paradigme dominant pour la modélisation de sujets tant dans le milieu académique qu'industriel, les modèles de pointe actuels, spécifiquement Top2Vec et BERTopic, présentent des limitations significatives. L'auteur identifie deux problèmes principaux :

1. Découverte de clusters peu fiable : Ces modèles sont très sensibles à la taille de l'échantillon et aux hyperparamètres (tels que la perplexité). Leurs configurations par défaut entraînent souvent un comportement sous-optimal, échouant à découvrir les clusters naturels dans les corpus sans intervention manuelle (par exemple, une réduction hiérarchique vers un nombre de sujets spécifié par l'utilisateur).
2. Estimation sous-optimale de l'importance des termes : Les méthodes actuelles pour générer les mots-clés des sujets sont défaillantes. BERTopic ignore la distance sémantique des mots-clés par rapport aux vecteurs de sujets, tandis que Top2Vec ignore le nombre d'occurrences des mots dans le corpus. Par conséquent, Top2Vec inclut souvent des mots vides (stop words) ou des mots « inutiles », rédu quiisant la cohérence des sujets, tandis que BERTopic peut manquer de variété et de fiabilité dans sa sélection de mots-clés.

Méthodologie : Le modèle Topeax
Le document présente Topeax, un nouveau modèle de clustering de sujets implémenté dans le package Python Turftopic. Topeax répond aux problèmes identifiés via un pipeline en trois étapes :

1. Réduction de la dimensionnalité :
   Contrairement à Top2Vec et BERTopic qui utilisent UMAP, Topeax emploie l'Embedding de voisinage stochastique distribué t-SNE (t-SNE). Le modèle utilise la distance cosinus comme métrique et fixe la dimensionnalité de sortie à 2 pour faciliter la visualisation et l'estimation de la densité.

2. L'algorithme de clustering Peax :
   Topeax introduit une nouvelle technique de clustering appelée Peax, qui détermine automatiquement le nombre de clusters en se basant sur les pics de densité plutôt qu'en s'appuyant sur des paramètres définis par l'utilisateur ou sur une fusion hiérarchique. L'algorithme procède comme suit :

   • Estimation de la densité : Une estimation de la densité par noyau gaussien (KDE) est calculée sur les embeddings réduits, avec une largeur de bande déterminée par la méthode de Scott.
   • Évaluation de la grille : La KDE est évaluée sur une grille de 100x100 couvrant la plage des embeddings.
   • Détection de pics : Les pics de densité sont identifiés à l'aide d'un filtre de maximum local avec une connectivité de voisinage de 25 (un rayon de 5 unités).
   • Assignation de clusters : Ces pics servent de centres de clusters. Un modèle de mélange gaussien (GMM) est ajusté avec des moyennes fixées à ces pics. Les documents sont assignés au composant ayant la responsabilité ($r_{kd}$) la plus élevée via l'algorithme d'espérance-maximisation.

3. Estimation hybride de l'importance des termes :
   Topeax combine des indices lexicaux et sémantiques pour générer des mots-clés de haute qualité, évitant ainsi les pièges de la simple proximité au centroïde ou du simple pondération TF-IDF.

   • Importance sémantique : Les vecteurs de sujets ($t_k$) sont calculés comme la moyenne pondérée par la responsabilité des embeddings de documents au sein d'un cluster. L'importance sémantique ($s_{kj}$) est la similitude cosinus entre l'embedding du terme et le vecteur du sujet.
   • Importance lexicale : Au lieu du c-TF-IDF, Topeax utilise l'Information Mutuelle Ponctuelle Normalisée (NPMI). Cela mesure l'information mutuelle entre la présence d'un terme et l'étiquette du cluster. Pour éviter de surestimer les mots rares, le modèle emploie une estimation moyenne a posteriori sous un a priori de Dirichlet symétrique avec un paramètre de lissage ($\alpha=2$).
   • Combinaison : Le score d'importance final ($\beta_{kj}$) est la moyenne géométrique des scores lexicaux (NPMI) et sémantiques normalisés par min-max.

Configuration expérimentale
L'évaluation a utilisé un scénario de « clustering libre » où les modèles n'étaient pas informés à l'avance du nombre de clusters.

• Jeux de données : L'étude a utilisé des jeux de données étiquetés (gold-labeled) provenant du Massive Text Embedding Benchmark (MTEB), un jeu de données de classification de sujets Twitter annoté, et un jeu de données BBC News.
• Baselines : Topeax a été comparé à Top2Vec et BERTopic en utilisant divers encodeurs de phrases (MiniLM, MPNet et EmbeddingGemma).
• Métriques :
  • Récupération de clusters : Mesurée via l'Indice de Fowlkes-Mallows (FMI) pour évaluer l'alignement avec les étiquettes de référence (gold labels).
  • Qualité des sujets : Évaluée via la diversité des sujets ($d$), la cohérence externe des embeddings de mots ($C_{ex}$) et la cohérence interne ($C_{in}$), agrégées en un score d'interprétabilité ($I$).
  • Tests de sensibilité : Les modèles ont été testés pour leur sensibilité aux valeurs de perplexité et à l'invariance de sous-échantillonnage (performance sur des corpus partiels vs complets).

Résultats
Les résultats expérimentaux démontrent que Topeax surpasse substantiellement Top2Vec et BERTopic dans deux domaines clés :

1. Récupération de clusters : Topeax a obtenu un Indice de Fowlkes-Mallows nettement plus élevé, indiquant une meilleure correspondance avec les étiquettes de vérité terrain. Une analyse de régression a confirmé que le type de modèle était un prédicteur significatif de la performance ($p=0.0169$), BERTopic et Top2Vec présentant tous deux des pentes significativement négatives par rapport à Topeax.
2. Qualité des sujets : Topeax a généré des mots-clés de sujets de meilleure qualité, résultant en de meilleurs scores de cohérence et d'interprétabilité.
3. Stabilité : Contrairement aux modèles de référence, Topeax a montré un comportement moins erratique lorsqu'il était soumis à des changements de taille d'échantillon (sous-échantillonnage) et de paramètres (perplexité).

Signification et revendications
L'article affirme que Topeax offre une approche plus robuste et fiable de la modélisation de sujets en résolvant la nature de « boîte noire » de la détermination du nombre de clusters dans les modèles existants. En exploitant la détection de pics de densité (Peax) et une métrique d'importance lexicale-sémantique hybride, Topeax réduit le besoin de réglage manuel des hyperparamètres et de réduction hiérarchique des sujets. L'auteur soutient que cette approche produit des sujets plus cohérents et une récupération plus précise des structures de données naturelles, ce qui en fait une alternative supérieure pour les applications académiques et industrielles nécessitant une découverte automatique de sujets de haute qualité.