Topic Modeling with Fine-tuning LLMs and Bag of Sentences

1. Problématique et Contexte

Le domaine de la modélisation de sujets (topic modeling) a évolué avec l'avènement des modèles de langage à grande échelle (LLM). Bien que les modèles classiques comme l'Allocation Dirichlet Latente (LDA) aient posé les bases, ils souffrent de limitations inhérentes :

• Hypothèse du sac de mots (Bag of Words) : Ils traitent les mots comme des unités indépendantes, ce qui peut conduire à des attributions de sujets fragmentées et peu cohérentes.
• Objectifs d'optimisation : La minimisation de la perplexité (utilisée par LDA) s'avère souvent moins performante que d'autres mesures comme l'Information Mutuelle Ponctuelle (PMI) pour évaluer la cohérence humaine.
• Limites des LLMs « prêts à l'emploi » : Les approches actuelles utilisant des encodeurs LLM pré-entraînés (comme BERT) sans ajustement (out-of-the-box) ne sont pas optimisées spécifiquement pour le calcul de similarité dans le contexte de la modélisation de sujets.

Le défi majeur réside dans la fine-tuning (ajustement fin) de ces LLMs : il nécessite généralement des jeux de données étiquetés, qui sont coûteux et rares à obtenir.

2. Méthodologie Proposée

L'auteur propose une approche en deux volets : une méthode d'ajustement fin non supervisée (FT-Topic) et un nouveau modèle de modélisation de sujets (SenClu).

A. FT-Topic : Ajustement Fin Non Supervisé

Cette méthode vise à optimiser un encodeur LLM pour la modélisation de sujets sans données étiquetées, en utilisant l'unité « Sac de Phrases » (Bag of Sentences - BoS) plutôt que des mots individuels ou des documents entiers.

1. Construction du jeu de données d'entraînement :
   • Hypothèse de localité : Les groupes de phrases adjacentes dans un document sont supposés appartenir au même sujet (échantillons positifs), tandis que des groupes de phrases provenant de documents différents sont supposés appartenir à des sujets différents (échantillons négatifs).
   • Génération de triplets : Pour chaque groupe de phrases (ancrage), on sélectionne un groupe adjacent (positif) et un groupe aléatoire d'un autre document (négatif) pour former des triplets $(A, P, N)$.
2. Filtrage de la qualité des données :
   • L'hypothèse de localité n'est pas toujours vraie (ex: un document peut changer de sujet, ou deux documents peuvent traiter du même sujet).
   • Une étape de nettoyage est appliquée : on utilise un modèle non ajusté pour calculer les similarités et supprimer les paires jugées incorrectes (faux positifs ou faux négatifs) en se basant sur des fractions fixes ($f_{pos}$ et $f_{tri}$).
3. Ajustement Fin :
   • Le modèle est ajusté en utilisant la fonction de perte Triplet (Triplet Loss) sur les triplets nettoyés, afin d'augmenter la similarité entre les phrases d'un même sujet et de diminuer celle des phrases de sujets différents.

B. SenClu : Le Modèle de Modélisation de Sujets

SenClu est un modèle génératif basé sur l'approche « Sac de Phrases » (BoS) et l'algorithme Expectation-Maximization (EM).

• Unité d'analyse : Au lieu de mots, l'unité de base est une séquence de $n_s$ phrases consécutives.
• Assignation Hard (Dure) : Contrairement aux modèles probabilistes souples (comme LDA), SenClu assigne chaque groupe de phrases à un seul sujet (probabilité 1 ou 0). Cela simplifie l'interprétation et le calcul.
• Algorithme EM avec Recuit Simulé :
  • Étape E : Estimation de la probabilité qu'un groupe de phrases appartienne à un sujet, en combinant la similarité cosinus entre les vecteurs de phrases et les vecteurs de sujets, et une probabilité a priori du sujet dans le document.
  • Étape M : Mise à jour des vecteurs de sujets (centroïdes) par moyenne des vecteurs de phrases assignés et mise à jour de la distribution sujet-document.
  • Recuit (Annealing) : Un paramètre de lissage ($\alpha$) décroît au fil des époques. Cela permet d'éviter les minima locaux en permettant des changements d'assignation au début, puis en les stabilisant progressivement.
• Score Mot-Sujet : Pour présenter les résultats, l'article propose une métrique combinant la fréquence d'un mot dans un sujet et sa pertinence relative (par rapport aux autres sujets), filtrant ainsi les mots génériques.

3. Contributions Clés

1. Méthode FT-Topic : Une approche automatique pour ajuster finement des encodeurs LLM pour la modélisation de sujets via la construction heuristique de jeux de données et un filtrage de qualité, sans nécessiter d'étiquettes humaines.
2. Modèle SenClu et BoS : Introduction d'un nouveau modèle de sujet utilisant l'unité « Sac de Phrases », offrant un équilibre entre la granularité du « Sac de Mots » (LDA) et celle du « Sac de Documents » (clustering).
3. Technique d'Inférence : Développement d'un algorithme EM basé sur le recuit simulé et des assignations dures, permettant une inférence rapide et une meilleure interprétabilité.
4. Métrique de Score Mot-Sujet : Une mesure nouvelle combinant fréquence et importance relative pour générer des listes de mots clés plus pertinentes.

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre jeux de données (NYT, 20 Newsgroups, Gutenberg, Yelp) en comparant SenClu (avec et sans FT-Topic) à LDA, BERTopic et TopClus.

• Qualité des Sujets (Cohérence) : SenClu avec FT-Topic obtient les meilleurs scores de PMI (Information Mutuelle Ponctuelle) sur tous les jeux de données, surpassant significativement les autres méthodes. Cela indique une cohérence sémantique supérieure des sujets générés.
• Couverture des Sujets (NMI) : En termes de Normalized Mutual Information (NMI) par rapport aux catégories humaines, SenClu+FT-Topic atteint des performances de pointe, surpassant TopClus (qui est conçu spécifiquement pour le clustering).
• Temps de Calcul :
  • LDA et BERTopic sont très rapides (~1 minute).
  • TopClus est extrêmement lent (> 150 minutes) en raison de l'entraînement d'un réseau de neurones complexe.
  • SenClu offre un compromis excellent : il est plus rapide que TopClus (quelques minutes) tout en fournissant une qualité bien supérieure. L'ajout de FT-Topic augmente le temps d'entraînement (ajustement fin), mais l'inférence reste rapide.
• Interprétabilité : Les sujets générés par SenClu sont plus faciles à interpréter et contiennent moins de mots génériques ou non pertinents que ceux de TopClus ou LDA.

5. Signification et Conclusion

Cet article démontre que l'utilisation de modèles de langage pré-entraînés pour la modélisation de sujets peut être considérablement améliorée par un ajustement fin non supervisé.

• Avantage Principal : La méthode propose un pipeline complet qui combine la puissance sémantique des LLMs (via les embeddings contextuels) avec l'efficacité algorithmique des méthodes classiques (EM, assignations dures).
• Innovation Conceptuelle : Le passage du « Sac de Mots » au « Sac de Phrases » résout le problème de la fragmentation des sujets au niveau du mot, tout en évitant l'hypothèse trop forte d'un sujet unique par document entier.
• Impact Pratique : La méthode offre un outil robuste, rapide et de haute qualité pour les utilisateurs, permettant de contrôler la diversité des sujets par document via l'hyperparamètre $\alpha$, tout en évitant la complexité et les temps de calcul prohibitifs des modèles neuronaux profonds purs.

En résumé, Schneider et son équipe ont réussi à combler le fossé entre les modèles statistiques traditionnels et les LLMs modernes, offrant une solution « state-of-the-art » qui est à la fois performante, interprétable et efficace en termes de ressources.