💬 NLP

A Comparative Evaluation of Structural Topic Models and BERTopic for Short, Open-Ended Survey Responses

Cet article compare les modèles thématiques structurels (STM) et BERTopic pour l'analyse de réponses brèves et ouvertes à des enquêtes, constatant que si BERTopic avec augmentation contextuelle produit des thèmes plus cohérents et interprétables, le STM demeure supérieur pour l'analyse inférentielle des covariables, suggérant que ces deux méthodes offrent des atouts complémentaires pour la recherche en sciences sociales appliquées.

Auteurs originaux : Yan Jiang, Sihong Liu, Philip A. Fisher

Publié 2026-05-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yan Jiang, Sihong Liu, Philip A. Fisher

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résouder un mystère, mais au lieu d'interroger des suspects, vous lisez des milliers de petites notes désordonnées laissées par des personnes répondant à une question d'enquête : « Quelles sont vos plus grandes inquiétudes en ce moment ? »

Certaines notes sont longues et détaillées. D'autres ne sont qu'un seul mot comme « Argent » ou « Logement ». Certaines contiennent des fautes de frappe comme « incertainté » au lieu de « incertitude ». Votre tâche consiste à trier ces notes en tas (sujets) afin de comprendre de quoi les gens parlent vraiment.

Cet article compare deux outils de détective (méthodes) différents pour effectuer ce travail de tri : STM et BERTopic.

Les Deux Outils

1. STM (Le détective « Compteur de mots »)
Considérez STM comme un comptable très organisé et respectueux des règles.

Fonctionnement : Il compte la fréquence à laquelle les mots apparaissent ensemble. Si « factures » et « loyer » apparaissent souvent dans les mêmes notes, il les place dans le même tas.
Super-pouvoir : Il est excellent pour répondre aux questions « Pourquoi ? ». Il peut vous dire si un groupe de personnes (comme les parents célibataires) s'inquiète de l'argent plus qu'un autre groupe (comme les couples), et il peut le faire avec une preuve statistique.
Faiblesse : Parce qu'il se contente de compter les mots, il est parfois confus par les notes courtes. Il peut mélanger différents thèmes (comme mettre « argent » et « santé » dans le même tas) ou inclure des mots vagues comme « juste » ou « ne peut pas » qui n'ont pas vraiment de sens.

2. BERTopic (Le détective « Lecteur de sens »)
Considérez BERTopic comme une intelligence artificielle moderne et high-tech qui lit le sentiment et le sens des mots, et pas seulement le compte.

Fonctionnement : Il utilise une immense bibliothèque de connaissances linguistiques pour comprendre que « paiement de voiture » et « prêt automobile » signifient la même chose, même si les mots sont totalement différents. Il regroupe les notes en fonction de leur « ambiance » sémantique.
Super-pouvoir : Il excelle à trier des notes courtes et désordonnées en tas très clairs et distincts. Il mélange rarement différents thèmes.
Faiblesse : Il est principalement descriptif. Il peut vous dire ce que sont les tas, mais il est plus difficile de l'utiliser pour formuler des affirmations statistiques strictes sur pourquoi différents groupes s'inquiètent différemment.

L'Expérience : Tester les Outils

Les chercheurs ont pris un véritable ensemble de données contenant plus de 14 000 réponses courtes à une enquête provenant de fournisseurs de garde d'enfants. Ils ont testé les deux outils dans différentes conditions pour voir lequel fonctionnait le mieux :

Le test « Brut » : Ont-ils utilisé les notes exactement telles qu'elles étaient écrites (avec des fautes de frappe) ?
Le test « Nettoyé » : Ont-ils corrigé les erreurs d'orthographe d'abord ?
Le test « Racine » (pour STM uniquement) : Ont-ils réduit les mots à leur racine (par exemple, changer « travaillant » en « travail ») ?
L'astuce « Contexte » (pour BERTopic uniquement) : Comme les notes étaient si courtes, les chercheurs ont ajouté la question de l'enquête au début de chaque note. Ainsi, au lieu de simplement « Argent », la note devenait : « Question : Quelles sont vos inquiétudes ? Réponse : Argent. » Cela a donné à l'IA plus de contexte pour comprendre la note.

Ce qu'ils ont découvert

1. BERTopic était le meilleur trieur.
Dans l'ensemble, BERTopic a créé des tas de notes plus propres et plus logiques. Le « Lecteur de sens » comprenait beaucoup mieux les notes courtes que le « Compteur de mots ».

L'astuce magique : Le plus grand gain pour BERTopic provenait de l'astuce Contexte. Ajouter la question de l'enquête aux réponses courtes a rendu les sujets beaucoup plus clairs. C'était comme donner un indice au détective avant qu'il ne commence à lire.
Le résultat surprenant : L'utilisation d'un modèle d'IA « plus intelligent » et plus complexe (dimensions plus élevées) n'a pas vraiment aidé. En fait, cela a parfois empiré les choses et jeté plus de données. Parfois, le plus simple est mieux pour les notes courtes.

2. STM restait utile, mais plus désordonné.
Les tas de STM étaient souvent un mélange de différents thèmes (par exemple, un tas contenant « argent », « covid » et « gouvernement » tous en même temps). Il a eu un peu de mal avec le texte court et bruyant. Cependant, il conservait plus de mots originaux dans son analyse.

3. La stratégie « Le meilleur des deux mondes ».
L'article suggère que ces outils ne sont pas des ennemis ; ce sont des coéquipiers.

Étape 1 : Utilisez BERTopic d'abord pour déterminer ce que sont les thèmes principaux. Il est excellent pour découvrir les sujets car il gère si bien le texte court et désordonné.
Étape 2 : Une fois que vous connaissez les sujets, utilisez STM pour poser des questions statistiques à leur sujet. Si vous voulez savoir si les fournisseurs « à domicile » s'inquiètent plus du loyer que les fournisseurs « en centre », STM est l'outil qui vous donnera la réponse statistique.

La Conclusion

Si vous essayez de donner du sens à des réponses d'enquête courtes et désordonnées :

Ne vous fiez pas à un seul outil.
Nettoyez vos données d'abord (corrigez les fautes de frappe).
Donnez du contexte à l'IA (ajoutez la question à la réponse) si vous utilisez la méthode moderne.
Utilisez la méthode moderne (BERTopic) pour trouver les thèmes, puis utilisez la méthode traditionnelle (STM) pour tester vos théories sur ces thèmes.

L'article conclut que si les outils modernes sont meilleurs pour trouver des modèles clairs dans le texte court, les outils traditionnels restent essentiels pour effectuer le travail lourd de l'analyse statistique. Vous avez besoin des deux pour obtenir une image complète.

Résumé technique : Évaluation comparative des modèles thématiques structurels et de BERTopic pour les réponses courtes et ouvertes aux enquêtes

Énoncé du problème

La modélisation thématique est devenue un outil standard en psychologie appliquée et en sciences sociales pour analyser les réponses ouvertes aux enquêtes. Cependant, l'évaluation de ces méthodes a historiquement reposé sur des corpus de référence composés de documents plus longs et plus propres (par exemple, des articles de presse). Cela laisse un vide significatif en matière de guidance pour les réponses courtes et ouvertes aux enquêtes, qui se caractérisent souvent par :

Une variabilité extrême de la longueur (allant de mots uniques à plusieurs centaines).
Des niveaux élevés de bruit, incluant des erreurs typographiques et des artefacts d'encodage.
Des phrases fragmentées qui manquent de contexte sémantique autonome.

L'article répond au besoin de comparer deux traditions méthodologiques dominantes — les modèles probabilistes de type sac de mots (représentés par les modèles thématiques structurels, ou STM) et les approches basées sur les plongements (représentées par BERTopic) — spécifiquement dans ces conditions de données difficiles. Il examine également comment les décisions de prétraitement (correction typographique, mise à la racine) et les choix de modélisation (dimensionnalité des plongements, augmentation contextuelle) influencent les performances.

Méthodologie

Source des données

L'étude a utilisé un corpus de 14 238 réponses ouvertes à une enquête provenant de 4 873 prestataires de soins et d'éducation de la petite enfance (ECE) aux États-Unis. Les données ont été collectées lors de 127 vagues d'enquête entre mars 2021 et octobre 2025. La question centrale était : "Quels sont les plus grands défis et préoccupations pour vous et votre famille en ce moment ?"

Caractéristiques des données : Les réponses comportaient en moyenne 15,6 mots. 7,4 % étaient des mots uniques, et 34,6 % comportaient 1 à 5 mots. Le texte brut contenait 1 163 erreurs typographiques identifiées.

Conception expérimentale

Les auteurs ont comparé trois conditions STM et cinq conditions BERTopic, en faisant varier le prétraitement et les spécifications du modèle. Tous les modèles ont été estimés sur une gamme de nombres de thèmes ( $K = 10$ à $60$) et trois graines aléatoires, résultant en 144 exécutions de modèle au total.

Conditions STM :

Brut : Texte original sans correction.
Nettoyé : Erreurs typographiques corrigées.
Nettoyé + Racine : Texte nettoyé avec application de la mise à la racine (réduction des mots à leurs formes racines).

Conditions BERTopic :

Brut : Texte original.
Nettoyé : Erreurs typographiques corrigées.
Nettoyé + Emb : Texte nettoyé utilisant un modèle de plongement de plus haute dimension (text-embedding-3-small, 1 536 dimensions) au lieu du modèle par défaut (all-MiniLM-L6-v2, 384 dimensions).
Nettoyé + Contexte (Ctx) : Texte nettoyé avec la question de l'enquête ajoutée à chaque réponse pour fournir un contexte sémantique.
Nettoyé + Ctx + Emb : Combinaison de l'augmentation contextuelle et des plongements de plus haute dimension.

Métriques d'évaluation

Quantitatives :
- Cohérence thématique : Mesurée via l'information mutuelle ponctuelle normalisée (NPMI).
- Diversité thématique : Mesurée via l'inverse du chevauchement biaisé par le rang (RBO).
- Rétention des données : Proportion de mots conservés (STM) ou de documents assignés à des thèmes (BERTopic).
- Stabilité : Chevauchement des mots et des thèmes entre les conditions de prétraitement et entre les modèles.
Qualitatives : Évaluation humaine de l'interprétabilité des thèmes, de leur distinctivité et de la présence de thèmes mixtes.
Analyse des covariables : Examen de la façon dont les thèmes varient selon le temps et le type de prestataire (basé sur un centre vs basé à domicile).

Résultats clés

1. Cohérence et qualité des thèmes

Supériorité de BERTopic : BERTopic a systématiquement produit une cohérence thématique (NPMI) plus élevée que le STM dans toutes les conditions. Les conditions STM ont donné des valeurs NPMI négatives (environ -0,08), indiquant une co-occurrence modeste des mots, tandis que BERTopic a atteint des valeurs positives (0,09–0,12).
Impact de l'augmentation contextuelle : Le gain de performance le plus significatif pour BERTopic provenait de l'augmentation contextuelle (ajout de la question de l'enquête). Cette stratégie a produit les scores de cohérence les plus élevés (0,12), démontrant que la fourniture d'un contexte sémantique est cruciale pour les textes courts.
Dimensionnalité des plongements : Contrairement à l'hypothèse selon laquelle les plongements de plus haute dimension capturent plus de nuances, l'utilisation du modèle à 1 536 dimensions n'a pas amélioré la cohérence et, dans certains cas, l'a réduite par rapport au modèle par défaut à 384 dimensions. Elle a également été associée à une plus grande perte de données.

2. Interprétabilité et structure des thèmes

BERTopic : A généré des thèmes plus interprétables, stables et nettement définis (par exemple, des clusters distincts pour "besoins de base", "stress financier", "logement"). Il a montré une grande stabilité entre les conditions de prétraitement (86,7 % de chevauchement de mots entre brut et nettoyé).
STM : Les thèmes étaient souvent plus larges, mixtes et moins distincts. Ils incluaient fréquemment des termes généraux (par exemple, "ne peut pas", "juste") et combinaient plusieurs thèmes (par exemple, mélangeant les préoccupations liées au COVID avec les difficultés financières). Le STM a montré une stabilité plus faible entre les conditions (78,7 % de chevauchement).
Chevauchement : Le chevauchement inter-modèle était modeste (~40 % de chevauchement de mots), principalement parce que le STM repose sur la fréquence du sac de mots tandis que BERTopic repose sur la similarité sémantique dans l'espace des plongements.

3. Rétention des données

STM : A conservé 51,9 % à 57,9 % des mots après prétraitement (filtrage des termes rares/fréquents).
BERTopic : A conservé 59,4 % à 72,7 % des documents. Les documents qui ne correspondaient pas aux clusters denses ont été assignés à une catégorie de valeurs aberrantes.
Constat : Des données plus propres ont généralement amélioré la rétention. Cependant, l'utilisation de plongements de plus haute dimension avec un contexte limité a entraîné une perte de données plus importante dans BERTopic.

4. Analyse des covariables

STM : Soutient l'analyse inférentielle en intégrant les covariables (par exemple, le temps, le type de prestataire) directement dans le processus d'estimation, fournissant des intervalles de confiance et des estimations statistiques.
BERTopic : L'analyse des covariables est a posteriori et descriptive. Elle compare la prévalence des thèmes entre les groupes après la génération des thèmes, mais n'offre pas le même cadre statistique inférentiel.

Contributions clés

Stratégie d'augmentation contextuelle : L'article introduit et valide l'"augmentation contextuelle" (ajout de la question de l'enquête aux réponses) comme une stratégie hautement efficace pour améliorer les performances des modèles basés sur les plongements sur des textes très courts.
Preuve empirique sur la dimensionnalité des plongements : L'étude remet en question l'hypothèse selon laquelle les plongements de plus haute dimension sont universellement supérieurs pour l'analyse de textes courts, constatant qu'ils peuvent réduire la cohérence et augmenter la perte de données dans ce contexte spécifique.
Cadre complémentaire : Plutôt que de désigner un seul gagnant, l'article établit que le STM et BERTopic offrent des forces complémentaires :
- BERTopic est supérieur pour la découverte de thèmes, générant des structures cohérentes et stables à partir de données bruyantes et courtes.
- STM est supérieur pour l'analyse inférentielle, permettant aux chercheurs de tester des hypothèses sur la façon dont la prévalence des thèmes varie selon les covariables.

Importance et affirmations

Les auteurs affirment que leurs résultats fournissent des guides pratiques pour les chercheurs en sciences sociales appliquées qui doivent analyser des réponses courtes et ouvertes aux enquêtes. Ils soulignent que :

La performance des modèles dans des contextes appliqués ne peut pas être supposée refléter les résultats des corpus de référence.
La préparation des données est cruciale : Les chercheurs doivent s'engager activement avec les caractéristiques des données (par exemple, le bruit, la longueur) et prendre des décisions de prétraitement spécifiques au contexte plutôt que de se fier à des pipelines standardisés.
Les workflows hybrides sont recommandés : Pour les objectifs de recherche impliquant à la fois la découverte et l'inférence, les auteurs suggèrent un workflow itératif : utiliser BERTopic d'abord pour identifier des structures thématiques robustes et interprétables, puis utiliser ces structures pour éclairer les analyses STM pour les tests d'hypothèses et l'inférence des covariables.
L'évaluation doit être mixte : Les métriques quantitatives (cohérence/diversité) sont insuffisantes à elles seules ; l'évaluation qualitative et la connaissance du domaine sont essentielles pour évaluer la qualité des thèmes.

L'article conclut que le STM et BERTopic ne doivent pas être considérés comme des alternatives concurrentes, mais comme des outils ayant des rôles distincts et complémentaires dans le cycle de vie de la recherche, en particulier lorsqu'il s'agit des contraintes uniques des données d'enquêtes de format court.