Semantic Hashtag LDA for Clustering Short Texts: Twitter Use Case

Les réseaux sociaux ont transformé la façon dont nous partageons nos vies, faisant de chaque instant une diffusion potentielle. Sur des plateformes comme Twitter, les utilisateurs publient de courts messages, souvent de quelques phrases seulement, pour partager des nouvelles, des opinions ou des observations quotidiennes. Parce que ces publications sont si courtes, elles manquent souvent du contexte que l'on trouve dans des articles ou des livres plus longs, ce qui rend difficile pour les ordinateurs de comprendre de quoi elles traitent réellement. Pour aider à organiser ce déluge d'informations, les utilisateurs ajoutent souvent des étiquettes spéciales appelées hashtags — des mots précédés d'un signe dièse qui servent de résumé rapide du thème de la publication. Cependant, ces étiquettes sont créées par des humains, et non par des machines, ce qui signifie qu'un même événement peut être étiqueté de dizaines de manières différentes, ou qu'un seul tag peut être utilisé pour des sujets totalement sans rapport. Les chercheurs dans le domaine de la science des données cherchent constamment de meilleures façons de regrouper ces messages courts et chaotiques en catégories significatives, un processus appelé partitionnement (clustering), afin que les récits et les tendances sous-jacents puissent être découverts et compris.

Une équipe de chercheurs de l'Université d'Urmia et de l'Université Libre de Bolzano a relevé ce défi en développant une nouvelle méthode pour trier ces messages courts. Ils se sont concentrés sur un problème spécifique : les modèles informatiques standards, qui fonctionnent bien pour les documents longs, échouent souvent lorsqu'il s'agit de regrouper des textes courts car il n'y a tout simplement pas assez d'informations dans un seul tweet pour déterminer son sujet. Les chercheurs ont réalisé que, si un tweet peut être trop bref, une collection de tweets partageant le même hashtag pourrait fournir suffisamment de contexte pour révéler un thème clair. Leur objectif était de construire un système capable de rassembler ces messages liés, de nettoyer le bruit, et d'utiliser les hashtags comme guide pour créer des groupes de texte plus larges et plus informatifs.

Pour tester leur idée, l'équipe a collecté près de neuf millions de tweets sur une période de dix jours en octobre 2017. Ils ont rapidement réalisé que toutes ces données n'étaient pas utiles. Une vaste majorité de tweets, soit environ 81 pour cent, ne contenait aucun hashtag, ce qui les rendait impossibles à utiliser pour leur méthode spécifique. Ils ont également dû faire face au spam et aux publications de faible qualité, telles que des messages ne contenant que des hashtags ou un nombre excessif de ceux-ci. Pour filtrer les données, ils ont appliqué un ensemble de règles pour éliminer ces valeurs aberrantes. Ils ont écarté les tweets sans hashtags, ceux avec plus de dix hashtags, et tout ceux qui consistaient uniquement en des éticquettes sans texte réel. Ils ont également utilisé une mesure mathématique pour identifier et supprimer les hashtags trop communs, tels que des termes génériques comme « Friday », qui apparaissaient dans tellement de contextes différents qu'ils n'aidaient pas à définir un sujet spécifique. Cependant, ils ont fait une exception pour les hashtags qui étaient tendance pour un événement spécifique et de courte durée, garantissant ainsi que les conversations importantes et sensibles au facteur temps ne soient pas perdues. Après ce processus de nettoyage rigoureux, il leur restait un ensemble de données de plus de 684 000 tweets de haute qualité.

Le cœur de leur nouvelle approche, qu'ils ont nommée Semantic Hashtag LDA, implique une manière ingénieuse d'organiser ces tweets nettoyés. Au lieu de traiter chaque tweet comme un document séparé et isolé, le système regroupe tous les tweets qui partagent le même hashtag. Cela crée un « document » beaucoup plus large pour l'analyse de l'ordinateur, combinant les mots de nombreux utilisateurs différents qui parlaient du même événement. Les chercheurs ont ensuite ajouté une couche d'intelligence à ce regroupement. Ils ont appris au système à reconnaître que les mots souvent utilisés ensemble dans ces groupes sont sémantiquement similaires, ce qui signifie qu'ils partagent un sens ou un contexte commun, même s'ils ne sont pas identiques. En combinant la puissance de ces groupes plus larges basés sur les hashtags avec une compréhension des relations entre les mots, le système pouvait construire une image beaucoup plus claire des sujets discutés.

Les résultats ont montré que cette nouvelle méthode était nettement plus efficace que les techniques précédentes. Lorsque les chercheurs ont comparé leur système aux autres méthodes standards de partitionnement de textes courts, leur approche a produit des groupes beaucoup plus cohérents et logiquement consistants. En termes simples, les sujets identifiés par l'ordinateur étaient plus distincts et moins confus. Le système a démontré avec succès une réduction significative du taux d'erreur, les résultats montrant une diminution allant jusqu'à -0,02, ce qui signifie qu'il était beaucoup moins susceptible de mélanger des sujets sans rapport ou de manquer le thème principal d'une conversation. Les chercheurs ont constaté qu'en utilisant les hashtags comme guide et en nettoyant soigneusement les données, ils pouvaient surmonter les limites du texte court, transformant un flux chaotique de millions de messages brefs en grappes d'informations organisées et compréhensibles. Ce travail démontre qu'en tirant parti de la façon dont les gens étiquettent naturellement leur propre contenu, les ordinateurs peuvent apprendre à donner du sens au monde bruyant et rapide des médias sociaux.