Determination of the Number of Topics Intrinsically: Is It Possible?
Cet article évalue diverses méthodes intrinsèques pour estimer le nombre de sujets dans les modèles de thèmes à travers plusieurs corpus et conclut que ces méthodes sont peu fiables car le nombre optimal de sujets dépend du modèle et de la méthode spécifiques utilisés plutôt que d'être une propriété absolue des données.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez une bibliothèque contenant des millions de livres, mais dont les étagères sont vides et les titres manquants. Pour donner un sens à cette collection, un bibliothécaire pourrait essayer de regrouper les livres par leur contenu, en les triant en piles basées sur des thèmes communs. Dans le monde de l'informatique, c'est le travail d'un modèle thématique. Ce sont des outils statistiques qui scannent de vastes quantités de texte pour trouver des motifs cachés, regroupant les mots qui apparaissent fréquemment ensemble en ce que nous appelons des « sujets ». Un sujet peut porter sur le sport, un autre sur la cuisine, et un autre sur l'exploration spatiale. L'ordinateur ne connaît pas ces étiquettes au préalable ; il les découvre en analysant le texte lui-même.
Cependant, il existe un problème fondamental avec ce processus : l'ordinateur ne sait pas combien de piles il doit créer. Doit-il créer dix groupes, cinquante ou cent ? Ce nombre est un réglage crucial, ou « hyperparamètre », que l'utilisateur doit choisir avant que l'ordinateur ne commence son travail. Si le nombre est trop bas, les groupes deviennent désordonnés et confus, mélangeant des sujets sans rapport. S'il est trop élevé, les groupes deviennent minuscules et répétitifs, divisant une seule idée en de nombreux fragments presque identiques. Pendant des années, des chercheurs ont tenté de construire des outils automatiques capables de regarder une collection de textes et de dire à l'utilisateur le nombre parfait de sujets à choisir, espérant trouver un nombre unique et objectif caché dans les données.
Une équipe de chercheurs de l'Institut de physique et de technologie de Moscou et de l'Université d'État Lomonossov de Moscou a décidé de tester si un tel nombre parfait existe réellement. Ils ont rassemblé une grande variété de méthodes existantes — des dizaines de formules mathématiques et procédures différentes — qui prétendent déterminer le meilleur nombre de sujets. Ils ont appliqué ces méthodes à plusieurs collections de textes réels et volumineux, allant d'articles de presse et de publications scientifiques à des messages provenant d'un forum de programmation et un ensemble de articles de Wikipédia en russe. Ils ont également testé ces méthodes sur différents types de modèles informatiques, car la façon dont un modèle est construit peut changer sa perception des données.
Les chercheurs ont mené des milliers d'expériences, laissant les modèles informatiques apprendre du texte tout en mesurant les résultats avec chacune des différentes méthodes. Ils cherchaient des signaux clairs, tels qu'un pic aigu ou une vallée profonde dans les données, qui indiquerait le nombre idéal de sujets. Ils espéraient que toutes les différentes méthodes seraient d'accord entre elles, pointant vers le même nombre pour une collection de textes donnée. Au lieu de cela, ils ont découvert une image chaotique. Une méthode pouvait suggérer qu'une collection d'articles de presse est mieux comprise avec dix sujets, tandis qu'une autre, analysant exactement le même texte, suggérerait trente. Plus surprenant encore, le « meilleur » nombre changeait souvent selon le modèle informatique spécifique utilisé pour analyser le texte.
L'étude a révélé que les outils les plus populaires et les plus sophistiqués pour trouver le bon nombre de sujets sont loin d'être fiables. Certaines méthodes, qui tentent de mesurer à quel point les sujets sont distincts les uns des autres, suggéraient systématiquement des nombres bien trop élevés, poussant souvent le compte jusqu'à la limite de ce que les chercheurs avaient testé. D'autres méthodes, qui examinent la capacité du modèle à prédire des textes inédits, produisaient des résultats si plats et immuables qu'elles n'offraient aucune orientation. Les chercheurs ont découvert que le nombre de sujets n'est pas une propriété fixe et naturelle du texte lui-même, comme le nombre de pages d'un livre. C'est plutôt une quantité qui dépend fortement de l'outil spécifique utilisé pour la mesurer et du modèle spécifique utilisé pour l'analyser.
Dans leur conclusion, les auteurs suggèrent que la communauté poursuit un mythe. L'idée qu'il existe un nombre de sujets « naturel » unique attendant d'être découvert dans n'importe quel ensemble de données semble être incorrecte. Le nombre de sujets ressemble davantage à un cadran que l'utilisateur tourne pour ajuster le niveau de détail souhaité, de la même manière que l'on zoome ou dézoome sur une carte. Une carte d'une ville peut montrer les rues individuelles, ou elle peut ne montrer que les grandes autoroutes ; aucune des deux n'est la « vraie » carte, ce sont simplement des vues différentes pour des usages différents. Les chercheurs soutiennent qu'au lieu de chercher un nombre parfait automatiquement, les praticiens devraient se concentrer sur ce qu'ils veulent réellement que le modèle fasse. Ils devraient se demander quel degré de détail ils souhaitent pour les groupes, ou s'ils ont des questions spécifiques auxquelles ils veulent que le modèle réponde. La recherche d'une solution intrinsèque et automatique pour le nombre de sujets a, selon cette étude, mené à une impasse, suggérant que la réponse ne réside pas dans une meilleure formule, mais dans une meilleure compréhension de l'objectif humain derrière l'analyse.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.