AutoCluster, AutoTopicModeling, AutoTrendAnalysis: A Complete AutoML Pipeline for Predicting Emerging Trends
Cet article présente AutoCluster, AutoTopicModeling et AutoTrendAnalysis, un pipeline d'AutoML complet qui automatise le partitionnement de données (clustering), la modélisation thématique et la prévision de séries temporelles de données textuelles afin de prédire avec précision les tendances émergentes avec une intervention manuelle minimale.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous marchiez à travers une bibliothèque immense et infinie où de nouveaux livres sont écrits et ajoutés chaque seconde. Les étagères sont si hautes qu'elles disparaissent dans les nuages, et les histoires sont écrites dans une langue qui change plus vite que le vent. Dans cette bibliothèque, la « prédiction de tendance » est l'art de déterminer quelles histoires ne sont que des murmures éphémères, lesquelles deviennent une conversation rugissante, et lesquelles sont sur le point de devenir la prochaine grande chose dont tout le monde parlera. Pendant longtemps, essayer de trouver ces modèles revenait à essayer de lire chaque livre à la main, un par un. C'était lent, épuisant, et cela demandait un bibliothécaire titulaire d'un doctorat en lecture. Mais et si vous pouviez construire un robot bibliothécaire super intelligent capable non seulement de lire les livres, mais aussi de décider comment les lire, de regrouper les histoires similaires et de deviner à quoi ressemblera la bibliothèque la semaine prochaine ? C'est le monde de l'AutoML (Apprentissage Automatique Automatisé), un domaine où les ordinateurs aident les humains à faire de meilleures suppositions sur l'avenir sans qu'un expert humain ait besoin de régler chaque bouton et chaque curseur. La grande question que se posent les chercheurs est la suivante : pouvons-nous construire un système si automatique et intelligent qu'il puisse repérer ces tendances émergentes dans une mer de textes, même si nous ne savons pas exactement quels outils utiliser ?
Ce document présente un système de robot bibliothécaire astucieux en trois étapes appelé AutoCluster, AutoTopicModeling et AutoTrendAnalysis. Considérez cela comme une chaîne de montage complète pour transformer un tas chaotique de textes (comme des articles de recherche ou des articles de presse) en une boule de cristal claire pour l'avenir.
D'abord, le système prend un tas de textes désordonnés et une date pour chaque élément. Il nettoie le désordre, en supprimant le « bruit » comme les mots communs qui ne signifient pas grand--chose, et transforme les mots restants en une carte de points. Imaginez transformer un paragraphe sur les « robots » et un autre sur les « cerveaux artificiels » en deux points qui se situent juste à côté l'un de l'autre sur une carte parce qu'ils signifient la même chose. C'est ce qu'on appelle l'embedding (plongement lexical).
Ensuite vient le premier robot, AutoCluster. Son travail est de regrouper ces points en quartiers. Mais voici la partie délicate : le robot ne se contente pas de choisir une seule façon de les regrouper. Il utilise une astuce de « méta-apprentissage », ce qui revient à avoir une mémoire de mille façons différentes d'organiser une pièce en désordre. Il regarde la forme de votre carte de texte spécifique et demande : « Laquelle de mes mille mémoires correspond le mieux à ceci ? » Il teste ensuite les trois meilleurs candidats et choisit le vainqueur. Dans leurs tests, une méthode appelée « clustering agglomeratif » a été la championne, réussissant à regrouper le texte en 4 à 8 quartiers distincts selon le jeu de données.
Une fois le texte trié en quartiers, le second robot, AutoTopicModeling, intervient. Ce robot est un détective qui tente de comprendre de quoi traite réellement chaque quartier. Il possède quatre outils de détective différents dans sa ceinture : LDA, LSA, BERTopic et NMF. Au lieu d'essayer tous ces outils sur toute la bibliothèque (ce qui prendrait une éternité), il utilise une stratégie de « réduction successive » (successive halving). Il teste les outils sur une petite tranche du quartier, garde les deux meilleurs détectives, puis teste ces deux-là sur une tranche plus grande. Le vainqueur résout l'ensemble du puzzle. Le système a constaté que différents quartiers nécessitaient différents détectives ; par exemple, dans un jeu de données, NMF était le meilleur détective pour la plupart des groupes, tandis que dans un autre, BERTopic prenait la tête. Une fois que le détective a identifié les mots principaux du sujet, le système utilise même une IA linguistique super intelligente pour donner au sujet un nom accrocheur, comme « Grands Modèles de Langage » ou « Sécurité des Logiciels ».
Enfin, le troisième robot, AutoTrendAnalysis, examine l'historique de ces sujets nommés. Il demande : « Combien de fois les gens ont-ils parlé des "Grands Modèles de Langage" le mois dernier ? L'année dernière ? » Il tente ensuite de prédire l'avenir en utilisant quatre modèles de voyage dans le temps différents : Facebook Prophet, ARIMA, STL et LSTM. Tout comme précédemment, il les teste pour voir lequel commet le moins d'erreurs. Le papier a mesuré ces erreurs à l'aide d'un score appelé RMSE (Erreur Quadratique Moyenne), où un chiffre plus bas est préférable. Le meilleur résultat obtenu a été un RMSE de 7,099 pour l'un de leurs jeux de données, ce qui suggère que les prédictions étaient assez précises.
Le système classe ensuite les prédictions futures en trois catégories : les Signaux Forts (sujets qui vont certainement devenir importants, comme les « Grands Modèles de Langage » qui ont été prédits en croissance pour dépasser les 2 600 documents par an), les Signaux Faibles (sujets qui pourraient croître mais qui restent petits, comme l'« Apprentissage Fédéré »), et le Bruit (sujets qui sont susceptibles de s'estomper ou de rester minuscules, comme la « Prévision de Séries Temporelles » dans certains contextes spécifiques).
Les auteurs précisent avec prudence que, bien que ce système fonctionne bien et soit beaucoup plus rapide qu'un travail manuel, il n'est pas magique. Il repose sur le fait que le texte doit être relativement similaire (on ne peut pas mélanger des scénarios de films avec des articles de mathématiques) et qu'il fonctionne actuellement mieux avec des données textuelles, et non des images ou des vidéos. Ils notent également que le système est conçu pour être évolutif (scalable), ce qui signifie qu'il peut traiter de grandes quantités de données, mais qu'il doit encore être testé sur des situations réelles encore plus diverses. En fin de compte, ce document montre que nous pouvons construire un pipeline entièrement automatisé qui ne se contente pas de deviner les tendances, mais qui détermine réellement la meilleure façon de les deviner, rendant l'avenir de l'analyse de données un peu moins mystérieux et beaucoup plus accessible.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.