AutoCluster, AutoTopicModeling, AutoTrendAnalysis: A Complete AutoML Pipeline for Predicting Emerging Trends
本文介绍了 AutoCluster、AutoTopicModeling 和 AutoTrendAnalysis，这是一个综合性的 AutoML 流水线，旨在实现文本数据的聚类、主题建模和时间序列预测的自动化，从而以极少的人工干预准确预测新兴趋势。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正漫步在一座宏大且无尽的图书馆中，每一秒钟都有新的书籍被撰写并加入其中。书架高耸入云，消失在云端，而书中的故事是用一种比风还要快、变化更剧烈的语言编写而成的。在这座图书馆中，“趋势预测”是一门艺术，旨在分辨哪些故事只是转瞬即逝的低语，哪些正在变成轰轰烈烈的讨论，以及哪些即将成为每个人都在谈论的下一个热门话题。长期以来，试图寻找这些模式就像试图亲手阅读每一本书一样——这既缓慢又令人精疲力竭，且需要一位拥有阅读博士学位的图书管理员。但如果能建造一个超级聪明的机器人图书管理员，它不仅能阅读书籍，还能决定“如何”阅读它们，将相似的故事归为一类，并猜测下周这座图书馆会是什么样子呢？这就是 AutoML（自动化机器学习）的世界，在这个领域，计算机帮助人类在不需要人类专家去调整每一个旋钮和刻度的情况下，做出更好的未来预测。研究人员提出的核心问题是：我们能否构建一个如此自动化且智能的系统，使其能够在浩如烟海的文本中识别出新兴趋势，即使我们并不确切知道该使用哪些工具？
这篇论文介绍了一个被称为 AutoCluster、AutoTopicModeling 和 AutoTrendAnalysis 的巧妙的三步走机器人图书管理员系统。你可以把它看作是一条完整的流水线，将混乱的文本堆（如研究论文或新闻文章）转化为清晰的未来水晶球。
首先，系统接收一堆杂乱的文本以及每篇文本对应的日期。它清理掉这些混乱，去除像那些没有实际意义的常用词之类的“噪声”，并将剩余的词汇转化为一张点阵图。想象一下，将一段关于“机器人”的段落和另一段关于“人工大脑”的段落转化为地图上紧挨在一起的两个点，因为它们表达的是同一个意思。这被称为嵌入（embedding）。
接着是第一个机器人，AutoCluster。它的任务是将这些点分组为不同的“邻里”。但棘手之处在于，这个机器人并不仅仅选择一种分组方式。它使用了一种“元学习（meta-learning）”技巧，这就像拥有处理混乱房间的一千种不同记忆。它观察你特定文本地图的形状，然后问道：“我的哪一段记忆最适合这个场景？”随后，它测试前三个候选方案，并选出胜出者。在他们的测试中，一种名为“凝聚层次聚类（Agglomerative clustering）”的方法成为了冠军，根据数据集的不同，成功将文本分成了 4 到 8 个截然不同的邻里。
一旦文本被分入不同的邻里，第二个机器人 AutoTopicModeling 就会介入。这个机器人是一个侦探，试图弄清楚每个邻里到底在讨论什么。它的工具包里有四种不同的侦探工具：LDA、LSA、BERTopic 和 NMF。它并不会尝试在整个图书馆中对所有工具进行测试（那会耗费太长时间），而是采用了一种“连续减半（successive halving）”策略。它先在邻里的一个小切片上测试这些工具，保留表现最好的两个侦探，然后在更大的切片上测试这两个侦探。最终的胜出者将负责解决整个谜题。系统发现，不同的邻里需要不同的侦探；例如，在一个数据集中，NMF 是大多数组的最佳侦探，而在另一个数据集中，BERTopic 则占据了领先地位。一旦侦探确定了主题的核心词汇，系统甚至会使用一种超智能的语言 AI 来为该主题起一个朗朗上口的名字，比如“大语言模型（Large Language Models）”或“软件安全（Software Safety）”。
最后，第三个机器人 AutoTrendAnalysis 会观察这些命名主题的历史记录。它会询问：“上个月人们谈论‘大语言模型’的次数是多少？去年又是多少次？”然后，它会尝试使用四种具有“时间旅行”能力的模型来预测未来：Facebook Prophet、ARIMA、STL 和 LSTM。就像之前一样，它会通过测试来观察哪个模型犯的错误最少。论文使用了一个名为 RMSE（均方根误差）的分数来衡量这些错误，数值越低代表预测越好。他们取得的最佳结果是其中一个数据集的 RMSE 为 7.099，这表明预测是非常准确的。
随后，系统将未来的预测分为三类：强信号（那些注定会变得火热的主题，例如“大语言模型”，其预测年增长量将超过 2,600 篇文档）、弱信号（可能增长但规模仍然较小的课题，例如“联邦学习”）以及噪声（那些可能会消退或保持微小规模的主题，例如在某些特定背景下的“时间序列预测”）。
作者们谨慎地指出，虽然这个系统运作良好且比人工操作快得多，但它并非魔法。它依赖于文本具有一定的相似性（你不能把电影剧本和数学论文混在一起讨论），并且目前最擅长处理文本数据，而非图片或视频。他们还提到，该系统旨在具备可扩展性，这意味着它可以处理海量数据，但仍需在更多样化的现实场景中进行测试。最终，这篇论文表明，我们可以构建一个完全自动化的流程，它不仅是在猜测趋势，而且是在通过寻找最佳方式来优化预测，让数据的未来分析变得不再那么神秘，也变得更加触手可及。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。