Automated Summarization of Financial News Using Large Language Models and Retrieval-Augmented Generation: An Early Empirical Study (Fall 2023)
乔治·华盛顿大学这项 2023 年秋季的研究表明，使用带有摘要链（Summarize Chains）的 Falcon-7B 流水线能够有效地实现十家主要公司的财经新闻摘要自动化，其表现优于基于检索增强生成（RAG）的方法和 Lead-3 基准线，同时也凸显了如较小模型中存在的幻觉等持续性挑战。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
每天，金融世界都会产生海量的信息。成千上万的文章出现在网络上，每一篇都在详细描述公司的动态、高管的决策以及股市的起伏。对于试图追踪哪怕只是少数几家公司的投资者或分析师来说，阅读每一篇报道是一项不可能完成的任务。错过一个关键细节，可能意味着在明智投资与代价高昂的错误之间失之毫厘。这正是自然语言处理领域发挥作用的地方，特别是被称为文本摘要的特定分支。几十年来，计算机一直被教导如何阅读长文档并提取最重要的句子。最近，一种被称为大语言模型的新一代人工智能出现了。这些系统是在海量人类写作内容的基础上训练出来的，它们不仅可以挑出关键句子，还能用自己的语言重写信息，从而从堆积如山的文本中创造出全新的、简洁的叙述。研究人员面临的问题是，在金融这个准确性不容置疑、且数据以两种截然不同的形式呈现（即流动的新闻文章和僵化的股票价格数字表格）的高风险领域，这些强大的工具是否可以被信任来完成这项工作。
2023年秋天，乔治·华盛顿大学的一位研究人员着手测试这一想法。目标是建立一个能够自动收集十家主要企业的相关新闻、公司背景和股市数据，并随后生成一份单一、易读的每日简报的系统。挑战是双重的。首先，系统必须处理庞大的文本量。其次，或许更困难的是，它必须理解数字。大语言模型擅长理解语言，但在面对原始的股票价格和交易量电子表格时，它们经常会出错。它们可能会读错一列，算错百分比，或者干脆忽略掉这些数字。为了解决这个问题，研究人员开发了一个简单但巧妙的桥梁。在将数据喂给人工智能之前，一个计算机程序会将原始数字转换为平实的英文句子。系统不再向模型展示包含日期和价格的表格，而是写出一个像这样的句子：“在10月4日，股票收盘价为261.16，上涨5.93%，交易量增加了27.20%。”这使得语言模型能够专注于总结故事，而不必进行数学计算，因为数学并不是它天生擅长的任务。
随后，研究人员测试了两种不同的组织信息方式，以便计算机读取。第一种方法被称为“摘要链”（Summarize Chains）法，其运作方式类似于接力赛。系统将长篇的新闻和背景信息分解成较小的块。它要求计算机总结第一个块，然后是第二个，依此类推。最后，它将所有这些小摘要合并成一个总摘要。第二种方法被称为“检索增强生成”（retrieval-augmented generation），更像是图书管理员。当系统需要编写摘要时，它会在整个文档库中搜索，寻找与当前问题最相关的特定句子，然后只将这些选定的句子交给计算机去处理。该研究使用这些方法评估了三种不同的开源人工智能模型，并同时使用了一种更昂贵的、专有的模型来进行股票数据的摘要。
结果清晰地展示了哪些方法有效，哪些无效。最成功的方法被证明是使用名为 Falcon-7B 的特定开源模型的“摘要链”法。这种组合能够准确覆盖每一个重大新闻事件，保留了诸如某科技巨头裁员确切人数等重要细节，并且没有出现重复或捏造事实的情况。相比之下，这种“图书管理员式”的检索方法却导致了严重的问题。当系统尝试一次性检索过多的相关句子时，计算机就会变得混乱，在单个摘要中反复重复同一条新闻事项数十次。在其他情况下，检索法会导致计算机混淆事实，例如将一家公司支付的罚款归咎于另一家完全不同的公司。这些被称为“幻觉”的错误，在计算机被要求同时处理过多信息时发生得更加频繁。
研究还证实，将数字转换为句子的策略非常完美。当计算机获得关于股价的预写句子时，它生成的摘要在测试的六家公司中在事实层面都是准确的，没有编造数字或错误的计算。这证明了将数学运算从人工智能手中移交给简单的计算机脚本是正确的做法。虽然检索法在理论上具有潜力，但研究发现，在实践中，如果不进行重大改进，它引入的错误和重复过多，无法可靠地用于金融报告。研究人员构建了一个工作仪表板，允许用户查看股票图表并阅读这些自动化摘要，证明了该系统作为一种实际工具是可行的。这项工作表明，虽然人工智能确实可以实现金融新闻阅读的自动化，但信息的输入方式与机器本身同样重要。目前最可靠的路径是：让计算机做它最擅长的事——理解语言，同时让一个简单的脚本处理数字，并以一种防止机器因负荷过重而崩溃的方式来组织信息。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。