Sentiment Classification of Saudi Stock Market Tweets: Lexicon-Based Weak Supervision, Classical Machine Learning, and Zero-Shot Open-Source Large Language Models
本研究通过比较基于词典衍生标签训练的经典机器学习模型与零样本开源大语言模型（LLM），评估了沙特股票市场推文的情感分类情况，结果表明，虽然经典模型仅仅是在复制可能存在缺陷的基于规则的标签，但大语言模型提供了一种独特的、具备领域意识的视角，凸显了通过人工标注真值来验证金融情感分析的紧迫性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代金融世界中，价格的设定并不仅仅取决于资产负债表和经济报告。它们还受到投资者集体情绪的影响，而这种力量可以实时改变市场。几十年来，研究人员一直试图通过阅读新闻和社交媒体帖子来衡量这种情绪，寻找能够传达乐观或恐惧信号的词汇。当一家公司宣布盈利时，语调通常是积极的；当它报告亏损时，语调则是消极的。这项任务在英语中非常简单，因为英语中存在情感词典，计算机可以轻松进行计数。然而，当语言变为阿拉伯语，特别是用于沙特阿拉伯繁忙金融市场的阿拉伯语时，挑战变得异常复杂。这种语言在拼写、方言和语法方面具有丰富的变化，且金融新闻经常将事实性公告与真实的观点混合在一起，使得标准计算机程序很难区分两者的差异。
这种复杂性促使卡利德国王大学（King Khalid University）的一个研究小组去调查计算机在理解关于沙特股票市场推文的情绪方面表现如何。他们专注于一个特定的问题：用于标记这些推文的传统方法是否真的有效，还是仅仅误导了计算机去记忆一套规则？为了找出答案，他们收集了一千条关于沙特交易所（即 Tadawul）上市公司的推文。这些帖子来自金融新闻机构、市场分析师和个人交易者的组合。研究人员想要看看他们是否可以教会计算机识别一条推文是积极的、消极的还是中性的，并对比两种截然不同的方法：一种依赖于预设的词汇表，另一种则使用能够理解上下文而无需被明确教授的强大现代人工智能系统。
研究人员首先采用了这种在同类研究中常见的传统方法。他们创建了一个包含 180 个金融术语的列表，将其分为积极词汇（如“利润”和“增长”）、消极词汇（如“损失”和“下降”）以及中性词汇（如“分析”）。然后，他们利用这个列表自动对一千条推文进行标注。如果一条推文包含积极词汇，它就被标记为积极；如果它没有匹配的词汇，则被标记为中性。一旦推文被标注完成，他们便训练了四种不同类型的经典计算机模型来从这些标签中学习。目标是观察这些模型是否能够复现该列表所分配的标签。结果显示准确率极高。其中一种被测试的模型——线性支持向量机（linear support vector machine），正确匹配列表标签的比例达到了 86.1%。这看起来像是一个成功，表明计算机已经学会了理解市场的波动情绪。
然而，研究人员随后引入了第二种更先进的工具：一个名为 Qwen2.5 的大语言模型。与这些经典模型不同，该系统并未在标注过的推文上进行训练。相反，它被要求阅读推文并根据指令自行判断情绪，仅要求其扮演一名金融分析师的角色。当研究人员将大语言模型的决策与原始基于列表的标签进行比较时，一致性却出奇地低。该模型与列表的一致性仅为 37.6%。这种差异并非随机产生的。大语言模型倾向于将事实性公告（如股息声明或收益报告）标记为积极。而原始列表由于严格依赖于特定词汇的匹配，将这些同样的公告标记为中性，因为它们缺乏情感关键词。
这种分歧揭示了原始方法的一个关键缺陷。研究人员意识到，词汇列表和推文的准备方式并不一致。推文经过了清洗和标准化处理以应对不同的拼写，但词汇列表却没有。结果导致许多推文中的单词无法与列表中的单词匹配，仅仅是因为微小的拼写差异，而非情感本身的不同。当研究人员通过对列表应用相同的清洗规则来修复这种不匹配时，情况发生了戏剧性的变化。匹配列表的推文数量从 42.4% 跳升至 67.8%。更重要的是，大语言模型与修正后的列表之间的一致性上升到了 57.5%。这表明，最初的不一致很大程度上并非由于人工智能出错，而是由于参考标签本身存在缺陷。
研究得出结论，这类研究中的高准确率评分可能具有误导性。当一个计算机模型针对一组标签达到 86% 的准确率时，往往意味着该模型只是学会了遵循用于创建这些标签的僵化规则，而非真正理解了情绪。尽管大语言模型与这些有缺陷的标签一致性较低，但它似乎捕捉到了更细致的市场视角，能够识别出关于利润的事实性新闻通常是投资者的积极信号。研究人员强调，要真正了解哪种方法才是正确的，必须由人类介入进行验证，因为目前没有任何计算机程序可以被信任到能在没有人类参考的情况下验证自身的训练数据。这项工作提醒我们，在追求金融分析自动化的过程中，用于教导机器的数据质量与机器本身同样重要。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。