A Comparison of Traditional Machine Learning Algorithms and LSTM-Based Deep Learning Models for Email Sentiment Analysis

本研究比较了传统机器学习算法与基于长短期记忆网络的深度学习模型在电子邮件情感分析中的表现，发现虽然长短期记忆网络在垃圾邮件检测中具有高召回率，但采用线性核的支持向量机在实现高准确率（98.74%）与处理效率之间取得了最佳平衡。

要点

想象一下，你是一家繁忙办公室的经理，每天都有成千上万封电子邮件涌入。你的任务是将它们分成两堆：“正常邮件”（来自朋友和同事的真实重要信息）和“垃圾邮件”（令人烦恼的垃圾信息、诈骗和恶意软件）。手工完成这项工作是不可能的，因此你聘请了四位不同的“数字助手”来替你进行分类。

本文是一份成绩单，比较这四位助手在执行任务时的表现。

四位助手

1. 三位“传统”助手（机器学习）：

   • SVM（支持向量机）： 将这位助手想象成一位目光锐利的图书管理员。它查看电子邮件中的词语，试图在沙地上画出一条完美的线，将“好书”与“坏书”区分开来。它以非常精确和快速而闻名。
   • 逻辑回归： 这就像一位统计学家，负责计算概率。它查看词语后说道：“根据数据，这封邮件有 90% 的概率是垃圾邮件。”它很可靠，但在处理数字时可能稍慢一些。
   • 朴素贝叶斯： 这位助手是一位快速猜测者。它假设电子邮件中的每个词都是独立起作用的（就像掷骰子一样）。它非常快，但有时会犯错，因为它没有考虑词语在句子中如何相互关联。

2. “深度学习”助手（LSTM）：

   • LSTM（长短期记忆网络）： 这是一位超级聪明的侦探，拥有出色的记忆力。与其他只查看单个词语的助手不同，这位侦探记得词语的顺序以及它们随时间推移的相互关系。这就像阅读整个故事以理解上下文，而不仅仅是扫描关键词列表。然而，这位侦探需要很长时间来思考，并且需要大量能量（计算能力）才能完成任务。

训练场（数据集）

为了测试这些助手，研究人员交给他们一堆包含 2,620 封印尼语电子邮件的巨大堆栈。

• 清洗： 在助手阅读之前，研究人员将电子邮件彻底清洗。他们移除了链接、电子邮件地址以及像“和”或“的”这样无助于区分垃圾邮件与真实邮件的无聊词语。
• 转换： 他们将词语转换为数字（使用一种称为Word2Vec的技术）。想象一下将每个词转换为地图上的特定坐标。含义相似的词语在这张地图上会彼此靠近。

比赛结果

助手们在从未见过的新批次电子邮件上进行了测试，以看看谁表现最佳。

1. 冠军：目光锐利的图书管理员（SVM）

• 表现： SVM 助手是无可争议的冠军。它正确分类了**98.74%**的电子邮件。
• 速度： 它在不到一秒钟的时间内（0.9 秒）完成了工作。
• 获胜原因： 研究人员发现，当将词语转换为那些“地图坐标”（Word2Vec）时，SVM 在好坏邮件之间画出一条直线的能力完美发挥作用。它不需要过度思考；它只是清晰地看到了模式。

2. 亚军：统计学家（逻辑回归）

• 表现： 它的表现也非常出色，正确率约为97.5%。
• 速度： 它较慢，耗时约 2.7 秒。它是强有力的第二名，但无法超越图书管理员的速度与准确率组合。

3. 第三名：快速猜测者（朴素贝叶斯）

• 表现： 它的正确率约为94.5%。
• 落败原因： 它对研究人员使用的“地图坐标”有些难以适应。对于这种特定类型的数据，它过于简单。

4. 深度思考者（LSTM）

• 表现： 这位超级聪明的侦探表现出色，正确率达到97%。它特别擅长捕捉垃圾邮件（漏掉的极少），这对安全性非常有利。
• 缺点： 与传统的助手相比，它的训练和运行时间显著更长。这就像拥有一位能完美解决谜题的天才，但需要 30 分钟才能完成，而图书管理员只需一秒钟就能解决。

最终裁决

本文得出结论：对于这项特定任务——使用这些特定的“词语地图”来分类电子邮件——你不需要那位超级复杂且缓慢的侦探。

SVM（目光锐利的图书管理员） 提供了最佳平衡。它极其准确（近乎完美）且速度极快。虽然深度学习侦探（LSTM）令人印象深刻且拥有出色的记忆力，但传统方法对于这项工作来说 simply 更高效。

简而言之： 如果你想构建一个快速且准确地过滤电子邮件的系统，目前老派、快速的方法（SVM）是完成这项工作的最佳工具，在这种特定场景下击败了花哨但缓慢的深度学习模型。

技术摘要

技术摘要：传统机器学习算法与基于 LSTM 的深度学习模型在电子邮件情感分析中的比较

问题陈述
电子通信的迅速扩张增加了电子邮件系统遭受垃圾邮件、网络钓鱼和恶意软件攻击的脆弱性，因此亟需构建稳健的自动分类系统。尽管自然语言处理（NLP）提供了诸多解决方案，但在将机器学习（ML）与深度学习（DL）架构应用于电子邮件情感分析时，仍需确定预测精度与计算效率之间的最佳平衡。具体而言，本研究针对印尼语语境下的电子邮件分类问题，将其划分为“垃圾邮件”和“非垃圾邮件”（正常邮件）类别，评估在利用 Word2Vec 特征表示时，传统判别式模型能否超越或媲美基于序列的深度学习模型（如长短期记忆网络 LSTM）的能力。

方法论
本研究使用了源自 Kaggle 的 2,620 条印尼语电子邮件数据集（1,363 条垃圾邮件，1,258 条正常邮件）。实验流程包含以下阶段：

1. 预处理：文本数据经过严格的清洗过程，包括大小写转换（转为小写）、移除 URL 和电子邮件属性、字符过滤（仅保留印尼语字母）以及空白字符修剪。使用 Sastrawi 库进行停用词移除，以消除非语义标记。
2. 特征提取：
   • 机器学习模型：清洗后的文本被分词，并利用 Word2Vec 转换为稠密向量。这些词向量被平均处理，为每封电子邮件生成单个文档向量，作为经典分类器的输入。
   • 深度学习模型：标记被映射为仅来自训练集的词汇表中的整数 ID，并填充或截断至固定的序列长度 50。一个可训练的嵌入层（维度 64）将这些 ID 映射为稠密向量。
3. 模型架构：
   • 传统机器学习：测试了三种算法：线性核支持向量机（SVM）、逻辑回归和朴素贝叶斯。
   • 深度学习：实现了一个单层双向 LSTM 网络。该架构包含一个嵌入层、一个 LSTM 层（隐藏层大小 64）、序列池化（使用最后时间步的隐藏状态）以及一个带有 Sigmoid 激活函数的线性输出层，用于二分类。
4. 训练与评估：数据集按 80% 训练集和 20% 测试集进行划分。LSTM 模型使用 Adam 优化器和二元交叉熵损失函数训练了 30 个 epoch。性能评估指标包括准确率、精确率、召回率、F1 分数、AUC 以及训练时间（TT）。

关键结果
实验结果突显了传统方法与深度学习方法之间截然不同的性能特征：

• 支持向量机（SVM）：采用线性核的 SVM 模型取得了最高的整体性能，准确率达到 98.74%，F1 分数为 98.74%。其效率表现卓越，训练时间仅为 0.908 秒。混淆矩阵显示其在测试集上实现了完美的泛化，零误分类（0 个假阳性，0 个假阴性）。
• 逻辑回归：该模型作为强有力的替代方案，准确率为 97.53%，但相比 SVM 需要显著更多的计算时间（2.695 秒）。
• 朴素贝叶斯：该算法在传统模型中表现最低，准确率为 94.49%，表明在此语境下，它不太适合由 Word2Vec 生成的稠密连续向量空间。
• LSTM（深度学习）：LSTM 模型的整体准确率为 97%，宏平均/加权平均 F1 分数为 0.97。它在“垃圾邮件”类别上表现出卓越的召回率（0.99），有效最小化了假阴性（仅漏检 4 例垃圾邮件）。然而，与 SVM 相比，其假阳性率较高（10 封合法邮件被标记为垃圾邮件）。训练过程所需的计算资源和时间显著多于判别式统计模型。

意义与主张
本文结论指出，对于利用稠密 Word2Vec 嵌入的电子邮件检测任务，传统判别式模型，特别是带有线性核的 SVM，在预测精度与处理速度之间提供了最理想的平衡。

尽管研究承认 LSTM 模型在检测垃圾邮件相关情感方面表现出卓越的召回能力，并有效捕捉了长距离依赖关系，但在该特定的向量空间配置下，它并未超越 SVM 的效率与精度。作者断言，传统分类器在稠密向量空间中依然高度稳健，并为专业及学术环境中开发高性能自动电子邮件过滤系统提供了更实用的解决方案，在这些环境中处理速度和准确性至关重要。研究结果表明，对于该特定领域和特征表示，深度学习所增加的复杂性并未产生足以证明其超过精心调优的传统机器学习算法所带来的额外计算成本的绩效优势。