💻 computer science

Sentiment Analysis of Indonesian Spotify Reviews Using Machine Learning and BiLSTM

本文在 70,155 条经过清洗的印尼语 Spotify 评论上对经典机器学习模型与 BiLSTM 深度学习模型进行了基准测试，发现尽管 BiLSTM 取得了最高的整体加权 F1 分数，但结合 SMOTE 的决策树在所有三个情感类别中均展现出更优的均衡性能，尤其针对少数类中的中性类别。

原作者： Uliano Wilyam Purba, Andre Hadiman Rotua Parhusip, Sahid Maulana, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Uliano Wilyam Purba, Andre Hadiman Rotua Parhusip, Sahid Maulana, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一家拥有海量用户的音乐流媒体应用（如 Spotify）的老板，手头堆积着来自印尼用户的 10 万封来信。其中有些是情书（“积极”），有些是愤怒的咆哮（“消极”），还有些只是模棱两可的耸肩或抱怨，难以归入上述任何一类（“中性”）。你的目标是构建一个机器人，能够阅读这些信件并自动将它们分入正确的堆中。

本文是对两类不同机器人进行这场“分拣任务竞赛”的成绩报告。

两位竞争者

传统团队（机器学习）：可以将它们想象为三位非常聪明、经验丰富的图书管理员（支持向量机、多项式朴素贝叶斯和决策树）。它们擅长观察单个单词并统计其出现频率。它们速度快、效率高，且无需超级计算机即可运行。
深度学习团队（BiLSTM）：这是一个由神经网络（双向长短期记忆网络）构建的单一高度复杂的机器人。不妨将这个机器人想象成一名侦探，它不仅仅查看单词，还试图理解句子的“故事”和“流向”，通过从左到右以及从右到左的阅读来捕捉完整的上下文。

赛况设置：赛道不平等的竞赛

研究人员组织了这场竞赛，但存在一个关键问题：赛场大小并不完全相同。

清洁团队：在竞赛开始前，所有信件都经过了清理。俚语被修正（例如将"gak"改为"tidak"），拼写错误被删除，不必要的词语也被剔除。这对所有参赛者都是一样的。
传统团队的赛道：这三位图书管理员得以阅读全部 7 万多封经过清理的信件。他们拥有完整的数据集供学习。
深度学习机器人的赛道：这个高级机器人仅被允许阅读2 万封较小的样本。为什么？因为研究人员是在没有强大显卡的标准计算机（CPU）上工作的。让这个大机器人在全部数据山上进行训练将耗时太久，因此他们给它分配了一个较小但具有代表性的切片。

结果：谁赢了？

1. 传统团队的表现
在三位图书管理员中，决策树是当之无愧的赢家。

工作原理：它构建了一个规则流程图来分拣信件。
得分：它获得了0.727的“加权 F1 分数”。
关键点：它在分拣所有三堆（积极、消极和中性）方面表现相当均衡。它没有忽视“中性”信件。

2. 深度学习机器人的表现
BiLSTM 机器人是一个 powerhouse（强力选手），但它有一个盲点。

得分：它取得了更高的总体得分，为0.807。
问题：它在识别“积极”和“消极”信件方面表现出色，但在“中性”类别上完全失败。它在“中性”类别上的得分为0.000。它基本上完全忽略了这个类别，这可能是因为在它的训练切片中，与其他类别相比，“中性”信件的数量太少。

核心启示：权衡取舍

本文以一个简单的类比作为结论：

如果你想要判断评论总体是开心还是悲伤的最佳准确率，**深度学习机器人（BiLSTM）**是更好的选择。它就像一辆在直道上速度快得惊人的跑车，但无法应对急转弯。
如果你需要对所有三个类别（包括棘手、安静的“中性”类别）都保持公平，传统决策树是更好的选择。它就像一辆可靠的 SUV，虽然速度不是最快，但能很好地应对各种地形，不会落下任何乘客。

为什么会发生这种情况？

“中性”问题：“中性”评论属于少数派（仅占数据的约 6%）。深度学习机器人在没有特殊帮助的情况下，基于小样本进行训练，学会了忽略少数群体以最大化其总体得分。传统团队使用了一种称为SMOTE的技术（这就像人为地为机器人创建更多的“中性”示例供其学习），这帮助他们公平地对待所有群体。
数据差距：深度学习机器人拥有的学习样本较少（14,000 对 70,000）。即使样本较少，它在“积极/消极”分类上仍然击败了传统模型，这表明对于简短的印尼语评论而言，理解单词的序列是非常强大的。

最终结论

研究人员并未止步于数字；他们将两个机器人上线，供任何人测试。他们发现，虽然花哨的深度学习模型总体更强大，但当你需要捕捉每一类评论（而不仅仅是那些大声的评论）时，更简单的机器学习模型更加平衡和可靠。

简而言之：花哨的机器人更快、更强，但简单的图书管理员对人群中的安静声音更加公平。

技术摘要：基于机器学习和双向长短期记忆网络的印尼语 Spotify 评论情感分析

问题陈述
本研究旨在解决对源自 Google Play Store 上 Spotify 应用用户评论的印尼语文本进行情感分析的挑战。该任务因语言的非正式性而变得复杂，其中包括拼写不一致、大量使用俚语以及形态学变体。作者旨在将经典机器学习（ML）分类器的性能与深度学习（DL）方法（双向长短期记忆网络，即 BiLSTM）在三项情感分类任务（负面、中性、正面）中进行基准比较。本研究的一项具体约束是评估环境：仅限 CPU 的设置，这导致两种方法需要不同规模的训练数据。

方法论
研究采用双轨实验设计，两条轨道共享相同的预处理流程，但在模型架构和训练数据量上有所不同。

数据集：原始数据集包含 100,000 条爬取的评论。经过清洗（去除重复项、空评论和非文本元素）后，剩余 70,155 个样本。标签源自星级评分：1–2 星（负面）、3 星（中性）和 4–5 星（正面）。数据集存在严重的不平衡，正面评论占 68.4%，负面评论占 25.7%，而中性评论仅占 5.9%。
预处理流程：对所有文本应用统一的流程，包括：
1. 转换为小写。
2. 噪声去除（URL、提及、标点符号、数字）。
3. 俚语规范化（将 124 种非正式形式映射为标准印尼语）。
4. 停用词去除（809 个通用及领域特定术语）。
5. 使用 Sastrawi 进行形态学词干提取。
  结果：处理后评论长度的中位数为 4 个词元，第 95 百分位数为 17 个词元。
机器学习轨道：
- 数据：在全部 70,155 个清洗后的样本上进行训练。
- 特征：TF-IDF 向量化（最多 3,000 个特征）。
- 分类器：支持向量机（SVM）、多项式朴素贝叶斯（MNB）和决策树（DT）。
- 技术：分层 5 折交叉验证。为了解决类别不平衡问题，在每个训练折中应用 SMOTE（合成少数类过采样技术）。
- 评估：指标包括准确率、AUC、精确率、召回率、F1 分数（加权和平宏）以及科恩卡帕系数。
深度学习轨道：
- 数据：由于 CPU 限制，BiLSTM 在 20,000 个样本的分层子集上进行训练（14,219 个用于训练，2,510 个用于验证，2,953 个用于测试）。
- 架构：双层双向 LSTM，包含 128 维嵌入，每个方向 128 个隐藏单元，以及一个全连接分类头。总参数量约为 110 万。
- 训练：Adam 优化器，学习率 $10^{-3}$ ，批量大小 64，无权重交叉熵损失。使用早停法（最佳检查点在第 3 个 epoch）。
- 评估：在保留的测试集上使用与机器学习轨道相同的指标进行评估。

主要贡献

统一预处理：为机器学习和深度学习轨道建立共享的预处理流程，确保性能差异归因于模型架构而非数据清洗的变异。
基准测试：对三种经典 Scikit-learn 分类器（SVM、MNB、DT）与紧凑的 BiLSTM 模型在大规模印尼语应用评论上的对比分析。
透明性与可复现性：作者为机器学习和深度学习模型提供了公开的 Hugging Face Spaces，允许直接检查模型行为。
不平衡性分析：详细考察了类别不平衡如何影响模型性能，特别强调了未加权的 BiLSTM 在少数类“中性”类别上的失败，与利用 SMOTE 的机器学习方法形成对比。

结果

机器学习性能：
- 决策树成为最强的经典模型，在 5 折交叉验证中实现了 0.7269 的加权 F1 分数和 0.7286 的准确率。
- SVM 紧随其后，加权 F1 为 0.6958，而多项式朴素贝叶斯的表现显著较低（0.4619）。
- 决策树在所有三个类别中保持了平衡的性能，其中中性类别的 F1 分数最低（0.717），但仍具功能性。
深度学习性能：
- BiLSTM 在其保留的测试集上实现了更高的 加权 F1 分数 0.8069 和 0.8314 的准确率。
- 然而，宏 F1 分数降至 0.5478。
- 各类别细分：该模型在正面评论上表现极佳（F1 0.9028），在负面评论上表现尚可（F1 0.7406）。关键在于，它在中性类别上完全失败，F1 分数为 0.0000（176 个样本中 0 个预测正确）。
对比分析：
- 虽然 BiLSTM 在加权指标（整体性能）上优于机器学习模型，但这种优势因其在显著更少的样本上训练（14,219 对比 70,155）且缺乏类别平衡技术而受到削弱。
- 机器学习方法（决策树 + SMOTE）在所有三个类别中提供了更稳健和平衡的识别，而 BiLSTM 则偏向于多数类。

意义与主张
该论文声称，虽然像 BiLSTM 这样的深度学习模型可以为短小、非正式的印尼语文本的情感检测提供优越的整体加权性能，但在没有特定缓解策略（如类别加权或过采样）进行训练时，它们极易受到类别不平衡问题的影响。

作者得出结论，模型的选择取决于具体的应用目标：

当主要目标是准确区分占主导地位的正面和负面情感时，BiLSTM 更可取。
当需要在所有三个类别（包括少数类中性类别）中实现平衡识别时，机器学习（特别是带有 SMOTE 的决策树） 更为合适。

本研究承认其局限性，指出两条轨道之间训练数据规模的不对称性，以及缺乏预训练的印尼语嵌入或基于 Transformer 的模型。未来的工作建议包括在完整语料库上训练 BiLSTM，在深度学习流程中实施类别平衡，以及探索 Transformer 架构。