💻 computer science

Benchmarking Logistic Regression, SVM, Naive Bayes, and IndoBERT Fine-Tuning for Sentiment Analysis on Indonesian Product Reviews

本文针对印尼语产品评论的三类情感分析任务，将传统机器学习模型与微调后的 IndoBERT 变换器进行基准测试，结果显示线性 SVM 因后者仅受限于采样数据子集而以 97.60% 的准确率优于深度学习模型，同时也通过 Gradio Web 应用程序展示了最佳模型的实际部署。

原作者： Nabila Zakiyah Zahra, Salwa Farhanatussaidah, Nasywa Nur Afifah, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nabila Zakiyah Zahra, Salwa Farhanatussaidah, Nasywa Nur Afifah, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是印度尼西亚一家大型在线市场（就像一个巨大的数字购物中心）的老板。每天都有成千上万的顾客为商品留下评论。有些人说：“太棒了！”（正面），有些人说：“还行”（中性），还有些人说：“糟透了！”（负面）。

问题在于？评论数量太多，无法逐一阅读。你需要一个机器人来阅读所有评论，并将它们分成三堆：开心、还行和难过。

这篇论文是一份成绩单，评估了四种不同的“机器人”（计算机模型）试图完成这项工作的表现。研究人员想知道，那些老派、简单的机器人是否比那些新派、超级智能且昂贵的机器人更出色。

参赛选手

老派机器人（逻辑回归、SVM、朴素贝叶斯）：
可以把它们想象成一位非常迅速且经验丰富的图书管理员。它们不理解故事的深层含义，但却是统计单词的专家。如果它们看到“好”或“爱”这样的词，就知道这是一条开心的评论。如果看到“坏”或“坏了”，就知道这是一条难过的评论。它们使用一种称为TF-IDF的系统，这就像一支荧光笔，标记句子中最重要的单词，而忽略那些无聊的词（如“的”或“和”）。
- 局限性： 它们将每条评论视为一个“词袋”。它们并不真正理解单词在句子中是如何相互关联的。
新派机器人（IndoBERT）：
这就像一位天才文学教授，已经阅读了数百万本印尼语书籍。它不仅仅是数单词，而是理解上下文。它知道“不好”与单纯的“好”意思不同。它是一个"Transformer"模型，用一种花哨的说法就是，它会一次性审视整个句子以理解整体氛围。
- 局限性： 它对数据的需求量非常大，且学习过程耗时很长。

大问题：不平衡的人群

这次实验有一个重大转折。在现实生活中，开心的顾客比不开心的顾客更有可能留下评论。

人群： 想象一个有 100 人的房间。90 人在微笑（正面），5 人在耸肩（中性），5 人在皱眉（负面）。
陷阱： 如果一个机器人只是猜测所有人都在“微笑”，那么它有 90% 的时间都是对的！但它将完全无法找出那 5 个皱眉的人。研究人员不得不教导这些机器人要特别关注那些安静、不开心的少数群体。

比赛结果

研究人员进行了一场竞赛，看看哪个机器人能最好地分类评论。他们使用了两种主要方式来评判：

准确率： 机器人总体上有百分之多少是正确的？
公平性（宏观 F1 分数）： 机器人是否在所有三个群体上都表现良好，还是仅仅忽略了不开心的人？

获胜者： 线性 SVC（老派图书管理员之一）。

它的总体准确率达到 97.6%。
它也是最公平的评判者，在公平性指标上得分为 0.551。

亚军： IndoBERT（那位天才教授）。

它的总体准确率为 88.7%。
它的公平性得分为 0.509。

等等，什么？ 简单的图书管理员击败了天才教授！

为什么简单的机器人赢了？

论文解释说，这并不是你想象中那种公平的较量。这就像比较一位跑完全程 26 英里的马拉松选手，和一位因为太累只跑了 1 英里的短跑选手。

数据差异： 老派机器人得以研究包含 65,000 条评论的完整图书馆。而天才教授（IndoBERT）只被允许研究大约 1,800 条评论的微小样本，因为运行它的计算机太慢，无法处理全部数据。
结论： 研究人员发现，简单的机器人在识别关键词方面如此出色，以至于它们不需要教授的“深层理解”就能赢得这场特定的比赛。然而，如果允许教授研究整个图书馆，它本可能会获胜。

核心启示

为了速度和简单性： 如果你需要一个快速、可靠的方法来分类印尼语产品评论，并且你拥有大量数据，那么简单的“数词”机器人（特别是线性 SVC）极其有效且迅速。
为了深层理解： 高级人工智能（IndoBERT）有潜力变得更好，但它需要更多的数据和更多的计算能力来展示其真正的技能。在这项特定的测试中，它因被允许看到的数据量过少而受到限制。

最终成果

为了证明这在现实世界中行之有效，研究人员建立了一个实时网站（使用名为 Gradio 的工具）。你可以输入一条印尼语评论，机器人会告诉你它是开心、中性还是难过。他们将此发布到互联网上，供任何人尝试。

简而言之： 有时，古老而简单的工具仍然是完成工作的最佳选择，尤其是当那些花哨的新工具没有获得足够的练习时间时！

技术摘要：逻辑回归、支持向量机、朴素贝叶斯与 IndoBERT 在印尼语情感分析中的基准测试

问题陈述
印度尼西亚电子商务的迅速扩张产生了海量非结构化的用户生成产品评论。分析这些评论的情感对于大规模评估客户满意度和识别产品问题至关重要。然而，印尼语文本呈现出独特的挑战，包括非正式拼写、俚语、不一致的标点符号以及语境表达。此外，现实世界的市场数据表现出严重的类别不平衡，其中正面评论的数量远远超过中性和负面反馈。这种不平衡使得模型训练复杂化，往往导致高准确率指标掩盖了少数类别的糟糕表现。本研究解决的核心问题是：在此类嘈杂、不平衡且特定于领域的语境中，计算效率更高的传统机器学习（ML）方法能否超越或媲美基于 Transformer 的现代深度学习模型（特别是 IndoBERT）。

方法论
本研究实施了一个比较基准测试框架，使用了Tokopedia 产品评论 2025数据集，该数据集包含数万个简短、嘈杂的评论，并标记为三个类别：positif（正面）、netral（中性）和negatif（负面）。

预处理流程：开发了一个稳健的流程以清洗印尼语电子商务口语。步骤包括将文本转换为小写、移除 URL 和非字母数字字符（包括表情符号）、规范化空白字符，以及将异构标签映射到标准化类别。
基线模型（传统机器学习）：使用TF-IDF特征提取（包含一元语法和二元语法， $ngram\_range=(1,2)$ $n g r am_r an g e = (1, 2)$ ）实现了三种算法。词汇量限制为 50,000 个特征。模型包括：
- 逻辑回归
- 线性支持向量机（Linear SVC）
- 多项式朴素贝叶斯
- 不平衡处理：判别式线性模型使用了class_weight="balanced"以惩罚少数类别的错误。
深度学习模型（IndoBERT）：本研究对**indobenchmark/indobert-base-p1**模型进行了微调。
- 架构：Transformer 编码器后接序列分类头，处理长达 256 个 token 的输入。
- 不平衡处理：设计了一个自定义的加权交叉熵损失函数，其中类别权重（ $W_c$ ）与类别频率成反比（ $W_c = \frac{N}{C \times n_c}$ ）。
- 训练：模型训练了 3 个 epoch，批量大小为 16，学习率为 $2 \times 10^{-5}$ ，预热比例为 0.1。
实验差异：一个关键的方法论注记是数据体制的差异。基线模型在完整数据集（65,335 条记录）上进行了训练，而 IndoBERT 模型由于计算限制被限制在分层子集（约 1,800 条训练记录）上。

主要贡献
本文详细阐述了五项具体贡献：

针对嘈杂的印尼语电子商务文本，通过正则表达式定制的预处理流程。
对 TF-IDF 基线模型（逻辑回归、LinearSVC、朴素贝叶斯）的全面基准测试。
详细实现了 IndoBERT 微调，采用动态计算的加权损失以解决类别不平衡问题。
深入定量分析，比较了整体性能与类别敏感指标。
使用 Hugging Face Spaces 上的 Gradio 实现可重复的部署策略。

结果
评估使用了准确率、宏平均 F1 分数和加权 F1 分数。与深度学习模型将优于传统方法的预期相反，结果显示，在此特定实验设置中，**线性支持向量机（Linear SVC）**显著优于微调后的 IndoBERT 模型。

线性支持向量机：实现了97.60% 的准确率和0.5510 的宏平均 F1 分数。
IndoBERT：实现了88.70% 的准确率和0.5088 的宏平均 F1 分数。
其他基线模型：逻辑回归（94.36% 准确率，0.5164 宏平均 F1）和朴素贝叶斯（97.50% 准确率，0.3290 宏平均 F1）也表现强劲，尽管朴素贝叶斯在少数类别识别上存在显著困难。

分析表明，虽然基线模型实现了较高的整体准确率，但它们仍然难以处理netral（中性）和negatif（负面）类别，经常将它们与占主导地位的positif（正面）类别混淆。然而，基线模型与 IndoBERT 之间的性能差距主要归因于数据采样体制：基线模型利用了完整语料库，而 Transformer 模型被限制在一个小子集上，导致其无法充分利用其语境建模能力。

意义与主张
本文主张，对于电子商务评论的印尼语情感分析，传统机器学习方法（特别是结合线性支持向量机的 TF-IDF）仍然非常有效且稳健，当计算限制导致后者训练数据不足时，它们往往能优于最先进的 Transformer 模型。

作者强调，"Transformer 优势”并非自动获得；它高度依赖于数据量、类别平衡以及公平的评估设置。研究结论指出，虽然 IndoBERT 在理论上提供了更优越的语境建模能力，但其在本次研究中的实证表现受限于受限的训练子集。因此，对于优先考虑速度和稳健基线性能的应用，结合线性支持向量机的 TF-IDF 被呈现为一种高度可行的解决方案。本文呼吁未来的研究通过在所有模型上使用相同的规模化数据划分进行训练，并采用先进的不平衡感知策略以改善少数类别的识别，从而确保公平的比较。