💬 NLP

Sentiment Analysis of AI Adoption in Indonesian Higher Education Using Machine Learning and Transformer-Based Models

本研究通过比较传统机器学习模型与基于 Transformer 的 DistilBERT，评估了印度尼西亚学生对高等教育中采用人工智能的态度，发现尽管 DistilBERT 因能更好地捕捉上下文而实现了更高的准确率（84.78%），但支持向量机（SVM）仍以 82.14% 的准确率成为一种具有竞争力且高效的替代方案。

原作者： Happy Syahrul Ramadhan, Ahmad Sahidin Akbar, Karin Yehezkiel Sinaga, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Happy Syahrul Ramadhan, Ahmad Sahidin Akbar, Karin Yehezkiel Sinaga, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下印度尼西亚一个熙熙攘攘的大学校园，学生们正对一种全新而强大的工具——人工智能（AI）——议论纷纷。有些人将其视为学习的魔法棒；另一些人则担心它是一张会扼杀批判性思维的作弊条。本文的研究人员希望倾听这种“喧嚣”，并厘清学生们的确切感受。他们并非仅询问少数几人，而是收集了超过 2,000 条书面意见，并运用两种不同类型的“数字耳朵”来倾听，并将这些意见归类为快乐/支持或担忧/负面。

以下是他们做法的简明解释：

两种“数字耳朵”（研究方法）

研究人员测试了两种不同的方式来理解这些学生意见，就像将一位快速高效的图书管理员与一位深思熟虑的教授进行对比。

1. 快速图书管理员（基于 SVM 的机器学习）

工作原理： 该方法使用一种称为TF-IDF的技术。想象一下，将学生写下的每个单词都进行计数，统计其出现频率。如果学生写道"AI 很棒”，系统就会注意到“很棒”对他们而言是一个强有力的词汇。它将文本视为一个“词袋”，寻找能预示快乐或担忧的特定关键词。
工具： 他们使用了一种名为**SVM（支持向量机）**的模型。可以将 SVM 想象为一位极其敏锐、高效的分类器。它在沙地上画出一条线，将“正面”词汇与“负面”词汇区分开来。它速度快，无需大量计算资源，且非常擅长在简单的词表中识别模式。
结果： 这位“图书管理员”表现非常出色！它正确判断了约**82%**的意见。它是传统方法中表现最好的，证明有时你并不需要超级计算机就能准确洞察群体情绪。

2. 深思熟虑的教授（基于 DistilBERT 的 Transformer）

工作原理： 该方法使用DistilBERT，这是一种基于"Transformer"架构的 AI。与仅统计单词的图书管理员不同，这位“教授”会阅读整个句子并理解上下文。它知道"AI 并不棒”与"AI 很棒”截然不同，尽管它们包含相同的词汇。它能理解细微差别、语气和隐含意义。
工具： DistilBERT 是一个庞大 AI 大脑的“精简版”。它就像一位读遍了整个互联网，但体型小到足以装进普通笔记本电脑的教授。
结果： 这位“教授”是冠军，正确判断了约85%的意见。它略胜图书管理员一筹，因为它理解了词汇背后的情感，而不仅仅是词汇本身。

实验设置

数据： 他们收集了2,295条学生评论。这是一场势均力敌的较量：约一半的学生持负面态度（担心作弊或技能丧失），另一半持正面态度（对学习效率感到兴奋）。
测试： 他们将数据分为三堆：
- 训练集（80%）： 用于教导模型。
- 验证集（10%）： 用于检查作业。
- 测试集（10%）： 用于最终考试，以检验谁真正学会了。

对决：谁赢了？

竞争者	风格	最终得分（准确率）	速度
LightGBM	速度型选手	~50%（未达标）	极快
随机森林	团队协作型	~59%（尚可，但不出色）	快
SVM	高效图书管理员	82.14%	快
DistilBERT	深思教授	84.78%	较慢（训练需数分钟）

获胜者： DistilBERT凭借最高准确率摘得金牌。它证明了理解句子的上下文能让你更准确地把握人类情感。
亚军： SVM获得第二名。虽然它没有获胜，但论文指出它仍然是一个“强大且低成本的替代方案”。如果你需要快速答案且没有超级计算机，图书管理员（SVM）仍然是一个非常可靠的选择。

核心结论

论文总结认为，虽然“深思教授”（DistilBERT）在理解印尼学生对其学校中 AI 的感受方面最为准确，但“高效图书管理员”（SVM）仍然是一个非常强大的工具，其运行速度更快且成本更低。

最后，研究人员并未止步于数字。他们构建了一个实时网络应用（使用名为 Gradio 的工具），任何人都可以输入一个句子，系统会立即告知该情感是正面还是负面，并附带置信度评分。这就像为学生意见配备了一个数字情绪戒指。

简而言之： 要理解学生对 AI 的感受，你可以使用基于关键词的快速分类器（SVM），或者使用智能且具备上下文感知能力的阅读器（DistilBERT）。智能阅读器在准确率上胜出，但快速分类器仍然是一个非常实用的工具。

以下是论文《基于机器学习和 Transformer 模型的印尼高等教育中 AI 采用情感分析》的详细技术总结。

1. 问题陈述

人工智能（AI）在印尼高等教育的快速采用引发了学生意见的复杂混合，从支持提高学习效率，到对学术诚信、过度依赖以及批判性思维技能削弱的担忧。

研究空白：虽然情感分析是衡量公众舆论的标准工具，但缺乏针对印尼语文本在教育领域 AI 采用背景下，评估经典机器学习（ML）与基于 Transformer 的深度学习有效性的比较研究。
研究目标：系统分析印尼学生对 AI 的意见，并确定哪种建模方法（基于 TF-IDF 的 ML 与基于 Transformer 的 DL）在该特定领域的二元情感分类（正面 vs. 负面）中表现更优。

2. 方法论

A. 数据集构建

来源：本研究利用混合数据集，结合了1,154条关于高等教育中 AI 的原始学生意见，以及来自正/负词汇词典的1,141个样本。
总规模：2,295 个标注样本。
类别分布：数据集几乎平衡：
- 负面：1,158 个样本（50.46%）
- 正面：1,137 个样本（49.54%）
预处理：文本清洗包括转小写、移除 URL/提及/标签/标点符号、规范化非标准词汇以及处理重复字符。

B. 实验流程

数据按80:10:10的比例划分为训练集、验证集和测试集。实施了两个不同的流程：

1. 机器学习流程（基线）

特征提取：文本使用一元语法（unigrams）和二元语法（bigrams）转换为TF-IDF向量。
评估模型：
- LightGBM：一种提升集成模型（配置为 n_estimators=100, max_depth=10）。
- 随机森林：一种并行集成模型（配置为 n_estimators=100, max_depth=20）。
- 支持向量机（SVM）：使用RBF 核（C=1.0）的基于核的分类器。
选择：模型基于验证准确率进行选择，SVM 被选为最佳 ML 代表用于最终比较。

2. 深度学习流程（Transformer）

模型：DistilBERT（distilbert-base-uncased），一种轻量级、蒸馏版的 BERT，旨在在降低计算成本的同时保留性能。
架构：具有自注意力机制的六层编码器。
配置：
- 最大序列长度：128 个 token。
- 批次大小：64。
- 优化器：AdamW，学习率为 $1 \times 10^{-6}$ 。
- 正则化：Dropout (0.5)，权重衰减 (0.001)。
- 训练：100 个 epoch，基于验证 F1 分数进行早停（patience=5）。

C. 评估指标

性能使用准确率、精确率、召回率和 F1 分数进行评估。

3. 主要结果

A. 机器学习性能

LightGBM：表现不佳（测试准确率：49.67%，F1：48.46%），表明其在此背景下难以处理稀疏的高维 TF-IDF 特征。
随机森林：显示出适度改进（测试准确率：58.61%，F1：56.48%），但仍不如 SVM。
SVM：成为最佳经典 ML 模型。
- 验证准确率：87.25%
- 测试准确率：82.14%
- 测试 F1 分数：82.14%
- 观察：SVM 在处理高维文本数据方面表现出鲁棒性，正确分类了 459 个测试样本中的 377 个。

B. Transformer（DistilBERT）性能

测试准确率：84.78%
测试 F1 分数：84.75%（加权）
类别细分：
- 负面类别 F1：0.8548
- 正面类别 F1：0.8402
观察：DistilBERT 显示出对负面样本稍高的召回率偏差，但在各类别间保持了平衡的精确率。训练损失（0.28）和验证损失（0.36）表明具有良好的泛化能力，未出现严重过拟合。

C. 比较分析

性能差距：DistilBERT 在准确率上比最佳 ML 模型（SVM）高出2.64%，在 F1 分数上高出2.61%。
效率权衡：
- SVM：训练时间极快（0.210 秒）。
- DistilBERT：训练时间显著更长（22.8 分钟），这是由于 GPU 密集型处理所致。
模型结论：虽然 Transformer 通过捕捉更丰富的语义上下文实现了更高的准确率，但 SVM 仍然是高效情感分类中极具竞争力且低成本的替代方案。

4. 主要贡献

特定背景分析：提供了关于印尼大学生如何看待 AI 采用的实证证据，填补了本地自然语言处理（NLP）文献的空白。
方法论比较：提供了一个严格的基准，比较了传统的 TF-IDF/SVM 方法与针对印尼教育文本的现代基于 Transformer 的（DistilBERT）模型。
数据集创建：整理并处理了 2,295 个印尼语样本的平衡数据集，专门聚焦于高等教育中的 AI。
实际部署：表现最佳的模型（DistilBERT）已使用Gradio和Hugging Face Spaces部署为交互式 Web 应用程序，实现了带有置信度分数的实时情感预测。

5. 意义与未来工作

意义：本研究证实，虽然深度学习模型（Transformers）通过理解上下文提供了更高的准确率，但像 SVM 这样的经典模型在资源受限的环境中仍然可行。这有助于教育机构根据学生反馈选择合适的工具来制定政策。
未来方向：
- 扩大数据集规模。
- 引入中性类别以进行三类分类。
- 利用印尼语特定的预训练模型（例如IndoBERT），而不是以英语为中心的 distilbert-base-uncased。
- 开展基于方面的情感分析，以识别具体关切（例如诚信与学习效率），而不仅仅是总体极性。