Leveraging Machine Learning Techniques to Investigate Media and Information Literacy Competence in Tackling Disinformation

该研究利用机器学习模型对 723 名教育与传播专业学生的媒体与信息素养（MIL）能力进行预测分析，发现复杂模型结合学术年级和先前培训等关键变量能显著提升预测精度，从而为设计针对性的反虚假信息教育干预策略提供了数据支持。

要点

这篇文章就像是一场**“未来老师与记者的‘谣言侦探’能力大考”，只不过考官不是人类，而是一台超级聪明的“人工智能（AI）教练”**。

想象一下，现在的互联网就像一个巨大的、喧闹的集市，里面既有真货（真实信息），也有大量包装精美的假货（假新闻、谣言）。未来的老师和记者（也就是文中的大学生们）需要练就一双“火眼金睛”，才能在这个集市里帮大众挑出真货。

但这双“火眼金睛”到底练得怎么样？哪些人练得好？哪些人还需要特训？传统的考试只能给个分数，但这篇论文想做得更深：它想用AI 教练来预测谁会是“谣言克星”，并找出决定他们能力的“秘密配方”。

以下是这篇论文的通俗解读：

1. 为什么要做这个研究？（背景故事）

现在的年轻人虽然天天玩手机，像是“数字原住民”，但这并不代表他们天生就能识破网络谣言。就像一个人天天在森林里走，不代表他就能分辨出哪棵树有毒。

• 问题：假新闻满天飞，大家容易上当。
• 目标：研究未来的老师和记者，看看他们面对谣言时，是“真侦探”还是“糊涂虫”。
• 创新点：以前大家靠问问卷、算平均分来研究；这次，作者请来了**机器学习（Machine Learning）**这位"AI 教练”，让它去分析数据，找出人类容易忽略的规律。

2. 他们是怎么做的？（实验过程）

• 参赛选手：723 名大学生，一半是学教育的（未来的老师），一半是学传播的（未来的记者）。
• 考试题目：发了一张问卷，问大家：
  • 你懂不懂什么是谣言？（知识）
  • 你会不会去查证？（技能）
  • 你愿不愿意站出来抵制谣言？（态度/责任感）
• AI 教练的任务：
  1. 分类任务：AI 能不能只通过学生的背景（比如是学教育的还是学传播的），就猜出他们属于哪一类人？
  2. 找关键：AI 要找出，到底是哪些因素（比如“上过没上过相关课”、“读第几年级”）最能决定一个人的识谣能力？
  3. 预测分数：AI 能不能根据这些背景，直接预测出学生在“知识、技能、态度”上的具体得分？

3. AI 教练发现了什么？（核心发现）

A. 复杂的“教练”比简单的“教练”更厉害

• 比喻：如果你只用一把直尺（简单的算法）去测量一个复杂的迷宫，肯定测不准。但如果你用一台带有 3D 扫描功能的智能机器人（复杂的算法，如支持向量机 SVM、随机森林），就能看清迷宫的全貌。
• 结果：那些结构复杂、能处理多重关系的 AI 模型（SVM、随机森林），预测得最准。简单的模型（比如单棵决策树）就像是用肉眼猜，容易出错。

B. “上过课”和“年级”是两大法宝

• 比喻：在 AI 眼里，决定一个学生是不是“谣言克星”的最重要因素，不是他是不是女生或男生，也不是他多大岁数，而是**“他有没有专门学过反谣言课”以及“他读到了第几年”**。
• 发现：
  • 接受过专门培训的学生，识别谣言的能力明显更强。
  • 高年级学生比低年级学生更成熟。
  • 学传播和学教育的学生，虽然都在学，但侧重点不同，AI 能精准地把他们区分开。

C. 不同的能力需要不同的“预测器”

• 比喻：就像预测天气，预测“明天是否下雨”（知识）可能只需要看气压（线性关系）；但预测“明天的气温波动”（技能）可能需要考虑风向、湿度、地形等复杂因素（非线性关系）。
• 结果：
  • 预测**“知识”**：简单的线性模型就够用了。
  • 预测**“技能”和“责任感”**：需要复杂的 AI 模型，因为这里面的关系很微妙，不是简单的“学得多就做得好”。
  • 预测**“态度”**：正则化模型（一种防止 AI 想太多的模型）效果最好。

4. 这对我们意味着什么？（实际意义）

这篇论文不仅仅是给科学家看的，它对教育界有巨大的启发：

1. 别再“一刀切”了：以前学校可能觉得“大家都一样，统一上课就行”。现在 AI 告诉我们，不同背景、不同年级的学生，他们的弱点不一样。
2. 培训要“精准投喂”：既然“专门培训”和“年级积累”这么重要，学校就应该尽早、持续地开设反谣言课程，而不是等到毕业前突击一下。
3. AI 是教育的好帮手：未来的教育可以像“私人定制”一样。AI 可以根据每个学生的数据，预测他哪里薄弱，然后给他推荐最适合的学习材料。比如，如果 AI 发现某个学生“技能”分低但“态度”分高，就专门给他推一些“如何查证”的实操训练。

总结

这就好比给未来的老师和记者们装上了一个**"AI 导航仪”。这个导航仪不仅能告诉他们现在在哪（能力现状），还能告诉他们哪条路走得通（如何提升），最重要的是，它发现“专门的学习”和“时间的积累”**是通往“谣言克星”称号的最快路径。

这篇论文告诉我们：在假新闻横行的时代，用高科技（AI）来辅助教育，培养大家的“火眼金睛”，是保护我们信息环境的关键一招。

技术摘要

技术摘要：利用机器学习技术探究媒体与信息素养在应对虚假信息中的能力

1. 研究背景与问题 (Problem)

随着数字革命的发展，虚假信息和错误信息的传播日益加剧，对公众认知和社会稳定构成威胁。媒体与信息素养（Media and Information Literacy, MIL）被视为培养批判性思维和负责任媒体参与的关键能力。然而，现有的研究多集中于传统的统计分析，缺乏利用先进预测模型来量化和预测 MIL 能力的方法。

本研究旨在解决以下核心问题：

• 预测能力不足：如何利用机器学习（ML）算法，基于人口统计学和学术背景变量，准确预测未来教育者和传播者在应对虚假信息方面的 MIL 能力（包括知识、技能、态度和责任感）。
• 关键因素识别：哪些变量（如年级、 prior training、专业背景等）对 MIL 能力的预测最具影响力？
• 模型适用性：在 MIL 评估任务中，复杂的集成模型是否优于传统的简单分类或回归模型？

2. 方法论 (Methodology)

2.1 研究设计与数据

• 研究对象：723 名来自西班牙北部地区的大学生，包括 435 名教育学专业学生和 288 名传播学专业学生。
• 数据收集：使用名为“未来教育传播者对虚假信息的感知”的问卷。该问卷包含 25 个条目，采用 4 点李克特量表。
• 变量设计：
  • 自变量（预测变量）：30 个特征，包括人口统计学变量（性别、年龄、年级）、学术背景（专业、年级）以及先前的虚假信息培训经历。
  • 因变量（目标变量）：MIL 的四个核心维度：知识（Knowledge）、技能（Skills）、态度（Attitudes）和责任感（Responsibility）。
• 数据预处理：使用 Python 和 SPSS 进行数据清洗。采用 One-Hot Encoding 对分类变量进行编码，并计算各维度的总分。数据集被划分为 80% 训练集和 20% 测试集，并采用分层抽样以保持类别平衡。

2.2 实验任务与算法

研究设计了三个主要的机器学习任务：

1. 知识分支分类（Classification of the Knowledge Branch）：

   • 目标：区分学生属于“教育学”还是“传播学”专业，以识别学科特定的 MIL 模式。
   • 算法：支持向量机（SVM）、决策树（DT）、随机森林（RF）、LightGBM、k-近邻（KNN）。
   • 评估指标：由于类别不平衡（435 vs 288），主要使用 F1-score，辅以准确率（Accuracy）。

2. 特征选择（Feature Selection）：

   • 目标：识别对分类任务贡献最大的关键变量。
   • 方法：SelectKBest (SKB)、前向特征选择（FFS）、递归特征消除（RFE）、基于决策树的特征重要性（DT-based）。

3. 能力回归预测（Regression of Competencies）：

   • 目标：预测学生在 MIL 四个维度（知识、技能、态度、责任）上的具体得分。
   • 算法：线性回归（LR）、岭回归（RR）、决策树回归（DT Regressor）、随机森林回归（RF Regressor）。
   • 评估指标：均方根误差（RMSE）。

3. 关键贡献 (Key Contributions)

• 方法论创新：首次将多种机器学习算法系统应用于 MIL 与虚假信息应对能力的预测研究，填补了该领域在预测建模方面的空白。
• 实证验证：通过实证数据验证了复杂模型（如 SVM、RF、LightGBM）在处理教育感知数据时的优越性，证明了非线性关系在 MIL 能力形成中的重要性。
• 特征洞察：通过特征选择分析，量化了“先前的虚假信息培训”和“学术年级”等变量对 MIL 能力的决定性作用，为教育干预提供了数据支持。
• 量表验证：通过探索性因子分析（EFA）验证了问卷的三因子结构（知识、技能/行为、态度/责任），并报告了良好的信度（Cronbach's alpha > 0.77）。

4. 研究结果 (Results)

4.1 分类性能

• 最佳模型：支持向量机（SVM） 表现最佳，测试集 F1-score 达到 0.815，准确率为 0.814。
• 次优模型：集成学习模型（LightGBM 和 RF）表现紧随其后，F1-score 分别为 0.792 和 0.744。
• 表现较差模型：单一决策树（DT）表现最差（F1-score 0.679），表明简单的树模型难以捕捉 MIL 能力的复杂模式。
• 结论：复杂的非线性模型和集成方法在区分不同学科背景学生的 MIL 特征方面显著优于简单模型。

4.2 特征选择

• 关键变量：所有特征选择方法均一致指出 “虚假信息培训经历”（Disinfo Training） 是最具判别力的特征。
• 其他重要特征：学术年级（Academic Year）、知识类条目（K1, K2, K3）以及态度和责任感条目（A3, R5）也被频繁选中。
• 最佳策略：前向特征选择（FFS） 在测试集上取得了最高的 F1-score (0.756)，表明考虑特征间的交互作用比单纯依赖统计显著性更有效。

4.3 回归预测

• 知识（Knowledge）：线性回归（LR） 表现最佳（测试 RMSE = 2.287），表明知识维度与输入变量之间存在较强的线性关系。
• 技能（Skills）与责任（Responsibility）：随机森林（RF） 表现最佳（RMSE 分别为 1.835 和 2.064），说明这些维度受复杂的非线性因素影响。
• 态度（Attitudes）：岭回归（RR） 表现最佳（测试 RMSE = 1.598），正则化有助于提高该维度的泛化能力。
• 总体结论：不同维度的 MIL 能力需要匹配不同的回归模型，没有单一的“万能”模型。

5. 研究意义与启示 (Significance)

• 教育干预的精准化：研究结果表明，MIL 教育不能“一刀切”。基于 ML 的预测模型可以识别出高风险群体（如缺乏培训的低年级学生），从而设计个性化的干预策略。
• 课程设计的优化：由于“年级”和“培训经历”是关键预测因子，教育者应加强贯穿整个学习周期的持续性培训，而非仅依赖一次性课程。
• 政策制定支持：研究为教育政策制定者提供了数据驱动的决策依据，强调在教师教育和传播学课程中整合针对虚假信息的批判性思维训练。
• 技术赋能教育研究：本研究展示了机器学习如何从传统的描述性统计转向预测性分析，为教育科学领域的实证研究提供了新的方法论范式。

局限性：研究依赖于自我报告数据，可能存在社会赞许性偏差；样本局限于西班牙特定地区的教育和传播专业学生，未来研究需扩大样本范围并纳入更多学科。