💬 NLP

Towards Detecting Persuasion on Social Media: From Model Development to Insights on Persuasion Strategies

本文提出了一种轻量级、最先进的模型，用于检测具有说服力的政治文本，该模型在澳大利亚选举的 Facebook 广告上进行了微调，以揭示资金、人口统计和时机方面的不同说服策略，从而提升数字竞选活动的透明度和选民意识。

原作者： Elyas Meguellati, Stefano Civelli, Pietro Bernardelle, Shazia Sadiq, Irwin King, Gianluca Demartini

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Elyas Meguellati, Stefano Civelli, Pietro Bernardelle, Shazia Sadiq, Irwin King, Gianluca Demartini

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正穿行在一个巨大而嘈杂的数字集市（社交媒体）中。在这个集市里，政治竞选活动就像商贩，试图向你兜售一个理念（一位候选人或一项政策），而非实体商品。有些商贩诚实，仅罗列事实；而另一些则使用“销售伎俩”来牵动你的心弦、恐吓你或激起你的愤怒，以此促使你“买单”。

本文旨在构建一个智能、轻量级的“销售检测器”以识破这些伎俩，并借此理解澳大利亚政客如何在 2022 年选举中于 Facebook 上开展竞选活动。

以下是他们工作的分解，辅以简单的类比：

1. 问题所在：“推销话术”难以察觉

政治广告常使用微妙的心理伎俩。文中举例如下：

煽动性语言：使用能立即引发强烈情绪的词（例如，将难民称为“恐怖分子”）。
人身攻击：辱骂对手而非反驳其观点（例如，称某人为“小布什”）。
诉诸恐惧：试图通过恐吓让你同意他们的观点。

当人们快速浏览手机时，很难察觉这些伎俩。专家也无法手动阅读数百万条广告。因此，研究人员希望构建一个计算机程序，能够阅读这些广告并指出：“嘿，这句话试图操纵你。”

2. 研究一：构建“轻量级”检测器

研究人员首先需要教会计算机识别这些伎俩。他们使用了一个来自 SemEval-2023 竞赛的新闻文章数据集，其中人类已经标记出了那些具有操纵性的句子。

挑战：大多数其他“智能检测器”就像巨大的重型卡车。它们需要大量的燃料（计算能力）和巨大的货物负载（训练数据）才能运作。
创新：该团队转而制造了一辆“自行车”。他们创建了一个名为 PPAsy-XLNet 的模型。
- 轻量级：它消耗的计算资源少得多。
- 高效：它仅用其他模型所需数据的一小部分（约少 87%）就学会了识别这些伎俩。
- 结果：尽管它是“自行车”，但它跑得一样快，并在与“巨型卡车”（最先进模型）的竞赛中获胜。这证明了检测政治操纵并不需要超级计算机。

3. 研究二：在真实广告中测试检测器

现在拥有了这辆“自行车”，他们想看看它在现实世界中是否有效。他们收集了 2022 年澳大利亚联邦选举期间 Facebook 上的 56,958 条政治广告。

“领域差距”（翻译问题）：
当他们最初尝试将模型（基于新闻文章训练）应用于这些 Facebook 广告时，它跌跌撞撞。这就像让一位擅长在安静乡间道路驾驶的司机，突然置身于混乱的城市交通拥堵中；他们不知道该如何应对。模型的准确度不够。
- 解决方案：他们通过向模型展示少量真实的 Facebook 广告，给它上了一堂快速的“复习课”。一旦它学会了社交媒体广告的具体风格，它再次成为了专家。
他们的发现（洞察）：
模型训练完成后，他们用它分析了整个选举。以下是他们的发现：
- “高辛烷值”广告：约 46% 的广告具有“高度说服力”。这些广告充满了情感语言、行动号召和制造恐惧的内容。
- 金钱至上：“高度说服性”广告获得了更多关注（展示次数），且运行成本更高。看来竞选活动意识到情感化、操纵性的广告效果更好，因此愿意在这些广告上投入更多资金。
- 冲刺终点：随着选举日的临近，对这些情感化、说服性广告的资金投入急剧飙升。这就像短跑运动员将全部能量保留在最后 100 米。选举前一天，其投入资金几乎是前一个月的 5 倍。
- 语言差异：
  - 高说服力广告：使用了“未来”、“变革”、“投票”和“政府”等词汇。它们着眼于大局且充满紧迫感。
  - 低说服力广告：使用了“本地”、“社区”和“支持”等词汇。它们更像是关于本地议题的枯燥事实清单。

4. 核心结论

本文得出了两个主要结论：

你不需要超级计算机来检测政治操纵；如果训练得当，更小、更智能的模型也能胜任。
语境至关重要。基于新闻文章训练的模型不会自动适用于 Facebook 广告。你必须针对特定环境对其进行“微调”。

为何这很重要：通过理解这些模式，我们可以看到政治竞选活动正策略性地利用情感操纵，尤其是在选举前夕，并且他们愿意投入巨额资金确保这些信息触达我们。这有助于选民和监管机构看清政治广告背后的“销售策略”。

注：作者提到，未来的工作可能涉及查看广告中的图像或使用不同的预测方法，但他们在本论文中并未测试这些内容。

技术摘要：迈向社交媒体上的说服性内容检测

问题陈述

本文解决了在社交媒体政治广告中检测说服性元素这一关键挑战。虽然政治宣传通过微妙的手法（如带有倾向性的语言、人身攻击、诉诸恐惧）塑造公众舆论，但由于内容体量巨大，人工检测已日益不可行。现有的计算方法往往依赖庞大的 Transformer 集成模型或 extensive 的数据增强，从而在计算资源和数据需求方面设置了极高的准入门槛。此外，目前尚缺乏对这些检测模型从主流新闻领域迁移到社交媒体政治广告特定语境时的性能表现的理解。

方法论

本研究分为两个相互关联的研究：

研究 1：轻量级模型开发（SemEval-2023）

作者开发了 PPAsy（Persuasion Prediction Asymmetric，说服预测非对称），这是一种用于检测 23 种不同说服技巧的新型多标签分类方法。

模型架构：研究选择了 XLNet-base（1.1 亿参数）作为骨干网络，优先考虑性能与资源效率之间的平衡，而非更大的集成模型。
损失函数：引入了一种自定义的 非对称二元交叉熵 损失函数，以处理严重的标签不平衡问题。该函数应用由参数 $\beta$ 调节的实例特定权重（ $w_i$ ），根据类别分布的变化对误分类进行不同程度的惩罚。
数据策略：作者并未在所有可用的多语言数据上进行训练，而是仅将 法语子集（包含所有 23 个标签且每文档平均技巧数量最高）翻译成英语。这将训练数据规模减少至约 15.3 万个 token，远小于最先进的（SOTA）竞争对手所使用的 116 万个 token。
预处理：应用了最小化的预处理（词形还原、小写化），保留了标点符号，因为研究发现这有助于提升模型的可解释性。

研究 2：领域适应与现实应用（APA22）

第二项研究评估了该模型在新构建的数据集 APA22 上的效用，该数据集包含通过 Meta 广告库收集的 56,958 条来自 2022 年澳大利亚联邦选举的政治广告。

领域适应：在 SemEval-23（新闻文章）上训练的模型在 APA22 上进行了测试。鉴于性能出现下降，该模型在 APA22 的人工标注子集（658 个样本，二值化为“具有说服力”与“中性”）上进行了微调。
分析：微调后的模型对 APA22 整个数据集进行了标注，以分析资金、人口统计、时间变化以及区分高说服力广告与低说服力广告的语言特征（二元词组和 TF-IDF）等方面的模式。

主要贡献

高效模型开发：提出了一种轻量级多标签分类模型，在显著降低计算成本的同时，在 SemEval-2023 任务 3 子任务 3 上实现了 SOTA 性能。
资源效率：所提出的方法所需数据量减少了约 86.8%，参数量最多减少了 77.6%（与 APatt 集成模型相比），训练时间减少了 86.2%（与 KInIT 相比），同时性能优于或持平于现有的 SOTA 方法。
新数据集（APA22）：创建并部分标注了来自 2022 年澳大利亚联邦选举的大规模政治广告数据集，填补了学术基准与现实世界社交媒体内容之间的空白。
实证洞察：证明了针对特定领域的再训练对于社交媒体广告分析至关重要，并揭示了政治竞选活动中独特的说服策略（例如，高说服力广告具有更高的支出和更长的持续时间）。

结果

SemEval-2023 上的表现

PPAsy-XLNet 在英语测试集上实现了 40.62% 的 F1-Micro 和 21.78% 的 F1-Macro。
这一表现优于基线 SVM（19.51% F1-Micro），并超越了 APatt 集成模型（37.56% F1-Micro）和 KInIT RoBERTa-large 模型（40.38% F1-Micro），尽管其使用的参数和训练数据仅是前者的极小部分。
消融研究证实，自定义损失函数以及特定使用法语到英语翻译的数据集是性能提升的关键驱动因素。

APA22 上的表现

领域偏移：当直接应用于 APA22 而未进行再训练时，SemEval 训练的模型仅达到 59.39% 的准确率，凸显了新闻文章与社交媒体广告之间显著的领域差距。
微调：在 APA22 子集上重新训练将准确率提高到了 82.42%，证明了特定领域数据的必要性。

APA22 分析的洞察

与覆盖范围的关联：被归类为“高说服力”（包含超过 80% 的说服性句子）的广告，其展示次数比“低说服力”广告多 45.6%，支出多 48.2%。
时间动态：高说服力广告的支出和展示次数在选举前的几天内显著激增（高达 4.8 倍），而低说服力广告则表现出稳定、温和的增长轨迹。
语言模式：高说服力广告使用了行动导向的词汇（“投票”、“未来”、“改变”）和情感化的二元词组（“气候变化”、“更美好的未来”）。低说服力广告则侧重于信息性、本地化和行政细节（“本地”、“支持”、“小企业”）。

意义与主张

本文主张，其工作强调了针对社交媒体上的说服性内容进行分析时 领域特定建模的必要性。文章认为，尽管重型、资源密集型的模型很常见，但如果配合战略性的数据选择（例如，选择最具多样性的语言子集），高效、轻量级的模型也能实现相当甚至更优的结果。

作者提出，通过自动化检测揭示这些说服策略可以：

增强民主进程的透明度。
让选民了解政治信息的性质。
促进数字竞选活动的问责制。

研究结论指出，虽然当前的模型为理解数字说服奠定了基础，但未来的工作应探索多模态方法（整合图像）并优化分类策略，以更好地捕捉文本与视觉媒体在塑造公众舆论方面的复杂相互作用。作者对其数据的局限性（例如，依赖 Meta 自我报告的政治标签以及缺乏精确的微目标数据）以及在将研究结果推广到不同政治语境时面临的挑战保持了谦逊的态度。