Investigating Vaccine Buyer's Remorse: Post-Vaccination Decision Regret in COVID-19 Social Media Using Politically Diverse Human Annotation

该研究利用政治立场多元的人工标注和大型语言模型，从 YouTube 新闻语料中构建了关于新冠疫苗“买家懊悔”的新数据集，发现此类后悔情绪在公共话语中占比不足 2%，但高度集中于疫苗怀疑论者社区，且多由个人叙述中的不良健康事件引发。

要点

这是一篇关于**“疫苗后悔症”（Vaccine Buyer's Remorse）**的研究报告。简单来说，研究人员想搞清楚：在社交媒体上，到底有多少人打完新冠疫苗后感到后悔？他们为什么后悔？这种情绪是从哪里来的？

为了让你更容易理解，我们可以把这项研究想象成**“在巨大的信息海洋里打捞‘后悔’的珍珠”**。

1. 研究背景：为什么我们要找“后悔”？

想象一下，全球都在打新冠疫苗，就像一场巨大的集体行动。在这个过程中，社交媒体（特别是 YouTube）变成了一个巨大的**“露天广场”**。

• 在这个广场上，有人欢呼，有人质疑，也有人打完针后回来哭诉：“我后悔了，我的身体变差了。”
• 过去，科学家主要研究“为什么有人不打疫苗”（犹豫不决）。但现在，研究人员发现，那些打完后感到后悔的声音，虽然听起来很响亮（因为故事往往很抓人眼球），但没人知道它们在所有人中到底占多大比例。
• 这就好比在嘈杂的集市里，有人大喊“这苹果有毒！”，我们需要知道：这到底是一个人的尖叫，还是成千上万人的共鸣？

2. 研究方法：如何在大海捞针？

研究人员从 YouTube 上抓取了8000 多万条评论（来自 CNN、Fox News、MSNBC 等主流新闻频道，以及各类网红博主）。这就像是从太平洋里舀出了几桶水。

为了找到那些“后悔”的评论，他们设计了一套**“智能筛选漏斗”**：

1. 第一层漏斗（相关性过滤器）： 先用一个快速的小模型，把那些跟疫苗完全无关的评论（比如讨论天气、政治骂战但没提疫苗）全部过滤掉。这就像先把水里的沙子和石头筛掉。
2. 第二层漏斗（专家推理机）： 剩下的评论交给更强大的“大语言模型”（AI 专家）去分析。这个 AI 需要像侦探一样判断：
   • 是谁在说话？（是自己打的，还是听说别人打的？）
   • 这个人打了吗？
   • 他/她后悔吗？

关键点：政治中立性
因为疫苗话题很敏感，不同政治立场的人（民主党、共和党、独立人士）对“什么是后悔”可能有不同看法。为了防止 AI 或人类标注者带有偏见，研究人员找了一个**“政治多元化”的评审团**（包含不同党派的人）来给数据贴标签。这就像让左派、右派和中立派的人一起给同一幅画打分，取平均值，以确保结果公平。

3. 核心发现：珍珠其实很少，但集中在特定区域

经过分析，他们得出了几个有趣的结论：

• 后悔的人其实很少： 在所有跟疫苗相关的评论中，只有不到 2%（约 1.1%）表达了后悔。
  • 比喻： 虽然网上关于疫苗后悔的声音听起来震耳欲聋，但在整个巨大的对话海洋里，它其实只是一个小水洼。
• 哪里最集中？ 后悔的声音不成比例地集中在“疫苗怀疑论者”的网红频道里。
  • 在主流新闻频道，后悔率只有 0.7%。
  • 在持怀疑态度的网红频道，后悔率飙升到2.9%（是主流新闻的 4 倍多）。
  • 比喻： 这就像在一个特定的“回声室”里，大家互相喊着“我后悔了”，声音被放大了，让你觉得全世界都在后悔，但实际上这只是一个小圈子里的现象。
• 谁在后悔？ 大多数后悔的人是在讲自己的亲身经历（第一人称），而不是听说别人的故事。
• 为什么后悔？ 主要原因有三个：
  1. 身体不适（Adverse Health Event）： 这是最常见的原因，比如觉得身体出了毛病。
  2. 觉得被强迫（Perceived Coercion）： 觉得是被公司或政府逼着打的，失去了选择权。
  3. 觉得没效果（Lack of Efficacy）： 打了疫苗还是感染了，觉得白打了。

4. 研究的局限与意义

• 局限性： 就像“自愿报告系统”一样，只有那些特别想抱怨的人才会上网留言。所以，这不能代表所有打过疫苗的人的真实比例，它只是反映了**“在网上发声的人”**的想法。
• 意义： 这项研究给公共卫生部门提供了一张**“情绪地图”**。
  • 它告诉官员们：虽然网上声音很大，但实际后悔的人并不多。
  • 它指出了痛点：对于那些感到“被强迫”或“身体不适”的人，需要更有针对性的沟通，而不是泛泛而谈。
  • 它提醒我们：要警惕那些制造“回声室”的网红，他们可能会把少数人的痛苦放大成一种普遍的社会情绪。

总结

这就好比研究人员拿着一个高科技的“情绪探测器”，在 YouTube 的汪洋大海里游了一圈。他们发现，虽然“疫苗后悔”的浪花看起来很吓人，但实际上它只占很小一部分。不过，这些浪花在某些特定的“小池塘”（怀疑论者社区）里确实很高。

这项研究的意义在于，它用数据**“去魅”**了网络上的恐慌情绪，帮助公众和决策者看清真相：后悔是存在的，但它并没有像网络上看起来那么普遍。

技术摘要

论文技术总结：调查疫苗“买家后悔”——基于政治多元化人工标注的新冠疫苗社交媒体决策后悔研究

1. 研究背景与问题 (Problem)

在新冠疫苗接种运动期间，全球社交媒体上充斥着关于疫苗决策的复杂情绪。虽然大量研究关注了接种前的犹豫（Hesitancy），但接种后的决策后悔（Post-vaccination decision regret），即所谓的“疫苗买家后悔”（Vaccine Buyer's Remorse），仍是一个被严重忽视的领域。

• 核心挑战：
  • 数据缺失：缺乏大规模、结构化的关于接种后体验（特别是后悔情绪）的数据集。
  • 主观性与政治化：疫苗话题高度政治化，单一政治立场的标注者可能导致标注偏差。
  • 语义复杂性：区分“第一人称”（亲身经历）与“第三人称/间接”（转述他人经历）的后悔叙事，以及识别隐含的后悔情绪（如讽刺、愤怒与后悔的界限），传统情感分析难以胜任。
  • 模型偏差：大型语言模型（LLM）在处理此类敏感话题时可能存在事实性错误或固有偏见。

本研究旨在填补这一空白，通过构建新数据集和混合推理管道，量化疫苗后悔的普遍性，分析其驱动因素，并评估不同叙事视角下的差异。

2. 方法论 (Methodology)

2.1 数据收集与构建

• 数据来源：
  • 主流新闻：从 Fox News、CNN、MSNBC 三大美国有线电视新闻网的官方 YouTube 频道收集了约 8000 万条评论（2020.12-2024.10）。
  • 网红/影响者：从 981 位 YouTube 影响者（分为“亲疫苗”和“疫苗怀疑论”两类）的视频中收集了约 84 万条评论。
• 筛选流程：
  1. 关键词过滤：初步筛选出与疫苗、副作用、个人经历相关的评论（约 137 万条）。
  2. 智能采样：利用零样本（Zero-shot）和少样本（Few-shot）提示工程，结合正则表达式，从海量数据中针对性地采样出可能包含“后悔”情绪的评论，构建基准数据集（Benchmark Dataset）。
• 数据集规模：
  • 基准数据集 ($D_{bench}$)：2,000 条评论，由 201 名标注者（政治立场均衡：民主党、共和党、独立人士各占约 1/3）进行人工标注。
  • 野外数据集 ($D_{wild}$)：经过筛选和管道处理后的 60 万条评论，用于大规模分析。

2.2 标注体系

标注包含两个核心维度：

1. 疫苗后悔 (Vaccine Regret)：
   • Positive for Regret：包含明确后悔（"我后悔接种"）或强烈暗示不满（"希望从未接种，健康状况恶化"）。
   • Negative for Regret：无关、中立或仅表达接种事实。
2. 叙事视角 (Narrative Perspective)：
   • 第一人称 (Self)：作者讲述自己的经历。
   • 第三人称/间接 (Other)：作者讲述特定他人（如家人、朋友、名人）的经历。
   • 未指定 (Unspecified)：泛指群体或无法确定主体。

2.3 技术管道：两阶段混合推理 (Multi-Stage Hybrid Inference Pipeline)

为了平衡计算成本与准确性，研究设计了一个两阶段管道：

1. 阶段一：相关性过滤器 (Relevance Filter)
   • 使用自然语言推理（NLI）模型（ModernBERT-large-nli）判断评论是否与疫苗相关。
   • 作用：快速剔除大量无关评论，减少下游 LLM 的无效计算。
2. 阶段二：专家推理器 (Expert Reasoner)
   • 使用经过微调（Fine-tuned）的 LLM（最终选定 Llama-3.1-70B）进行多标签分类。
   • 任务：一次性识别主体（Self/Other/Unspecified）、接种状态（Vaccinated/Not）和后悔状态（Regret/No）。
   • 模型选择：对比了 8 种不同架构和规模的 LLM（包括 Mistral, Mixtral, Llama, Gemma, Qwen, GPT-4o-mini），发现 Llama-3.1-70B 在关键任务上表现最稳健且推理速度较快。

2.4 实验设计

• 人类标注：采用政治多元化标注小组，通过多数投票解决分歧，以减轻政治偏见。
• 模型评估：在零样本、少样本和微调（LoRA）设置下评估模型性能。
• 归因分析：对识别出的后悔评论，进一步使用 LLM 提取后悔原因（如：不良健康事件、感知到的强迫、效力不足等）。

3. 关键贡献 (Key Contributions)

1. 首个大规模基准数据集：构建了首个针对“疫苗买家后悔”的标注数据集，特别强调了政治多元化标注以应对主观偏见，并区分了第一人称与间接叙事。
2. 混合推理框架：提出了一种结合 NLI 过滤和微调 LLM 的两阶段管道，有效解决了大规模社交媒体数据中细粒度情感分类的效率与准确性平衡问题。
3. 量化与归因分析：首次在大尺度上量化了疫苗后悔的普遍性，并深入分析了不同来源（新闻 vs. 网红）和不同视角（亲历 vs. 转述）下的后悔驱动因素差异。
4. 偏见评估：系统评估了模型在不同政治立场标注者之间的对齐情况，证明了所选模型在政治立场上具有中立性。

4. 主要结果 (Results)

4.1 后悔的普遍性

• 总体比例：在相关评论中，表达后悔的比例仅为 1.1%。这表明尽管后悔叙事在网络上声量很大，但在整体话语中占比很小。
• 来源差异：
  • 网红频道的后悔率（1.9%）显著高于主流新闻频道（0.7%）。
  • 疫苗怀疑论网红的后悔率高达 2.9%，是亲疫苗网红（1.0%）的近三倍。
  • 主流新闻频道之间的差异较小，但统计学显著。

4.2 叙事视角分析

• 第一人称主导：在表达后悔的评论中，67.9% 为第一人称叙事（亲身经历）。
• 间接关系：在第三人称叙事中，家庭成员（29.6%）是最常被提及的关系，其次是未指定关系（28.5%），显示了亲密社交网络在健康叙事传播中的核心作用。

4.3 后悔原因分析

• 主要驱动因素：不良健康事件 (Adverse Health Event) 是最常见的原因，占所有后悔案例的 55.0%。
• 来源差异：
  • 网红频道：不良健康事件占比更高（64.2%）。
  • 新闻频道：效力不足 (Lack of Efficacy) 是次要主要原因（26.9%），讨论更为平衡。
• 视角差异：
  • 第一人称叙事中，感知到的强迫 (Perceived Coercion) 比例更高（11.6% vs 间接叙事的 4.9%），表明自主权丧失是个人后悔的重要心理因素。
  • 间接叙事更倾向于引用具体的健康后果。

4.4 模型性能与偏见

• 性能：微调后的 Llama-3.1-70B 在后悔分类任务上达到了 F1 0.83 和 87% 的准确率。
• 政治中立性：在标注者意见分歧的案例中，模型的选择与标注者的政治立场（民主党、共和党、独立人士）无显著统计差异，表明模型未表现出系统性政治偏见。
• 标注一致性：政治多元化标注组在“主体识别”任务上的一致性最高（Fleiss' Kappa = 0.51），而在“后悔”和“接种状态”上略低，反映了情感判断的主观性。

5. 意义与启示 (Significance)

• 公共卫生监测：提供了一种可扩展的方法，用于实时监测公众对疫苗接种的情绪变化，特别是识别导致后悔的关键因素（如副作用、强迫感）。
• 沟通策略优化：
  • 针对网红社区（特别是怀疑论者），需重点关注不良健康事件的澄清和应对，打破“回声室”效应。
  • 针对个人叙事，需关注“感知强迫”带来的心理抵触，强调自主权。
• 信任重建：通过理解后悔的具体驱动因素（如效力质疑或副作用），公共卫生机构可以更有针对性地重建信任，减少未来健康危机中的决策后悔。
• 方法论贡献：证明了在高度政治化话题中，结合政治多元化人工标注和先进 LLM 管道，可以有效减少偏见并提高分析的可信度。

6. 局限性

• 自选择偏差：YouTube 评论类似于 VAERS 系统，基于自愿报告，不能推断总体人群的发病率或因果关系。
• 语言与平台限制：仅分析英语 YouTube 评论，可能无法代表全球或其他平台（如 TikTok, Twitter）的舆论。
• 模型误差：尽管性能良好，但 LLM 仍可能误解讽刺或复杂的情感表达。

---

总结：该研究通过严谨的数据工程和混合 AI 管道，揭示了“疫苗买家后悔”在社交媒体上的真实图景：它虽然存在且集中在特定社群（疫苗怀疑论网红），但总体占比极低。研究强调了区分叙事视角和识别具体驱动因素（健康事件 vs. 强迫感）对于制定有效公共卫生策略的重要性。