💬 NLP

Quantifying the Sources of Instability in LLM-Based Stance Analysis of Public Discourse

本研究表明，尽管在基于大语言模型的公共话语立场分析中，聚合情感比例在不同的预处理流水线中保持稳定，但关于情感效价与认识模态之间耦合关系的具体结论，对于低样本量说话者的流水线变化高度敏感，并且更显著地，对于大语言模型与关键词词典测量方法之间的系统性分歧高度敏感。

原作者： Bo Chen

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bo Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名侦探，试图弄清楚一位名人的真实感受，以及他们对自己的言论有多大的把握。你面前有一大堆视频采访。但在你开始调查之前，你必须先用一台机器处理这些原始视频，这台机器要做三件事：听取音频、识别谁在说话（嘉宾还是主持人），并将语音切割成句子。

这篇论文提出了一个简单但棘手的问题：你设置机器的方式是否会改变最终的判决？

由 Bo Chen 领导的研究人员设计了一个大规模实验，涵盖了 256 场 YouTube 采访，涉及 41 位来自金融、政治和媒体领域的名人。他们将这些视频通过两种不同的“机器”（预处理流水线）运行，然后使用两种不同的“侦探”（测量方法）来分析文本。

两种机器：“剪切粘贴”型 vs. “听觉耳朵”型

把第一种机器想象成一个仅限文本的侦探。它抓取 YouTube 自动生成的字幕，对其进行清理，并尝试根据文字来猜测谁在说话。它很快，但有时会被 YouTube 字幕那种混乱的写法搞糊涂。

第二种机器是仅限音频的侦探。它倾听实际的声音波形，识别声音，并写下说了什么。这是一种更昂贵、更高科技的方法。

研究人员想看看，从“仅限文本的侦探”切换到“仅限音频的侦探”，是否会改变他们讲述的关于演讲者的故事。

两种侦探：“AI 大脑” vs. “词汇表”

一旦文本准备就绪，他们需要测量两件事：

效价（Valence）： 说话者是开心的（积极）还是悲伤/愤怒的（消极）？
模态（Modality）： 说话者是在表现得超级自信（强调）还是犹豫不决（对冲）？

为了测量这些，他们使用了两种不同的工具：

AI 大脑 (LLM)： 一个强大的人工智能，它阅读文本并撰写关于说话者情感和自信程度的报告。
词汇表 (Keyword Lexicon)： 一个死板的规则手册，仅仅统计特定“愤怒”或“自信”词汇出现的次数。

大惊喜：机器的影响比你想象的要小（对某些人而言）

这是第一个转折。研究人员发现，如何切割视频确实很重要，但前提是你最初拥有的视频量不够多。

如果一位名人的视频非常少（5 个或更少），结果就会一团糟。从“仅限文本的侦探”切换到“仅限音频的侦探”，可能会彻底翻转结果，将一个“自信”的演讲者变成一个“犹豫”的演讲者。这就像试图通过观察一朵云来预测天气；噪声实在太大了。

然而，如果一位演讲者有大量的视频（16 个或更多），那么机器的选择几乎无关紧要。对于研究中样本量最好的四位明星来说，更换机器只会让结果产生微小的变化（平均偏移仅为 0.13）。无论你使用哪种机器，讲述的故事始终如一。

真正的反派：侦探的选择

剧情在这里变得更加曲折。虽然对于样本充足的明星来说，“机器”（预处理）并没有改变故事，但“侦探”（测量方法）却完全改变了结果。

研究人员发现，AI 大脑和词汇表经常会对同一个人的同一段文本得出截然相反的结论。

在近 49% 的案例中，两位侦探对于演讲者是在表现自信还是犹豫产生了分歧。
对于一些非常有名的、样本充足的演讲者（例如拥有 17 个视频的经济学家 Ken Rogoff），AI 说了一套，而词汇表说的却是完全相反的内容。

这表明，最大的不稳定来源并不是你如何清洗数据，而是你选择了哪种工具进行分析。一种工具可能认为演讲者是“愤怒且确定”的，而另一种工具却认为他们是“冷静且犹豫”的。

安全的错觉

你可能会想：“好吧，也许如果我们看所有人的平均值，一切都会相互抵消？”研究人员检查了这一点，答案是：绝非如此。

他们发现，如果你只看所有视频中负面词汇的总百分比，数据看起来非常稳定。无论你使用哪种机器或哪种侦探，负面词汇的总数几乎不动（变化量小于 6 个百分点）。

但这种稳定性是一个陷阱。它掩盖了对于个体演讲者而言，结论是完全不同的事实。这就像说一个班级“表现平平”，因为天才学生和不及格的学生互相抵消了。你忽略了其中一个学生正在挣扎，而另一个正在茁壮成长这一事实。

总结

论文最后向任何研究公共话语的人发出了警告：不要只信任一种设置。

检查你的样本量： 如果你只有很少的视频，无论你做什么，你的结果都是不可靠的。
不要只依赖一种侦探： 如果你的 AI 工具和你的词汇计数工具意见不一，说明你还没有找到真相。你需要看到它们达成一致后，再发布你的发现。
区分噪声： 你必须弄清楚你的结果发生变化，是因为你改变了机器（预处理），还是因为你改变了工具（测量）。

简而言之，你准备数据的方式很重要，但你用来测量数据的方法更为重要。而且，如果你只看宏观的平均值，你可能会错过整个故事。

技术摘要：量化基于大语言模型（LLM）的公共话语立场分析中的不稳定性来源

问题陈述

计算社会科学（CSS）日益依赖自动化预处理流水线——具体包括说话人日志划分（speaker diarization）、自动语音识别（ASR）、文本清洗和句子切分——将原始媒体转化为可分析的文本。尽管已有大量关于标注有效性（例如，LLM 标签是否与人类判断一致）的文献，但在理解两个上游不稳定性来源方面仍存在关键空白：

预处理有效性（Preprocessing Validity）： 预处理流水线的选择（如日志划分方法、切分规则）是否会改变下游的统计结论。
测量有效性（Measurement Validity）： 即使应用于完全相同的预处理文本，标注工具的选择（LLM 与关键词词典）是否会产生不同的结论。

这两类来源经常被混淆，导致难以诊断观察到的研究结果中的不稳定性究竟是源于数据处理流水线，还是源于测量工具本身。

研究方法

作者提出了一个**流水线敏感性分析（pipeline sensitivity analysis）**框架，旨在系统地解构这些变异来源。该研究利用了一个包含 256 个 YouTube 访谈的语料库，涉及五个领域的 41 位公众人物：金融/投资、学术/经济、中央银行/政策、地缘政治/战略以及媒体/评论。

实验设计

研究对比了两个不同的变量：

两种预处理流水线：
- 基于 VTT 的流水线： 解析 YouTube 字幕文件，去除冗余伪影，并使用 LLM（DeepSeek-V4-Flash）进行二元说话人分类（“嘉宾” vs. “主持人”）。
- 基于音频的流水线（AssemblyAI）： 使用商业 API 进行 ASR 和说话人日志划分，通过单词计数识别主导发言者作为嘉宾。
两种测量方法：
- LLM 标注： 使用 DeepSeek-V4-Flash 对效价（正向/负向/中性）和认识模态（强调/对冲/中性）进行零样本（zero-shot）标注。
- 关键词-词典评分： 一种基于规则的方法，使用预定义的模式（涵盖负向/正向效价和模态），并根据视频字符长度进行归一化。

诊断框架

作者定义了两个指标来量化不稳定性：

流水线差异 ( $\Delta_{pipeline}$ )： 在针对同一测量方法切换预处理流水线时，派生指标（具体为负向效价与强调模态之间的 Pearson 相关系数 $r$ ）的变化。
方法差异 ( $\Delta_{method}$ )： 在同一预处理文本上切换 LLM 与关键词-词典方法时，指标的绝对差值。

分析侧重于每位说话人的相关性（$r(neg, emph) $和$ r(neg, hedged)$），并排除了样本量少于 4 个视频的说话人，以避免由于样本量过小导致的伪相关。

核心结果

1. 流水线敏感性是受限且依赖于样本量的

集中于低 N 说话人： 预处理敏感性高度集中在视频样本有限（ $N \le 5$ ）的说话人身上。对于这些说话人，平均绝对变化量（ $|\Delta r|$ ）较高（0.44），且经常出现符号反转。
在高样本量说话人中保持稳定： 对于四位样本量最充足的说话人（ $N \ge 16$ ），由于流水线选择引起的平均 $|\Delta r|$ 仅为 0.13（在 LLM 标注下）。没有任何一位高样本量说话人的 $\Delta r$ 超过 0.19。
领域差异： 敏感性随领域而异。媒体话语表现出最高的流水线鲁棒性（LLM 标注下的 $|\Delta r| = 0.32$ ），而金融和学术领域最为敏感（$0.46$）。

2. 跨方法不一致是主要威胁

不一致程度： 测量方法产生的差异显著大于流水线差异。在所有 41 位说话人中，平均 $\Delta_{method}$ (0.76) 几乎是平均 $\Delta_{pipeline}$ (0.41) 的两倍。
系统性符号反转： LLM 和关键词-词典方法在 49% 的案例中呈现出相反的耦合方向（符号反转）。即使是在样本量充足的说话人（例如拥有 17 个视频的 Rogoff）身上也会发生这种情况，尽管这两种方法在内部都是稳定的。例如，对于 Rogoff，其流水线差异为 0.19，但在同一 VTT 流水线上的方法差异却达到了 0.90。
聚合掩盖效应： 无论流水线或方法如何变化，聚合效价比例都保持高度稳定（ $|\Delta p(neg)| < 6$ 个百分点）。这种稳定性掩盖了跨维度相关性中存在的实质性不稳定性。

3. 领域调节敏感性

专业沟通风格会调节预处理选择向测量结果的传播方式。例如，学术性的对冲标记（hedging markers）和媒体性的强化词（intensifiers）在面对句子切分（VTT 切分的产物）时，表现出的鲁棒性与地缘政治话语不同。

核心贡献

诊断框架： 本文引入了一个双源诊断框架，将预处理流水线效应与测量方法效应区分开来，为研究人员报告和分析这两个来源的不稳定性提供了一种实用的方法。
预处理流水线敏感性的经验界限： 研究证明了预处理敏感性是可预测的。对于样本量充足的说话人（ $N \ge 16$ ），预处理选择对相关性结论的影响是受限的（ $|\Delta r| \approx 0.13$ ）。
确定测量有效性为主要威胁： 研究表明，跨方法的不一致性是比预处理差异更严重的有效性威胁。即使预处理流水线保持不变，选择 LLM 标注还是关键词词典也可能从根本上改变关于情感效价与认识模态耦合关系的结论。

意义与主张

本文认为，研究访谈数据中跨维度关系的学者必须验证其结论是否对这两个变异来源均具有鲁棒性。作者主张：

预处理选择虽有影响，但受限于一定范围： 虽然流水线选择会影响结果，但其影响程度是可预测且可控的（对于具有足够数据的说话人而言）。
测量选择至关重要： 在 LLM 标注与关键词词典之间进行选择，可能会从根本上逆转科学结论（例如，将正相关变为负相关）。
报告标准： 计算社会科学研究者应明确区分并报告这两类不稳定性来源。如果一个相关性在经过替代预处理流水线和替代测量方法的双重检验后依然存在，则该结论被视为更具可信度。

作者保持了审慎的态度，承认了研究的局限性，例如仅使用了单一的 LLM 提供商、仅针对英文语料库，以及在当前设计中无法完全将日志划分效应与句子切分效应分离。他们并不声称其中一种方法在所有情况下都是“正确”的，而是认为这种差异本身就是一个需要调查的诊断信号。