💬 NLP

Zero-Shot Stance Detection in the Wild: Dynamic Target Generation and Multi-Target Adaptation

本文提出了一种名为 DGTA 的新型零样本立场检测任务，该任务能够在无先验知识的情况下识别多个动态目标及其立场，并证明了经过微调的大语言模型（特别是通过两阶段策略和集成策略）在新建的中文社交媒体数据集上取得了卓越的性能。

原作者： Aohua Li, Yuanshuo Zhang, Ge Gao, Bo Chen, Xiaobing Zhao

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Aohua Li, Yuanshuo Zhang, Ge Gao, Bo Chen, Xiaobing Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正走在一个喧闹、混乱的集市中（就像社交媒体的信息流）。在这个集市里，人们对各种事物发表意见：政治家、新手机、运动队，以及像“自由”或“企业贪婪”这样的抽象概念。

问题：“盲眼”侦探
传统的旨在理解这些观点的计算机程序（称为“立场检测”）就像是只能在拿到特定“通缉令”时才工作的侦探。如果你告诉他们，“找出人们对 特斯拉 (Tesla) 的看法”，他们能做得很好。但如果有人走过来说：“特斯拉很棒，但 比亚迪 (BYD) 更好，而 蔚来 (NIO) 则显得有些尴尬。”传统的侦探就会陷入僵局。他们不知道要去寻找 BYD 或 NIO，因为这些不在最初的名单上。他们被困在等待一个预定义目标的循环中。

解决方案：“野外”侦探
该论文的作者提出了一种新型侦探：DGTA（动态目标生成与多目标自适应）模型。这个侦探不需要“通缉令”，它被训练为走进野外的集市，倾听闲聊并说出：

“嘿，我听到有人在谈论 特斯拉。”
“噢，他们也在提到 比亚迪。”
“还有蔚来。”
“现在，让我弄清楚他们对每一个目标的看法是好是坏。”

这被称为 “野外”零样本立场检测 (Zero-Shot Stance Detection in the Wild)。计算机必须在运行过程中即时发明目标列表，并同时搞清楚对每个目标的观点。

他们如何搭建训练场
为了训练这种新型侦探，研究人员不能只使用旧教科书。他们必须利用真实的中国社交媒体帖子（微博）构建一个庞大的、全新的训练场。

人群： 他们收集了来自 240 个不同用户的超过 125,000 条帖子。
清理： 他们剔除了表情符号、链接和用户名，只留下纯文本。
老师： 他们并没有只雇佣一名人类来标注数据。他们使用了一个由三个不同 AI 模型组成的“委员会”来标注帖子。如果其中两个模型对目标和观点达成一致，他们就会保留该数据。如果出现分歧，他们就会将其丢弃。随后，人类专家又进行了双重检查。
结果： 一个包含约 71,000 条高质量帖子的数据集，涵盖了从针对单一目标的吐槽到涉及三四个不同话题的复杂论辩。

训练方法：一步法 vs 两步法
研究人员尝试了两种不同的方式来训练他们的“大语言模型”（超级聪明的 AI 大脑）来完成这项工作：

“全能”大厨（集成策略）： 这个模型被告知：“阅读这段文本，找到所有目标，并告诉我每个目标的观点，一次性完成。”这就像一位大厨同时进行切菜、烹饪和摆盘。
流水线（两阶段策略）： 这将工作拆分。
- 第一站： 一个模型阅读文本并仅仅列出目标（就像扫描仪读取条形码一样）。
- 第二站： 另一个模型拿着这个列表和原始文本，来判断观点是积极、消极还是中立。这就像是一个人负责找食材，另一个人负责烹饪。

结果：谁赢了？
他们将这些模型与旧的、更简单的程序以及仅靠指令（提示词）而未经过专门训练的模型（提示模型）进行了对比测试。

获胜者： 经过专门训练（微调）的 AI 模型彻底击败了竞争对手。
“全能型”冠军： 一个名为 DeepSeek-R1（经过训练会在回答前进行“思考”）的模型在理清观点方面表现最佳，其准确率达到了 79.26%。
“两步法”冠军： 一个名为 Qwen2.5 的模型在单纯寻找目标方面表现最好，得分 66.99%。
教训： 针对这种杂乱的现实工作进行专门训练，使 AI 变得更强，而不仅仅是给它一个通用的指令。此外，那些被教会进行“推理”（循序渐进思考）的模型比那些只会凭直觉猜测的模型表现得更好。

挑战（侦探失手之处）
即使是最优秀的模型，在特定情况下也会遇到困难：

目标过多： 当一个句子包含三个或四个不同的主题时，模型会感到困惑并开始混淆它们。
隐藏含义： 如果有人使用讽刺或隐喻（例如用“苹果嫁给织女”来暗示糟糕的合作），模型有时会错过负面语调，误以为是中立的。
模糊目标： 如果目标不是一个清晰的名字（如“特朗普”），而是一个抽象的概念（如“制度的不公”），模型在精确锁定目标方面会感到吃力，尽管它们擅长发现“正在讨论某些事情”。

总结
这篇论文介绍了一种无需预设话题列表即可教计算机理解社交媒体争论的新方法。通过构建一个庞大的、经过仔细检查的数据集，并训练 AI 模型进行“全面思考”或通过“流水线作业”，他们创造了一个能够自动识别人们在谈论谁以及他们对这些人的看法，甚至是在充满混沌、不可预测的互联网“野外”环境下的系统。

技术摘要：基于动态目标生成与多目标适配（DGTA）的野外零样本立场检测

1. 问题定义

目前的立场检测研究主要在受限设置下运行，即目标是预定义的、静态的且在推理前已知的。然而，现实世界的社交媒体环境呈现出更为复杂的现实：目标既不是预定义的也不是静态的。它们是动态的，通常在一段文本中存在多个目标，并且可以是隐性的或抽象的（例如，特定的事件、行为或概念状态）。现有的方法（如无监督目标适配或单目标提取任务）依赖于候选目标列表，或者无法处理单个帖子中同时识别多个未知目标的问题。

为了弥补这一差距，作者提出了一个新颖的任务：具有动态目标生成与多目标适配（DGTA）的野外零样本立场检测。该任务要求模型能够：

在事先不知道目标标签空间的情况下，自动识别文本中的所有立场目标。
确定每个已识别目标的立场（支持、反对或中立）。
输出一组动态的目标-立场对，处理每个实例中可变数量的目标。

2. 方法论

2.1 数据集构建

作者构建了一个高质量、多领域的中文社交媒体立场检测数据集，包含 70,931 个标注样本。

数据收集： 从 240 名不同的微博用户中收集了帖子，初始池包含 125,176 条条目。
标注流水线： 采用了严格的工作流，包括：
- 协作式 LLM 标注： 三种主流大语言模型（GLM4-9B、Qwen2.5-7B、Llama3-8B）执行级联的目标识别和立场判定。
- 交叉验证： 只有当至少两个模型在目标实体和立场上达成一致时，样本才会被接受。
- 评分与修正： 第二个模型（DeepSeek-V3）对有效样本进行评分，低分实例会被标记以供审查。
- 人工校验： 八名专业标注员对所有自动标注的样本进行了验证。
- 清洗： 移除了 36,379 条低质量文本（包含逻辑矛盾或歧义引用）。
统计数据： 该数据集涵盖了单目标、双目标、三目标以及多目标（>3）场景，并具有多样化的立场分布。

2.2 评估指标

意识到传统指标无法处理开放式目标生成，作者设计了一个多维评估框架：

目标识别： 一个结合了语义相似度和表面匹配的综合得分（C-Score）：
$C\text{-Score} = (\alpha \times \text{BERTScore} + \beta \times \text{BLEU} + \gamma \times \text{ROUGE-L}) \times \text{Recall}$
（权重： $\alpha=0.6, \beta=0.2, \gamma=0.2$ ）。
立场检测： 仅在目标识别指标超过特定阈值（例如，C-Score $\ge 0.3$ ）的样本上进行评估，使用标准的精确率（Precision）、召回率（Recall）和 F1 值。

2.3 微调策略

作者探索了两种使用 LoRA 对大语言模型（LLMs）进行微调的不同策略：

集成式微调（Integrated Fine-Tuning）： 一种端到端的方法，模型接收指令以同时识别目标和分类立场，输出一系列目标-立场对。
两阶段微调（Two-Stage Fine-Tuning）： 一种解耦的方法，其中：
- 第一阶段： 模型仅针对目标识别进行微调。
- 第二阶段： 另一个单独的模型根据文本及第一阶段识别出的目标进行立场分类。

3. 核心贡献

任务提出： 定义了 DGTA 任务，解决了在具有动态、多目标生成的开放世界场景中进行零样本立场检测的关键空白。
数据集： 发布了第一个专门针对此任务的高质量中文多领域社交媒体立场检测数据集，其特点是经过严格的多 LLM 和人工验证。
评估框架： 引入了统一且全面的指标（C-Score），兼顾了生成目标的语义准确性和立场分类的正确性。
方法论基准： 通过将集成式和两阶段微调策略与预训练模型及指令提示 LLM 进行对比，建立了强大的基准。

4. 实验结果

实验在分层测试集上使用多种模型进行，包括微调后的预训练模型（mT5、BERT、RoBERTa）、指令提示的 LLM（GPT-4o、DeepSeek-V3、GLM4-9B、Llama3-8B）以及微调后的 LLM（Qwen2.5-7B、DeepSeek-R1-Distill-Qwen-7B）。

主要发现：

微调后 LLM 的优越性： 微调后的 LLM 显著优于预训练模型和零样本提示的 LLM。
- 目标识别： 两阶段微调的 Qwen2.5-7B 取得了最高的综合目标识别得分（66.99%）。
- 立场检测： 集成式微调的 DeepSeek-R1-Distill-Qwen-7B 取得了最高的立场检测 F1 值（79.26%）。
策略对比：
- 两阶段方法在目标识别方面表现出优势，这可能是由于其专注于实体提取的学习。
- 集成式方法在立场检测方面表现出色，这表明对目标-立场关系进行联合建模可以提升复杂语义语境下的推理能力。
推理能力： 具备推理能力的模型（如 DeepSeek-R1）通常优于不具备推理能力的模型，在识别隐性目标和细微立场方面取得了更高的精确度。
思维链（CoT）： 在提示词中引入 CoT 提升了所有测试 LLM 的性能，特别是对于 GLM4-9B（C-Score +7%）和 Qwen2.5-7B（F1 +4%）。
目标复杂度： 随着目标数量的增加，性能有所下降。双目标文本的语义对齐效果最好，而多目标文本（>3）由于语义复杂度和引用重叠，C-Score 显著下降。
显性 vs. 隐性： 模型在处理显性目标时表现明显更好。隐性目标（抽象概念）显示出较高的召回率但较低的精确率，凸显了语义边界定义的挑战。

5. 意义与主张

本文声称，所提出的 DGTA 框架和数据集为将立场检测从受控、预定义设置推进到现实社交媒体的“野外”提供了必要的基石。通过证明微调后的 LLM 可以有效地处理动态目标生成和多目标适配，这项工作为未来的研究建立了稳健的基准。作者强调，他们的方法解决了以往依赖预定义目标列表方法的局限性，从而使模型能够在目标未知、隐性且众多的场景中运行。发布该数据集和模型旨在促进对开放世界立场检测的进一步探索。