Contextualized Prompting For Stance Detection On Social Media
本文研究了将各种上下文特征整合进零样本提示（zero-shot prompting）以进行社交媒体立场检测的影响，结果表明，虽然大语言模型生成的目标描述能持续提升性能，但由于输入噪声以及模型难以过滤相关信息，其他现实世界的用户元数据往往会产生好坏参半或负面的结果。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图猜测一个陌生人对某个特定话题的想法，比如“我们应该戴口罩吗？”或者“这位政治家做得好吗？”你手里只有一条来自他们的简短文本消息。这就是社交媒体上的**立场检测（Stance Detection）**挑战。这就像是仅仅通过阅读对方发来的一条短信，就要猜出对方的心情一样。这通常令人困惑，因为消息可能带有讽刺意味、含糊不清，或者缺失了关键的上下文。
最近，我们能够使用超级智能的 AI 助手（称为大语言模型，或 LLM），它们非常擅长在不需要经过特定示例教学的情况下进行此类推测。然而，通常情况下，我们会要求这些 AI 在真空中观察这条消息，仿佛它们是在一个没有任何其他信息的隔音室里阅读。
这篇论文的作者提出了一个简单的问题：“如果我们给 AI 提供一些额外的背景信息，比如一份‘小抄’，来帮助它更好地理解这条消息会怎样呢？”
他们通过向 AI 输入不同类型的“小抄”（上下文）来测试这个想法，然后再让 AI 去猜测立场。以下是他们的发现，通过简单的类比来解释：
他们测试的“小抄”类型
- 用户简介（“关于我”页面）： 他们向 AI 展示了用户的 Twitter 个人简介（例如，“我热爱我的国家和上帝”）。
- 用户的其他推文（“历史记录”）： 他们向 AI 展示了同一人最近的其他十条推文。
- 目标描述（“百科全书条目”）： 他们要求 AI 为正在讨论的人或事物写一段简短、中立的摘要（例如，“福奇博士是一位领导了疫情应对工作的医生”）。
- 特定语境（“场景设定”）： 他们要求 AI 解释该推文所提到的具体情况（例如，“这条推文是关于口罩令与枪支权利之间的辩论”）。
结果：哪些有效，哪些无效
把 AI 想象成一个正在试图破解谜题的侦探。有时额外的线索会有所帮助；有时它们只会制造噪音。
1. “百科全书条目”（目标描述）是超级明星 🌟
向 AI 提供关于推文所讨论的对象或事物的清晰、中立的描述，能持续让 AI 变得更聪明。
- 类比： 想象一下，如果你不知道“新车”是指豪华跑车还是破旧卡车，你可能会猜错一个人是否对“新车”感到高兴。但如果你告诉 AI，“这辆新车是一辆全新的法拉利”，答案就会变得显而易见。这种“描述”帮助 AI 理解了主题内容，从而在几乎所有的测试中都提高了猜测的准确性。
2. “历史记录”（其他推文）是一把双刃剑 ⚔️
在传统的计算机科学中，展示用户的过往帖子通常是有帮助的。但在本文中，这往往会让 AI 感到困惑。
- 类比： 想象你在评判一个人说的一句话：“我讨厌这个。”如果你还展示了他们在昨天写的另外十句愤怒的话，AI 可能会感到应接不暇，或者认为这个人总是很愤怒，即使这句特定的句子其实是中性的或讽刺性的。额外的文本充当了“噪音”，分散了 AI 的注意力，有时甚至让它在猜测单条推文的具体立场时表现得更差。
3. “关于我”（简介）和“场景设定”（特定语境）表现不稳定 🎯
有时这些信息会有所帮助，但通常效果一般。
- 类比： 如果用户的简介写着“我热爱运动”，而推文是关于一场比赛的，那么这会有所帮助。但如果推文是关于政治的，那么这个简介就毫无用处。AI 很难判断哪些线索是重要的，哪些只是背景噪音。它经常会被那些对特定问题并不重要的信息所困扰。
核心结论
论文得出结论：虽然给 AI 提供更多信息听起来是个好主意，但事情并不总是那么简单。
- 好消息： 如果你给 AI 一个清晰、中立的主题定义（“目标描述”），它几乎总能变得更擅长进行猜测。
- 坏消息： 如果你把大量的用户其他推文或个人简介塞进提示词中，AI 往往会分心。它很难区分什么是“有用的线索”，什么是“无关的噪音”。
作者还创建了一个关于德国 COVID-19 相关推文的高质量新数据集来测试这些想法，以确保他们的发现不仅仅局限于英语。
简而言之： 为了帮助 AI 理解一条社交媒体帖子，请给它一个清晰的主题定义。但要小心不要把用户的整个历史记录都给它，因为它可能会被这些杂乱的信息搞糊涂。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。