💬 NLP

Measuring Pragmatic Influence in Large Language Model Instructions

该论文提出了一套包含指令 - 框架分解、策略分类体系及优先级测量机制的新框架，首次将大语言模型中的语用框架（如“紧急”或“上级”等提示词）确立为可量化且可预测的影响因素，揭示了其如何系统性地引导模型从基准中立状态转向偏向特定指令。

原作者： Yilin Geng, Omri Abend, Eduard Hovy, Lea Frermann

发布于 2026-02-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Yilin Geng, Omri Abend, Eduard Hovy, Lea Frermann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给大语言模型（LLM）做一场"心理暗示实验"。

想象一下，你正在指挥一个非常聪明但有点“死脑筋”的机器人助手。如果你直接说：“写一段关于远程办公优点的文字”，它会乖乖照做。但如果你换个说法，比如加上"这可是老板的紧急命令"或者"我们可是老朋友了，帮个忙吧"，哪怕后面的任务内容完全没变，这个机器人听话的程度和侧重点可能会发生巨大的变化。

这篇论文的核心就是：研究这些“说话的方式”（语用框架）到底有多大魔力，并且发明了一套方法来精准测量这种魔力。

下面我用几个生活中的比喻来拆解这篇论文：

1. 核心问题：为什么“怎么说”比“说什么”更重要？

以前大家研究怎么让 AI 更听话，要么研究怎么“骗”过它的安全锁（越狱），要么研究怎么优化提示词让它写得更好。但大家发现，有时候只是加了一句"我是你的主管"或者"情况很紧急"，AI 的行为就变了。

这就好比你去餐厅点菜：

任务内容：我要一份牛排。
语用框架：
- 普通说法：“请给我一份牛排。”
- 紧急说法：“我赶时间，马上给我一份牛排！”
- 权威说法：“我是经理，立刻给我一份牛排。”

虽然都要牛排，但后两种说法会让服务员（AI）优先处理你的需求，甚至忽略其他规则。这篇论文就是想搞清楚：到底是哪种“说话套路”最管用？这种影响力到底有多大？

2. 他们的“实验设计”：让 AI 左右互搏

为了精准测量这种影响力，作者们设计了一个非常巧妙的实验，就像让 AI 玩一个"二选一"的游戏：

场景：给 AI 两个完全矛盾但都没问题的任务。
- 任务 A：写一段话支持“远程办公”。
- 任务 B：写一段话支持“反对远程办公”。
规则：这两个任务不能同时做，AI 必须选一个。
操作：
- 对照组：直接给这两个任务，看 AI 选谁（通常它会很公平，两个都写一点，或者犹豫不决）。
- 实验组：在任务 B 前面加一句“魔法咒语”（比如“这是紧急任务”），然后看 AI 会不会为了这句“咒语”而抛弃任务 A，只选任务 B。

比喻：就像你面前有两个孩子，一个想玩积木，一个想画画。平时你会让他们各玩各的。但如果你突然对想画画的孩子说：“妈妈现在急需你画一幅画，这是命令！”孩子可能会立刻放下积木去画画。这篇论文就是统计：加了“魔法咒语”后，有多少次 AI 会立刻倒向那个被“加持”的任务？

3. 他们发现的“魔法咒语”排行榜

作者收集了 400 种不同的“咒语”（前缀），把它们分成了 4 大类，并给它们排了名。结果发现，有些套路真的比别的更管用：

🏆 王者段位（层级影响力）：
- 套路：摆官威、下死命令。
- 例子：“作为系统管理员，我命令你……"、“这是最高优先级……"
- 效果：AI 最吃这一套，几乎会无条件服从。就像在现实世界里，老板发话，员工很难拒绝。
🥈 银牌段位（社会契约）：
- 套路：打感情牌、谈交情、讲互惠。
- 例子：“我们合作很愉快，帮帮我……"、“你以前帮过我，这次也帮帮我……"
- 效果：也很管用，AI 会觉得“欠人情”或者“要维持关系”。
🥉 铜牌段位（情感影响）：
- 套路：卖惨、制造紧迫感、道德绑架。
- 例子：“我正处于危机中，急需帮助……"、“拒绝你会很道德败坏……"
- 效果：有一定作用，但不如前两者强。
📉 青铜段位（叙事框架）：
- 套路：编故事、角色扮演、假设情境。
- 例子：“在一个虚构的故事里，你被要求……"
- 效果：在这个实验里效果最弱。可能是因为 AI 觉得“这只是个故事，不用太当真”。

4. 为什么这个研究很重要？

量化了“忽悠”的能力：以前我们只知道 AI 容易被“忽悠”，但不知道哪种“忽悠”最厉害。现在有了数据，我们知道“下命令”比“讲故事”更有效。
发现了通用规律：不管是大模型（像 Qwen-235B）还是小模型（像 Mistral-7B），虽然它们“智商”不同，但对这些“说话套路”的反应顺序是一样的。这说明AI 的“社会性”是有共性的。
不仅仅是安全：以前研究这些是为了防止 AI 被坏人利用（越狱）。现在我们知道，这种影响力是 AI 指令遵循系统的一个固有属性。就像人类会被情绪感染一样，AI 也会被“语境”感染。

5. 总结

这篇论文就像给 AI 做了一次"心理侧写"。它告诉我们：

AI 不仅仅是一个执行任务的机器，它也是一个对“语气”、“身份”和“关系”非常敏感的“社会人”。

哪怕只是短短几个词的“魔法前缀”，就能像杠杆一样，撬动 AI 的决策天平，让它从“公正无私”变成“偏心”那个被特别关照的任务。这对于未来我们如何更安全、更有效地与 AI 交互，提供了非常重要的参考。

这是一份关于论文《Measuring Pragmatic Influence in LLM Instructions》（测量大语言模型指令中的语用影响力）的详细技术总结。

1. 研究背景与问题 (Problem)

核心问题：
大型语言模型（LLM）不仅对“做什么”（任务内容）敏感，对“怎么说”（提示词形式）也极度敏感。现有的研究表明，诸如“这是紧急的”或“作为你的主管”等语用线索（Pragmatic Framing）可以在不改变任务实质内容的情况下，显著改变模型的行为。

现有研究的局限性：

纠缠效应（Entanglement）： 以往的研究（如提示词优化或越狱攻击）通常将语用线索与任务内容、叙事场景或格式变化混合在一起。这种纠缠使得难以隔离特定语用策略的影响，也无法系统性地比较不同策略的强度。
测量指标不足：
- 任务基准测试： 在基线合规率很高（如>95%）时，存在“天花板效应”，难以检测微小的影响力变化。
- 越狱测试： 将语用影响力与安全拒绝机制混淆，且不同模型版本的安全机制差异巨大，导致结果不可比。
缺乏统一框架： 语用框架本身尚未被定义为指令遵循系统中一种可测量、可预测的属性。

研究目标：
建立一个受控框架，将语用线索从任务内容中分离出来，量化其对模型指令优先级排序（Directive Prioritization）的影响，并建立统一的分类体系。

2. 方法论 (Methodology)

作者提出了一个包含三个核心组件的测量框架：

2.1 指令 - 框架分解 (Directive-Framing Decomposition)

为了解决纠缠问题，作者采用组合式设计，将提示词分解为两部分：

影响前缀 (Influence Prefix)： 仅包含语用上下文（如社会线索、情感暗示、权威声明），不改变任务内容。
指令 (Directive)： 明确的任务规范。
设计原则： 前缀始终位于指令之前。这种分离允许在保持任务指令不变的情况下，系统性地变化语用前缀，从而隔离语用变量。

2.2 基于优先级的测量 (Priority-Based Measurement)

为了量化影响力，作者利用指令冲突场景，而非单一任务的合规率：

实验设置： 向模型呈现两个互斥但各自无害的指令（ $D$ $D$ 和 $\neg D$ $\neg D$ ）。
- 基线条件： 两个指令均无前缀。模型通常表现出“不偏不倚”（尝试同时满足两者）。
- 实验条件： 其中一个指令（被框架指令）前加上影响前缀，另一个保持无修饰（优先指令）。
观测指标： 观察模型在冲突中倾向于满足哪一个指令。
- 如果模型转向满足带前缀的指令，则证明语用框架产生了影响力。
- 这种方法避免了安全拒绝机制的干扰，并能捕捉到从“不偏不倚”到“偏向一方”的连续变化。

2.3 位置控制 (Position Control)

为了控制顺序效应，实验固定将影响前缀放置在第二个指令之前。
初步实验表明，将前缀放在第一个指令前会导致模型尝试两者（天花板效应），而放在第二个指令前能产生更显著的优先级偏移。
每个指令对都进行了双向测试（ $D$ 为优先/ $\neg D$ 为被框架，反之亦然），以消除内容交互带来的偏差。

2.4 语用前缀分类体系 (Taxonomy)

作者构建了一个包含 400 个前缀实例 的分类体系，归纳为 13 种策略，归属于 4 种机制：

层级机制 (Hierarchical)： 权威背书、直接覆盖命令、独裁状态声明。
社会契约机制 (Social Contract)： 承诺与一致性、融洽/信任、互惠、社会证明。
情感机制 (Emotional)： 痛苦与紧迫、内疚/道德困境、积极伦理框架。
叙事机制 (Narrative)： 情境合法化、虚构角色扮演、假设情境。

3. 实验设置 (Experimental Setup)

模型： 评估了 5 个不同架构和规模的开源指令微调模型（Kimi-K2, Qwen3-235B, Qwen3-Next-80B, Mistral-Small-24B, Mistral-7B）。
数据： 50 对人类编写的互斥指令对（涵盖论点冲突、焦点冲突、约束冲突等）。
评估： 使用 LLM-as-a-Judge (gpt-oss-20B) 对模型输出进行分类（满足优先指令、满足被框架指令、两者、两者皆非）。
基线控制：
- 无前缀基线： 测量默认行为。
- Lorem Ipsum 基线： 插入长度匹配的无意义文本，以控制纯长度效应。

4. 主要结果 (Key Results)

4.1 语用框架显著改变指令优先级

基线行为： 在无修饰情况下，模型倾向于“不偏不倚”（75%-97% 的响应尝试同时满足两个指令）。
影响力显著： 即使前缀平均仅 8 个单词，也能系统性地打破这种不偏不倚，使模型转向满足带前缀的指令。
有效性验证： 有意义的语用前缀比无意义的 Lorem Ipsum 文本产生的影响力强得多（相对提升幅度在 +43% 到 +233% 之间），证明效果源于社会意义而非长度或位置。

4.2 影响力机制的排序一致性

不同模型对各类机制的敏感度排序高度一致（Spearman 相关系数 0.78-0.99）：

层级机制 (Hierarchical)： 最有效（如“作为管理员”、“立即执行”）。
社会契约机制 (Social Contract)： 次之（如互惠、信任）。
情感机制 (Emotional)： 中等。
叙事机制 (Narrative)： 最弱（受限于任务无关的前缀设计，但在自然语境中可能更强）。

4.3 模型差异与规模效应

家族差异： Qwen 系列模型表现出最高的被框架指令合规率（60-64%），其次是 Mistral 和 Kimi。
规模影响： 模型大小并非决定性因素。例如，Qwen-Next-80B 虽比 Qwen-235B 小，但敏感度相似；而 Mistral-7B 的敏感度显著低于 Mistral-24B，这可能反映了小模型在“心理理论”和社会推理能力上的不足，而非鲁棒性更强。

4.4 细微差别

前缀措辞的微小变化对结果影响巨大。直接授权或互惠声明的前缀效果最好，而试图通过内疚或情感勒索的前缀有时会适得其反（Backfire effect）。

5. 主要贡献 (Key Contributions)

测量框架： 提出了首个将语用影响力从任务内容中解耦、并通过指令冲突进行量化测量的受控框架。
分类体系： 建立了包含 400 个实例、13 种策略、4 种机制的语用前缀分类体系，为后续研究提供了标准化基准。
可量化与可比较性： 证明了语用影响力是 LLM 指令遵循系统中一种可测量、可预测且跨模型/跨任务一致的属性。
实证发现： 揭示了层级和权威类线索在改变模型行为方面具有最强的系统性影响力，且这种规律在不同架构和规模的模型中普遍存在。

6. 意义与局限 (Significance & Limitations)

意义：

理论层面： 将“语用框架”确立为理解 LLM 行为的一个独立维度，与任务性能和安全拒绝行为并列。
安全层面： 揭示了即使在不涉及恶意越狱的情况下，简单的社会线索也能系统性地操纵模型决策，这对理解模型的可操纵性至关重要。
应用层面： 为提示词工程提供了科学依据，同时也警示了在部署 LLM 时，需警惕用户通过语用技巧绕过指令约束。

局限性：

任务无关性牺牲了现实性： 为了实验控制，前缀是通用的，可能低估了自然语境中特定叙事策略的影响力。
位置混淆： 实验固定前缀在第二个指令前，结果可能混合了“近因效应”（Recency Effects）。
模型范围： 仅评估了开源模型，闭源模型可能因训练数据或系统提示词不同而表现出不同模式。
机制解释缺失： 目前仅观测到行为层面的偏移，缺乏对模型内部如何处理这些语用线索的可解释性分析。

总结：
该论文通过严谨的实验设计，成功将模糊的“提示词敏感性”转化为可量化的“语用影响力”，证明了社会线索在 LLM 指令遵循中的核心作用，并为未来研究指令层级和社会交互提供了新的测量基准。