💬 NLP

Social Meaning in Large Language Models: Structure, Magnitude, and Pragmatic Prompting

该论文通过引入结构保真度与幅度校准指标，并结合语用学理论设计提示策略，发现大型语言模型虽能可靠复现人类社会推理的结构特征，但在推理强度上存在显著偏差，而综合考量说话者知识与动机的提示方法能最有效地改善这种校准偏差。

原作者： Roland Mühlenbernd

发布于 2026-04-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Roland Mühlenbernd

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给大语言模型（LLM，比如现在的各种 AI 聊天机器人）做一场"社会情商体检"。

作者想搞清楚两个核心问题：

定性：AI 能不能像人一样，听懂“话里有话”？（比如，别人说“大概 500 块”，你能不能感觉到他可能不太确定？）
定量：AI 能不能像人一样，精准地把握这种“话里有话”的程度？（比如，这种不确定感是让人稍微有点怀疑，还是让人彻底觉得他不靠谱？）

为了讲清楚，我们用几个生活中的比喻来拆解这篇论文。

1. 核心发现：AI 懂“方向”，但不懂“力度”

想象一下，你让三个不同的 AI（GPT、Claude、Gemini）去扮演一个“社会观察员”，评价一个人说话时的精确度（比如他说“自行车 500 块”vs“自行车大概 500 块”）会给人留下什么印象。

人类的表现：
- 在需要精确的场合（比如报保险），如果说“大概 500 块”，大家会觉得这人不太靠谱，扣分很多。
- 在随便聊聊的场合（比如朋友问），如果说“大概 500 块”，大家觉得很自然，甚至觉得这人很随和，扣分很少。
- 关键点：人类对“不精确”的惩罚，在保险场景下是“重罚”，在聊天场景下是“轻罚”。这个力度的差距（Magnitude）是非常微妙的。
AI 的表现：
- 方向对了（结构忠实）：所有 AI 都知道“在保险场景说大概，比在聊天场景说大概，评价要低”。它们完全听懂了“话里有话”的逻辑。
- 力度歪了（校准偏差）：但是，AI 在扣分多少上经常跑偏。
  - 有的 AI（如 Gemini）像个夸张的喜剧演员：不管什么场景，只要听到“大概”，它就疯狂扣分，把“稍微不靠谱”夸大成“极度不靠谱”。
  - 有的 AI（如 GPT）像个温和的中间派：扣分比较接近人类，但偶尔也会手抖。

论文的新发现：以前大家只关心 AI 选对答案没有（定性），这篇论文发明了新的尺子（ESR 和 CDS 指标），专门测量 AI 的扣分力度是否和人类一样精准（定量）。结果发现：AI 虽然懂逻辑，但经常用力过猛或力度不足。

2. 怎么给 AI“开药方”？（提示词策略）

既然 AI 懂逻辑但力度不对，作者尝试用语用学（研究语言如何在实际交流中使用的理论）给 AI 写“提示词”（Prompt），看看能不能治好这个毛病。作者开了三种“药方”：

药方 A：提醒 AI“想想别人会怎么说” (Alternative-Aware)

比喻：就像告诉 AI：“别光听这句话，想想如果说话人想表达更确定的意思，他会不会选别的词？既然他选了‘大概’，说明他可能没把握。”
效果：
- 对某些 AI（如 GPT）有点用。
- 但对那些本来就容易“用力过猛”的 AI（如 Gemini），这招反而火上浇油。它让 AI 更纠结于“词的选择”，结果把不靠谱的印象夸得更大了。

药方 B：提醒 AI“猜猜说话人心里在想什么” (Knowledge-and-Motives-Aware)

比喻：就像告诉 AI：“别急着下结论，先猜猜说话人是不是真的不知道确切数字？还是他故意不想说太细？也许他只是不想显得太较真，而不是不诚实。”
效果：
- 这是最灵的一招！特别是对于那些容易“用力过猛”的 AI，这招能让它们冷静下来，把夸张的扣分拉回到接近人类的水平。
- 这就像给 AI 戴上了一副“同理心眼镜”，让它理解人类说话时的不确定性和动机。

药方 C：双管齐下 (Combined)

比喻：既让 AI 想“别人会怎么说”，又让 AI 想“说话人心里想什么”。
效果：
- 这是唯一一个在所有 AI 身上都稳赢的方案。它综合了前两者的优点，让 AI 在保持逻辑正确的同时，把力度调整得更像人。
- 不过，对于某些特别“夸张”的 AI，这招虽然有效，但还没完全治好（力度还是有点偏差）。

3. 总结与启示

这篇论文就像给 AI 做了一次精细的“情商校准”：

AI 已经学会了“社交礼仪”的骨架：它们知道什么时候该严谨，什么时候该随和。
但 AI 还没学会“社交礼仪”的肌肉记忆：它们往往用力过猛，把“稍微有点不精确”理解成“非常不靠谱”。
最好的教学方法：不要只教 AI“看选项”（对比不同说法），更要教 AI“读人心”（推测说话人的知识状态和动机）。只有让 AI 真正去模拟人类的思考过程（既看选项又猜动机），它们的表现才会最接近真人。

一句话总结：
现在的 AI 就像是一个懂道理但有点死板的实习生，你教它“要灵活”，它可能反而更死板；但如果你教它“去体会说话人的难处和动机”，它就能瞬间变成一个情商在线的职场老手。这篇论文就是教我们如何给 AI 开这剂“情商药方”的说明书。

这篇论文《大型语言模型中的社会意义：结构、幅度与语用提示》（Social Meaning in Large Language Models: Structure, Magnitude, and Pragmatic Prompting）深入探讨了大型语言模型（LLM）在模拟人类社会推理时的能力边界。文章不仅关注模型是否能像人类一样进行定性推理，更着重于其是否能定量地复现人类推理的强度，并提出了基于语用理论的提示策略来改善这一表现。

以下是对该论文的详细技术总结：

1. 研究问题 (Problem)

尽管 LLM 在定性社会推理（如识别会话含义、判断社会属性）方面表现出类人能力，但现有评估多集中于方向性或分类一致性（即模型是否选对了方向），而忽视了幅度校准（Magnitude Calibration）。

核心痛点：LLM 往往能正确捕捉社会推断的定性结构（例如：精确表达比模糊表达显得更胜任），但会系统性地夸大或削弱这种推断的强度（幅度）。
研究目标：
1. 量化 LLM 在复现人类社会意义时的结构保真度与幅度校准度之间的差异。
2. 探究基于语用理论（Pragmatics）的提示策略（Prompting）能否改善这种幅度校准的偏差。

2. 方法论 (Methodology)

2.1 实验基准与数据

任务领域：数值（不）精确性（Numerical Im/Precision）引发的社会意义。
基准数据：基于 Solt et al. (2025) 的人类行为实验。实验考察在不同语境（高精度需求 vs. 低精度需求）下，说话者使用精确数字（如" $500"）与模糊数字（如“约$ 500"）时，听众对其能力、知识性、准备度、乐于助人、讨人喜欢、学究气等社会属性的评分。
实验设计：2（表达形式：精确/模糊）× 2（语境需求：高/低）× 6 个场景。

2.2 评估指标 (Evaluation Metrics)

为了区分“结构”与“幅度”，作者提出了两组新指标：

结构对齐指标：
- 方向一致性得分 (DAS) 和 交互敏感度得分 (ISS)：检查模型是否复现了人类数据中显著的主效应和交互效应的方向（正负号）。
- 斯皮尔曼等级相关 (Spearman $\rho$ )：衡量模型评分与人类评分的排序一致性。
幅度校准指标 (核心贡献)：
- 效应量比率 (Effect Size Ratio, ESR)： $ESR = |\Delta M| / |\Delta H|$ 。其中 $\Delta$ 代表精确与模糊表达之间的评分差值。$ESR=1 $表示完美校准；$ ESR>1 $表示夸大；$ ESR<1$ 表示衰减。
- 校准偏差得分 (Calibration Deviation Score, CDS)：所有显著效应的 ESR 与 1 的绝对偏差的平均值。值越低，校准越好。
- 一致性相关系数 (CCC) 和 均方根误差 (RMSE)：用于全局评估模型与人类评分的线性一致性和绝对偏差。

2.3 模型与提示策略

模型：评估了三个前沿闭源模型：GPT-4o-mini, Claude 3.5 Sonnet, Gemini 2.5 Pro。
提示条件 (4 种)：
1. 最小化 (MIN)：基准提示，直接要求评分。
2. 替代感知 (ALT)：基于“替代推理”假设，要求模型显式思考其他可能的表达方式及其语境适宜性（Chain-of-Thought）。
3. 知识与动机感知 (KMA)：基于“说话者状态”假设，要求模型在评分前推理说话者可能的知识状态和交际动机。
4. 组合 (COM)：同时激活上述两种推理过程。

3. 主要发现 (Results)

3.1 结构完美，幅度失调 (Universal Structure, Variable Calibration)

结构层面：所有模型在所有提示条件下均达到了完美的方向一致性（DAS = ISS = 1.0），且斯皮尔曼相关系数很高（0.83–0.95）。这表明 LLM 完全掌握了“什么语境下会产生什么社会推断”的逻辑结构。
幅度层面：存在显著的校准失败。
- GPT：校准度最好，RMSE 较低，效应量比率接近 1。
- Claude：中等偏差，对提示敏感。
- Gemini：偏差最大，系统性地严重夸大效应量（ESR 经常超过 2 甚至 3），即人类认为有轻微差异的，模型认为差异巨大。

3.2 提示策略的效果

KMA (知识与动机)：这是最有效的单一干预。对于倾向于夸大效应的模型（如 Gemini 和 Claude），KMA 显著降低了幅度偏差（CDS 下降）。这表明引导模型关注说话者的认知不确定性有助于抑制过度推断。
ALT (替代感知)：效果混合甚至有害。对于 Gemini，显式要求思考替代方案反而加剧了夸大效应（CDS 从 1.57 升至 2.47）。这可能意味着在没有认知不确定性锚定的情况下，单纯对比替代方案会强化对比效应。
COM (组合)：是唯一能在所有模型上同时改善所有校准敏感指标（CCC, RMSE, CDS）的条件。
- 尽管 COM 对 GPT 提升有限（因其本身已校准良好），但对 Gemini 和 Claude 有显著改善。
- 关键发现：COM 的效果并非 ALT 和 KMA 的简单叠加。在某些情况下（如 Gemini），COM 的校准效果不如单独的 KMA，暗示 Chain-of-Thought 的示例可能与不确定性推理指令存在某种干扰。

4. 关键贡献 (Key Contributions)

提出结构 - 幅度解耦的评估框架：
打破了以往仅关注“对错”的评估模式，引入了 ESR 和 CDS 指标，量化了 LLM 在复现人类社会推理强度时的系统性偏差。
揭示“结构 - 幅度解离”现象：
证实了 LLM 能够完美学习社会推断的逻辑结构（定性），但无法准确编码其概率性强度（定量）。这种解离在不同架构的模型间表现不同（GPT 较好，Gemini 较差）。
语用提示的有效性验证与局限：
证明了基于语用理论（特别是 RSA 框架中的联合推理：替代方案 + 说话者状态）的提示可以部分修复校准偏差。特别是KMA策略在抑制过度自信/夸大方面最有效。
架构依赖性的发现：
不同 LLM 架构对提示的响应截然不同，表明校准偏差可能源于训练目标、微调过程或响应归一化策略的差异，而非仅仅是提示工程的问题。

5. 意义与结论 (Significance & Conclusion)

理论意义：研究支持了语用推理（如 RSA 框架）需要同时处理“替代方案”和“说话者状态”的观点。单独强调替代方案可能导致过度推断，而结合说话者的认知状态（不确定性）是获得类人校准的关键。
实践意义：
- 在将 LLM 用于社会科学研究模拟（LLM-as-participant）时，必须考虑幅度校准问题，否则可能导致对效应大小的错误估计（例如高估社会偏见或态度的强度）。
- 提示工程（Prompt Engineering）可以作为改善 LLM 社会推理校准的有效手段，但需要精细设计（如优先使用 KMA 策略）。
局限性：研究仅基于数值精确性这一特定领域，且使用的是闭源模型。未来的工作需探索其他语用领域（如礼貌、等级）以及通过训练目标（而非仅推理时提示）来从根本上解决校准问题。

总结：该论文指出，当前的 LLM 是优秀的“定性社会推理者”，但往往是“定量校准失败者”。通过引入新的评估指标和基于语用理论的提示策略，我们可以更精确地诊断并部分修正这一缺陷，从而推动 LLM 向真正的人类级社会推理迈进。