💬 NLP

LoSoNA: A Benchmark for Local Social Norm Adaptation in Group Conversations

本文介绍了 LoSoNA，这是一个旨在评估基于大语言模型（LLM）的智能体在多方群聊中推断并适应隐性局部社会规范能力的基准测试，研究表明，尽管显式提示提高了 Gemini 3.1 Pro 和 Claude Fable 5 等顶尖模型的性能，但在朴素提示下，大多数模型在处理这一任务时仍然表现挣扎。

原作者： Mateusz Winiarek, Maksymilian Bilski, Mateusz Jacniacki

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mateusz Winiarek, Maksymilian Bilski, Mateusz Jacniacki

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你走进一家咖啡馆，加入了一群新的朋友。你不认识他们，但能听到他们在聊天。几分钟后，你注意到一个模式：每当有人分享坏消息时，这群人并不提供拥抱或说“我很遗憾”，而是会立即询问：“解决计划是什么？”或者“你查过手册了吗？”

如果你跳进去说一句温和且通用的“听到这个我很遗憾”，你可能会感到尴尬，因为你忽略了该群体的潜规则。这篇名为 LoSoNA 的论文是一个测试，旨在观察 AI 聊天机器人是否能够仅通过倾听，在不被告知规则的情况下，就发现这些隐藏的规则。

以下是使用简单类比对该论文核心要点的拆解：

1. 问题所在：“不成文的规则手册”

在现实生活中，每个群体都有自己的“局部社会规范”。这些是关于如何行动、说话和反应的潜规则。

论文主张： 大多数 AI 模型就像是礼貌的游客，总是说出“标准”的礼貌用语（比如通用的“我很遗憾”）。它们很难注意到特定群体拥有不同的、隐藏的规则（比如“只提供实际建议”）。
目标： 研究人员想看看 AI 能否像当地人一样行动，而不是像个游客。它能否通过倾听群体的历史记录，找出隐藏的规则，并改变自己的行为以融入其中？

2. 测试方法：“神秘派对”

研究人员创建了一个名为 LoSoNA（局部社会规范适应）的基准测试。把它想象成一场针对 AI 的神秘派对游戏。

设置： AI 被给予一段对话转录文本（聊天日志）。聊天中的其他人遵循一个秘密规则（例如，“我们从不使用表情符号”，或者“我们只能回答‘是’或‘否’”）。
陷阱： AI 并不知道 这个规则。它只是看到了聊天内容。
挑战： 聊天以一个问题（引导者）结束。AI 必须做出回复。
- 如果 AI 给出了一个通用且礼貌的回答，它就失败了（因为它没有注意到规则）。
- 如果 AI 给出了一个符合该群体古怪、隐藏风格的回答，它就赢了。

类比： 想象你在参加一个晚宴，每个人都用手抓食，但没有人对此言明。如果你因为接受过“礼仪教育”而掏出了叉子，你就失败了。如果你注意到大家都在用手，并也这样做，你就通过了测试。

3. 实验过程：尝试不同的“提示”

研究人员在四种不同的“指令”场景下测试了 8 种不同的 AI 模型（如 GPT-5.5、Claude、Gemini 等），以观察它们的表现：

天真模式 (Naive)： “仅回复最后一条消息。”（无提示）。
仅针对引导者 (Elicitor Only)： “仅回复最后一条消息，忽略其余部分。”
风格适应 (Style Adaptation)： “尝试匹配群体的语气和风格。”
规范知情 (Norm Informed)： “此聊天中可能存在隐藏的模式或规则。请尝试寻找并遵循它。”

4. 结果：有的做到了，有的没做到

结果既有“做得好”也有“仍在学习”。

挣扎之处： 当没有任何提示（天真模式）时，大多数 AI 模型表现得非常糟糕。它们不断给出通用的、礼貌的回答，从而破坏了群体的隐藏规则。这就像 AI 戴着眼罩在行动。
突破点： 当研究人员给出 “规范知情” 的提示（告诉 AI 去寻找模式）时，一些模型突然变得非常出色。
- Gemini 3.1 Pro 和 Claude Fable 5 成为了“冠军”，它们的正确率从失败跃升至约 80-84%。它们就像是那些一旦被告知“寻找模式”就能立刻解开谜题的学生。
- 其他模型： 一些模型（如 Mistral）在获得提示后反而表现得更差了。这就像是提示让它们产生了困惑，导致它们过度思考，从而搞砸了那些原本可以靠默认方式答对的问题。

5. 这意味着什么（以及不意味着什么）

它证明了： 论文表明，如果给予正确的引导，AI 可以学习适应局部的群体行为。它证明了 AI 不仅仅是一个只会说同样礼貌话语的机器人；它可以是一个根据人群改变行为的“变色龙”。
它并未证明： 论文非常谨慎地指出，这是一个狭义测试。这并不意味着 AI 拥有人类意义上的“社会智能”，也不意味着它理解深层的人类情感。它只是意味着 AI 可以识别聊天日志中的模式，并据此做出单次回复。
局限性： 该测试使用的是虚构的聊天场景，而非真实的真人对话。此外，测试仅关注单次回复，而非长期的友谊。

总结

LoSoNA 是关于 AI 是否具备“察言观色”能力的成绩单。

没有帮助时： 大多数 AI 都是“音盲”，只会固守其默认的礼貌脚本。
有提示时： 最聪明的 AI 可以识破群体的秘密暗号，并完美融入。
核心启示： 我们正越来越接近能够融入人类群体的 AI，但它仍然需要一点引导，才能停止做一个“机器人游客”，开始像个“当地人”一样行动。

技术摘要：LoSoNA —— 用于群体对话中局部社会规范适应性的基准测试

1. 问题定义

在线群聊运行在“局部社会规范”之下——这些是特定于小群体的、隐含的、不断演变的行为准则，极少被明确说明。虽然大语言模型（LLMs）越来越多地被部署在社交场景中，但它们识别并适应这些非言明、特定上下文规范的能力在很大程度上仍未得到充分探索。

现有的基准测试往往未能解决这一特定能力：

双人 vs 多人： 大多数社交基准（如 Sotopia）侧重于具有明确私人目标的双人（dyadic）交互。
显式 vs 隐式： 许多心智理论（Theory of Mind, ToM）基准要求模型回答关于心理状态的问题或遵循显式指令，而不是要求模型从观察中推断规则并在单轮对话中应用该规则。
通用 vs 局部： 标准的助手行为通常默认采用普遍的礼貌或通用的乐于助人，这可能会违反特定的、局部的群体规范（例如，一个偏好干练、诊断性回复而非情感支持的群体）。

核心挑战在于确定 LLM 智能体是否能够从一段对话文本中推断出隐藏的局部规范，并调整其单轮响应以符合该规范，从而将其自身与通用的助手区分开来。

2. 方法论

LoSoNA 基准测试

LoSoNA 是一个旨在评估多方聊天中局部社会规范适应性的基准测试。它由三个主要部分组成：场景生成分类法、评估协议和评分系统。

场景构建：

结构： 每个场景是一个元组 $\tau = (e, n)$ ，其中 $e$ 是事件类型（例如，对考试结果做出反应、错误报告）， $n$ 是隐含的局部社会规范（例如，避免道歉、简洁回答、非亲和性支持）。
文本记录（Transcript）： 场景为目标智能体提供了一个由非目标参与者进行的多轮聊天文本。这些参与者通过他们的互动展示了隐藏的规范。
诱导者（Elicitor）： 生成最后一条消息（即“诱导者”），以强制产生一个能够将“局部适应行为”与“通用行为”区分开来的响应。
控制机制： 为了确保任务需要推理而非依赖默认行为，作者使用了“无演示”（no-demonstration）控制。他们筛选掉了那些基础助手（Gemini 3 Pro Preview）在没有看到先例的情况下也会自然遵循该规范的场景。最终的基准测试集仅包含那些通用响应可能会违反规范的场景。
合成性质： 场景是合成的，但设计得具有交互上的合理性。该数据集包含 38 个由人工策划的场景，涵盖 17 种事件类型和 22 种规范类型。

评估协议：

受试模型： 评估了八个前沿模型和开源权重模型：OpenAI GPT-5.5、Claude Opus 4.8、Claude Fable 5、Gemini 3.1 Pro、Qwen2.5-72B-Instruct、Llama 3.3-70B-Instruct、Mistral Medium 3.1 和 Gemma 3-27B-IT。
提示条件： 模型在四种条件下进行测试，以衡量显式指令的影响：
1. 天真型（Naive）： 无特殊指令；模型表现得像一名群成员。
2. 仅诱导者型（Elicitor_only）： 被指示仅回复最后一条消息，仅将之前的轮次作为上下文使用。
3. 风格适应型（Style_adaptation）： 被温和地指示要符合局部语境、语气和习惯。
4. 规范知情型（Norm_informed）： 被明确告知重复的局部模式或规范可能具有相关性。
评判： 响应由一个固定的 LLM 评判员（温度为 0 的 Gemini 3.1 Pro Preview）进行评分。评判员接收文本记录、诱导者、隐藏的规范标签以及合规/违规响应的示例。它输出一个布尔值的合规标签。
指标： 主要指标是 accuracy-at-3，定义为每个场景和条件下三个采样响应的多数投票结果。

3. 关键结果

基准性能：
在 天真型提示（naive prompting） 下，该基准测试证明了难度。大多数模型的 accuracy-at-3 均低于 37%。

Gemini 3.1 Pro: 36.8%
Claude Fable 5: 47.4% (天真型中最高)
表现最低者： 接近 21–24% (例如 Mistral Medium 3.1, Gemma 3-27B)。
观察： 天真型提示仍然存在局限性；模型倾向于退回到通用的助手行为，而这种行为往往会违反局部规范。

提示的影响：
显式提示对规范意识的关注（norm_informed）在不同模型间产生了高度可变的结果：

显著提升：
- Gemini 3.1 Pro: 提升了 47.4 个百分点（达到 84.2%）。它恢复了 75% 的天真型失败案例，且未引入任何回归。
- Claude Fable 5: 提升了 34.2 个百分点（达到 81.6%）。它恢复了 70% 的天真型失败案例，且未引入任何回归。
适度提升：
- Claude Opus 4.8 和 Gemma 3-27B 提升了约 10.5 个百分点。
- Llama 3.3-70B 提升了 7.9 个百分点。
微乎其微或负面影响：
- GPT-5.5: 几乎没有变化。
- Qwen2.5-72B: 保持不变。
- Mistral Medium 3.1: 下降了 10.5 个百分点，在之前成功的 38% 场景中引入了回归。

关于提示的结论： 显式的规范感知提示并不总是对所有模型都有利。它暴露了模型在利用提示而不破坏原本合规响应方面的能力存在显著差异。

4. 核心贡献

LoSoNA 基准测试： 一个专门针对多方群聊中推断并应用隐含局部社会规范的评估框架。
与现有工作的区别： 不同于 Sotopia（双人、面向目标）或 SocialIQa（基于情境判断），LoSoNA 要求从群成员的角度进行单轮响应，且没有显式的目标指令，侧重于行为适应而非目标完成或信念推理。
变异性的实证证据： 研究表明，虽然一些前沿模型（Gemini 3.1 Pro, Claude Fable 5）在受到提示时可以有效地适应局部规范，但其他模型则表现挣扎甚至出现退化，凸显了当前一代 LLM 在社会适应性方面缺乏鲁棒性。
合成数据策展： 一种用于生成和策划合成场景的方法，旨在将局部规范适应性从通用助手行为中分离出来。

5. 重要性与局限性

重要性：
论文认为，LoSoNA 通过测试一项具体的、与部署相关的技能——从先例中推断局部对话规范并在实时交互中应用——为评估 LLM 的社会能力做出了贡献。它超越了将“心智理论”视为回答关于心理状态问题的范畴，转而关注“功能性心智理论（functional ToM）”：即根据推断出的社会规则来调整行为。

局限性：

范围： 该基准测试衡量的是一种狭窄的能力（单轮适应），并不声称衡量通用的社会智能、道德判断或长期社区成员身份。
合成数据： 场景是合成的且仅限英语。现实世界的聊天涉及重叠的规范、媒体、编辑和私信，而这些在本文中被抽象化了。
筛选偏差： 使用 Gemini 3 Pro Preview 作为基准的“无演示”筛选过程，导致 Gemini 系列模型的结果在解读时应考虑到：数据集已被过滤，排除了 Gemini 默认助手会自然成功的场景。
评判员偏差： 使用 LLM 评判员（Gemini 3.1 Pro）引入了潜在的模型家族偏差，特别是对于作为受试模型的 Gemini 而言。然而，人工审计（85% 一致性）和使用 Claude Opus 4.8 进行的跨评判员验证表明，主要的定性模式是成立的。
规模： 被接受的集合仅包含 38 个场景，这使得针对每个规范或每个事件的细分更多是诊断性的，而非统计学上稳健的。

更广泛的影响：
作者指出，改进的规范推断能力可能使 AI 智能体看起来更像人类参与者，从而可能促进社会工程或对有害局部规范的适应。这强调了随着群聊智能体变得更加强大，进行披露和部署控制的重要性。