Social Norm Reasoning in Multimodal Language Models: An Evaluation

本文通过对比人类与五种多模态大语言模型在三十个文本及图像故事中的表现，评估了其在社会规范推理方面的能力，发现模型在文本场景下的表现优于图像场景，其中 GPT-4o 综合表现最佳，但所有模型在处理复杂规范时仍面临挑战。

要点

这篇论文就像是在给一群**“超级聪明的机器人学生”（多模态大语言模型，MLLMs）进行一场特殊的“社会情商考试”**。

想象一下，如果你要教一个机器人如何像人一样在社交场合中得体地行事，你不仅要教它“不许乱扔垃圾”这种死板的规则，还要让它理解：

• 什么时候该敲门？
• 排队时插队了该被怎么批评？
• 如果有人没批评插队的人，是不是也应该受到惩罚（这叫“元规范”）？

这篇论文就是去测试这些机器人到底能不能看懂这些复杂的“社交潜规则”。

🎭 考试场景：文字故事 vs. 漫画图片

研究人员给 5 个不同的机器人模型（包括大家熟悉的 GPT-4o、Qwen-2.5VL 等）出了 60 道题，分为两类：

1. 文字题（30 道）： 就像读短篇小说，描述一个场景（比如“小明在公园乱扔垃圾”）。
2. 图片题（30 道）： 就像看四格漫画，用画面展示同样的故事。

题目问什么？
题目非常细致，比如：

• “这里有什么规矩？”
• “谁违反了规矩？”
• “有人因为守规矩被表扬了吗？”
• “有人因为没制止违规行为而被惩罚了吗？”（这是最难的部分）

🏆 考试成绩单：谁考得好？

1. 文字 vs. 图片：机器人更擅长“读书”

这就好比机器人是**“阅读天才”，但“看图说话”**的能力还差点火候。

• 文字题： 机器人答得非常好，准确率高达 95% 以上。它们能轻松理解文字里的逻辑和潜台词。
• 图片题： 准确率降到了 83% 左右。
• 比喻： 就像让一个只读过很多书的人突然去猜哑剧，虽然能猜个大概，但容易误解画面里的细节（比如分不清谁在生气，谁在嘲笑）。

2. 谁是“学霸”？

• 🥇 第一名：GPT-4o
  它是当之无愧的“优等生”，无论是读故事还是看漫画，都表现得最稳定、最聪明。它最有可能被用来制造真正的“社交机器人”。
• 🥈 第二名（免费选手）：Qwen-2.5VL
  这是一个非常棒的发现！它虽然是免费开放的模型，但表现仅次于 GPT-4o。这意味着未来的社交机器人可能不需要花大价钱，也能拥有不错的“情商”。
• 🥉 其他选手
  像 LLaMa-4 Maverick 等模型表现稍差，特别是在看图时，容易“翻车”。

🧠 难点在哪里？（机器人的“脑回路”瓶颈）

研究发现，机器人最怕两种情况：

1. “元规范”（Meta-norms）：

   • 比喻： 这就像“警察抓小偷”是规矩，但“警察如果不管小偷，警察也要被处分”就是元规范。
   • 结果： 机器人很难理解这种“套娃”式的逻辑。它们能看懂“插队不对”，但很难理解“谁没制止插队，谁也有错”。这就像让机器人理解“连坐”制度，它们容易晕头转向。

2. 复杂的画面细节：

   • 在漫画里，有时候“表扬”和“批评”的表情画得不够明显，机器人就会搞混。比如，它可能把“温和的劝告”看成“严厉的责骂”。

💡 这篇论文告诉我们什么？

1. 机器人正在变聪明： 现在的 AI 已经能很好地理解文字里的社会规则了，这为未来让机器人进入人类家庭、医院或商场打下了基础。
2. 视觉理解还需努力： 虽然机器人能看懂文字，但在理解复杂的图像（比如漫画、视频）时，还是会犯迷糊。未来的机器人需要更敏锐的“眼睛”。
3. 免费模型很有潜力： 像 Qwen 这样的免费模型表现优异，意味着普通开发者也能做出懂礼貌、守规矩的机器人，而不必依赖昂贵的商业模型。

🚀 未来展望

作者希望，未来的机器人不仅能**“读懂”规则，还能像人一样“动态学习”**。

• 想象一下，一个社交机器人通过观察人类如何互动，自己总结出“在这个文化里，见面要鞠躬”或者“在这里大声说话是不礼貌的”，而不是死记硬背程序员写下的代码。

总结一句话：
这篇论文证明了，现在的 AI 已经是个不错的“文字社会学家”，但在成为“视觉社会观察家”的路上，还需要再练练“看图说话”的本领，特别是处理那些复杂的“人情世故”时，还得再聪明一点！

技术摘要

多模态大语言模型的社会规范推理能力评估：技术总结

1. 研究背景与问题定义

在多智能体系统（MAS）中，智能体需要具备社会能力，以理解并推理社会规范（Social Norms），从而在交互中维持社会秩序。传统的规范多智能体系统（NorMAS）研究主要依赖符号推理方法（如道义逻辑），这些方法虽然理论严谨，但在动态、复杂的现实环境中面临可扩展性和适应性差的挑战，且需要人工将规范编码为形式化逻辑。

随着大语言模型（LLM）的发展，尤其是**多模态大语言模型（MLLMs）**的出现，为机器人等智能体在复杂社会情境中识别和推理规范提供了新的可能性。然而，现有的规范推理研究主要集中在纯文本场景，缺乏对 MLLMs 在结合文本与图像进行社会规范推理能力的系统性评估。

本文旨在填补这一空白，评估 MLLMs 在基于文本和图像的社会规范故事中进行规范推理（识别遵守、违规、后果及元规范）的能力。

2. 方法论 (Methodology)

2.1 评估对象

研究选取了五个最先进的多模态大语言模型进行评估：

1. GPT-4o (OpenAI)
2. Gemini 2.0 Flash (Google)
3. Qwen-2.5VL (72B) (阿里云)
4. Intern-VL3 (14B)
5. Meta LLaMa-4 Maverick

2.2 数据集构建

研究构建了包含 30 个文本故事 和 30 个对应图像故事 的数据集，覆盖 5 种社会规范：

1. 进入房间前敲门
2. 公园内不乱扔垃圾
3. 排队保持秩序
4. 守时
5. 给老人让座

每种规范包含 6 种变体 (Variants)，用于测试不同维度的推理能力：

• V1/V2 (规范遵守)：遵守规范但无表扬 / 遵守规范并受到旁观者表扬。
• V3 (规范违规)：违反规范但未受制裁。
• V4a/V4b (规范违规与制裁)：违反规范并受到温和建议 / 严厉斥责。
• V5 (元规范/Metanorm)：不仅制裁违规者，还制裁那些未对违规者进行制裁的旁观者（即“对不制裁者的制裁”）。

2.3 评估流程

• 输入生成：利用 GPT-4o 生成 30 个文本故事，并进一步生成对应的四格漫画图像。
• 测试任务：每个故事向模型提出 8 个问题（见表 2），涵盖：
  • 识别规范内容及其主体（Q1, Q2）。
  • 判断是否遵守或违反规范（Q3, Q5）。
  • 识别社会后果（表扬、温和建议、斥责）（Q4, Q6, Q7）。
  • 识别元规范（是否制裁了未制裁者）（Q8）。
• 基准对照 (Ground Truth)：由两名主要作者及两名外部评估员对故事进行人工标注，计算一致性（Cohen's Kappa 分数 > 0.90），作为评估模型准确性的基准。
• 指标：计算模型回答的正确率（Correct Predictions / Total Predictions）。

3. 关键贡献 (Key Contributions)

1. 首个多模态规范推理评估框架：首次系统性地评估了 MLLMs 在文本和图像两种模态下对社会规范（包括遵守、违规及元规范）的推理能力。
2. 细粒度的变体设计：超越了简单的二元分类（遵守/违规），引入了包含表扬、不同制裁方式（建议/斥责）以及复杂的元规范（Meta-punishment）的 6 种变体，全面测试模型的深层社会推理能力。
3. 实证对比分析：通过大规模实验对比了 5 种主流 MLLMs 的表现，并进行了严格的统计显著性检验（t-test, Friedman test, Nemenyi test）。
4. 开源资源：提供了包含文本故事、生成图像及评估数据的 GitHub 仓库，为后续研究提供基准。

4. 实验结果 (Results)

4.1 总体性能

• 文本优于图像：所有模型在文本模态下的表现显著优于图像模态。
  • 文本平均准确率：95.33%
  • 图像平均准确率：83.58%
  • 统计检验显示差异显著 (p < 0.001)。
• 模型排名：
  • GPT-4o 表现最佳：文本准确率 98.75%，图像准确率 92.5%。
  • Qwen-2.5VL 表现次之（且为免费模型）：文本 97.5%，图像 85.41%。
  • Meta LLaMa-4 Maverick 表现最差：文本 92%，图像 76.66%。

4.2 复杂规范推理挑战

• 元规范 (V5) 是最大难点：涉及多层推理（识别违规 -> 识别制裁 -> 识别未制裁者）的变体 V5 在所有模型中表现最差，准确率显著低于其他变体。
• 违规检测 vs. 遵守检测：模型在检测“规范违规”（Category 2）时的表现显著优于检测“规范遵守”（Category 1）和“元规范”（Category 3）。
• 特定场景难点：
  • 图像理解：在涉及“让座”（Seat-offering）场景时，模型表现较差，可能源于漫画中动作表达的歧义。
  • 表扬识别：在图像中识别“表扬”（V2）比识别“斥责”更困难。

4.3 统计显著性

• GPT-4o 在统计上显著优于 LLaMA 4、Intern-VL 和 Gemini 2.0 Flash。
• Qwen-2.5VL 显著优于 LLaMA 4。
• 在变体类别上，模型在检测违规（Category 2）上的表现显著优于遵守（Category 1）和元规范（Category 3）。

5. 意义与展望 (Significance & Future Work)

5.1 研究意义

• 社会智能体开发：证明了 MLLMs（特别是 GPT-4o 和 Qwen-2.5VL）有潜力作为社会机器人或移动应用的核心引擎，使其能够自主识别社会规范并做出符合社会期望的决策，而无需为每种情况硬编码规则。
• 模态差距揭示：揭示了当前 MLLMs 在视觉社会情境理解上仍存在短板，提示未来需加强多模态对齐和视觉推理能力。
• 元规范推理瓶颈：指出了当前模型在处理复杂的社会层级推理（如元规范）时仍存在明显局限，这是提升社会智能的关键瓶颈。

5.2 未来方向

1. 多模态扩展：从文本/图像扩展到视频、音频等多模态输入，以模拟更真实的动态交互。
2. 推理增强：探索微调（Fine-tuning）、检索增强生成（RAG）以及思维链（Tree-of-Thought）策略，以提升复杂道德困境的推理能力。
3. 规范范畴扩展：将研究范围从义务和禁止扩展到许可、制度规则及特定文化规范。
4. 真实世界部署：在具身智能体（如社交机器人）中进行实地评估，验证其在隐含规范和文化差异情境下的表现。
5. 动态学习：研究智能体如何通过人类反馈、演示或强化学习动态习得并内化不断演变的社会规范。

总结：该论文通过严谨的实验表明，虽然 MLLMs 在社会规范推理方面展现出巨大潜力（尤其是 GPT-4o），但在处理视觉输入和复杂元规范推理时仍面临挑战。这为构建真正具备社会智能的机器人系统指明了改进方向。