💬 NLP

Cards Against LLMs: Benchmarking Humor Alignment in Large Language Models

该研究通过让五个前沿大语言模型参与“人类对卡”游戏并评估其幽默选择，发现尽管模型表现优于随机基准，但它们与人类偏好的一致性有限，且模型间的一致性远高于与人类的一致性，这表明其幽默判断可能更多反映了推理和对齐过程中的结构性偏差而非真正的偏好。

原作者： Yousra Fettach, Guillaume Bied, Hannu Toivonen, Tijl De Bie

发布于 2026-04-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yousra Fettach, Guillaume Bied, Hannu Toivonen, Tijl De Bie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是一场**“大型语言模型（LLM）的脱口秀大考”**。

想象一下，你举办了一场名为“人类对对碰”（Cards Against Humanity，简称 CAH）的派对游戏。在这个游戏里，主持人拿出一张黑色问题卡（比如：“大学读了四年，我还是不知道该怎么______"），然后给出一堆白色答案卡（比如：“和女人聊天”、“自己报税”、“应对被拒绝”等）。玩家的任务是选出那张最好笑的卡片。

研究人员做了个大胆的实验：他们邀请了5 位顶尖的 AI 大佬（GPT、Gemini、Claude、Grok 和 DeepSeek）和真实的人类玩家一起玩这个游戏，看看谁能选出人类觉得最好笑的梗。

以下是这篇论文的核心发现，用大白话和比喻来讲：

1. AI 的笑点，跟人类不太一样（“笑点错位”）

表现： 如果让 AI 随便乱猜，它能猜对 10%（因为一共 10 张牌）。结果发现，AI 们确实比瞎猜强，能猜对 13% 到 18% 左右。
比喻： 这就像让一个刚学中文的外国朋友参加中文相声比赛。他确实能听懂几个包袱，偶尔也能猜中哪个词好笑，但大部分时候，他选的那个“笑点”，人类观众听完只会一脸懵：“这有什么好笑的？”
结论： AI 虽然学了很多人类的数据，但在“幽默感”这个最微妙、最看“眼缘”的领域，它们还没真正学会人类的“笑点”。

2. AI 们互相“臭味相投”（“AI 小圈子”）

表现： 最有趣的是，AI 们互相选一样的概率，比它们选对人类概率要高得多！ 比如，Grok 和 Gemini 经常选同一张牌，但它们选的那张牌，人类觉得并不好笑。
比喻： 想象一下，5 个 AI 就像 5 个住在同一个“数字宿舍”里的室友。它们虽然跟人类（隔壁楼的邻居）聊不到一块去，但它们彼此之间却特别有默契。它们形成了一种**“只有 AI 才懂的幽默感”**。
结论： 这说明 AI 们可能并不是在模仿人类，而是在互相“传染”一种独特的、甚至有点奇怪的审美。

3. 为什么 AI 会选错？（“作弊”与“偏好”）

研究人员发现，AI 选错并不是因为不懂幽默，而是因为两个**“机械性”的毛病**：

位置偏见（Position Bias）：
- 现象： AI 特别喜欢选特定位置的卡片。比如，DeepSeek 特别喜欢选第 3 张，Grok 特别喜欢选最后一张。
- 比喻： 这就像你去吃自助餐，不管盘子里装的是什么菜，你总是习惯性地拿左手边第三个盘子里的东西。AI 并不是觉得那个答案好笑，它只是“手滑”或者“习惯”了选那个位置。
内容偏见（Topic Bias）：
- 现象： AI 特别喜欢选关于身体部位、排泄物或性暗示的梗（比如“放屁”、“尴尬的性经历”），而且频率比人类高。但它们却很少选关于政治、社会议题或身份认同的梗，而这些恰恰是人类觉得很好笑的地方。
- 比喻： AI 就像是一个**“只会讲黄色笑话的愣头青”**。它觉得越粗俗、越直接越好笑，但它不懂人类那种需要结合社会背景、讽刺时事的“高级幽默”。这可能是因为 AI 在训练时被“教”要安全，所以它不敢碰太敏感的政治话题，反而在“安全范围内”的粗俗话题上放飞自我。

4. 核心启示：AI 是真的“懂”幽默吗？

结论： 这篇论文告诉我们，AI 现在的幽默感，可能并不是因为它真的理解了人类的情感或文化，而是因为它**“走捷径”**了。
比喻： 就像你让一个机器人写诗，它可能只是统计了哪些词经常在一起出现，而不是真的感受到了“忧伤”或“喜悦”。AI 选笑话，更多是基于**“这个位置通常被选中”或者“这类词在训练数据里出现频率高”**，而不是因为它真的觉得那个梗好笑。

总结

这就好比，你让 5 个超级学霸（AI）去参加一场“讲笑话大赛”。

它们确实比瞎猜强，能蒙对几个。
但它们互相之间的默契度，比跟人类评委的默契度高得多。
它们之所以选那些答案，往往是因为**“习惯选第 3 个”或者“喜欢讲身体笑话”**，而不是因为它们真的懂了人类的幽默。

一句话总结： AI 目前还只是个**“模仿秀演员”，它学会了讲笑话的套路**（比如选第 3 个、讲荤段子），但还没学会人类幽默的灵魂（文化共鸣和微妙的情感）。

这是一份关于论文《Cards Against LLMs: Benchmarking Humor Alignment in Large Language Models》（对抗大语言模型：基准测试大语言模型的幽默对齐）的详细技术总结。

1. 研究问题 (Problem)

幽默是人类交流中最具文化嵌入性和社会意义的维度之一，涉及语言、认知和社会语境的复杂交互。尽管大语言模型（LLM）在编码、写作和创造性任务上取得了显著进展，但幽默理解与对齐（Humor Alignment）仍是评估 LLM 人类价值观对齐程度的“最后前沿”之一。

目前的研究面临以下挑战：

主观性与文化性：幽默依赖于共享的文化知识、时机感和对期望的违背，难以形式化。
对齐缺口：现有的对齐方法（如 RLHF）主要针对通用偏好，可能未直接针对幽默这种高度主观的领域进行优化。
评估缺失：缺乏系统性的基准测试来衡量 LLM 是否能像人类一样判断“什么好笑”。

本研究旨在通过受控的游戏化评估，量化 LLM 与人类在幽默偏好上的一致性，并探究 LLM 是否形成了某种独立于人类的“机器幽默感”。

2. 方法论 (Methodology)

2.1 实验框架

研究采用了**Cards Against Humanity **(CAH) 作为测试床。这是一个填空式的派对游戏，玩家需从 10 张白色卡片（答案）中选择一张最符合黑色卡片（提示）的“最搞笑”回答。

任务定义：将幽默对齐形式化为离散偏好选择任务。给定一个黑色卡片提示 $b_i$ 和 10 个候选白色卡片 $W_i$ ，模型需选择最有趣的一张。
数据规模：基于 CAH Lab 平台收集的真实人类游戏数据，筛选出 4,947 轮 有效游戏（共 9,894 次重复实验，包含 2 次重复以消除位置偏差）。
参与模型：5 款前沿 LLM：GPT-5.2, Gemini 3 Flash, Claude Opus 4.5, Grok 4, DeepSeek-V3.2。
人类基线：使用真实人类玩家在该轮游戏中实际选择的获胜卡片作为 Ground Truth。

2.2 评估指标

研究从三个维度进行分析：

**人类-LLM 对齐 **(Human-LLM Alignment)：计算模型选择与人类选择一致的比例（准确率 ACC）。
**LLM 间一致性 **(LLM-LLM Agreement)：
- 内部一致性：同一模型在不同重复实验（卡片顺序打乱）中的一致性。
- 模型间一致性：不同模型之间选择相同卡片的比例。
偏差归因分析：
- **位置偏差 **(Position Bias)：检验模型是否倾向于选择特定位置的卡片（如第 3 张或最后一张）。
- **内容/主题偏差 **(Topic Bias)：分析模型偏好的卡片主题（如身体幽默、性暗示、政治等）。
- 联合预测模型：使用条件 Logit 模型，仅基于卡片位置和主题标签来预测模型的选择，以量化这些结构性因素的解释力。

2.3 数据处理

过滤：排除耗时过短（<10 秒，可能为随机点击）或过长（>120 秒）的轮次。
主题标注：使用 LLM-as-a-judge (Mixtral 8x7B) 对 15 种可能的白色卡片主题进行自动标注。
人口统计学分析：利用 CAH Lab 的人口统计数据，分析不同社会群体（性别、政治倾向等）的幽默偏好差异。

3. 关键贡献 (Key Contributions)

首个大规模 CAH 基准测试：构建了包含 5 款前沿模型与人类玩家在 9,894 轮游戏中进行对比的框架。
揭示“机器幽默”的收敛性：发现 LLM 之间的幽默判断一致性显著高于它们与人类的一致性。这表明 LLM 可能收敛于一种独特的、但与人类错位的“机器幽默感”。
量化结构性偏差：证明了位置偏差和特定内容偏好是解释模型间高度一致性的主要因素，而非真正的深层幽默理解。
对齐天花板分析：指出当前 LLM 在幽默任务上的准确率存在明显瓶颈，且这种低准确率并非由不同社会群体的异质性导致。

4. 主要结果 (Key Results)

4.1 人类-LLM 对齐度低

准确率：所有 5 个模型的准确率仅在 13% - 18% 之间。
对比基线：虽然优于随机猜测（10%），但远低于基于流行度的基线（19.11%）和基于人类选择的集成学习基线（19.77%）。
异质性：不同社会人口统计群体（如性别、政治倾向）之间的对齐度差异不显著，说明低准确率是普遍现象，而非特定群体导致的。

4.2 LLM 间高度一致

内部一致性：模型在重复实验中自我一致性很高（49.5% - 63.3%）。
模型间一致性：不同模型之间选择相同卡片的比例高达 21.4% - 44.9%。
关键发现：模型彼此之间的相似度远高于它们与人类的相似度。例如，Grok 与 Gemini 的一致性远高于它们各自与人类的一致性。

4.3 偏差驱动了“幽默感”

位置偏差：所有模型均表现出显著的位置偏差（ $\chi^2$ $χ^{2}$ 检验 $p < 0.001$ $p < 0.001$ ）。
- DeepSeek 强烈偏好第 3 张卡片。
- Grok 偏好最后一张（第 10 张）。
- Claude 偏好早期位置。
主题偏差：
- LLM 更倾向于选择身体幽默（31%-40% vs 人类 21%）和性主题（29%-38% vs 人类 24%）。
- LLM 较少选择政治/社会和身份/人口统计类话题（远低于人类比例）。
- GPT 在“杂项”主题上表现独特。
预测能力：仅使用“位置 + 主题”构建的代理模型，能正确预测 Grok、DeepSeek 和 Gemini 约 34%-36% 的选择，GPT 和 Claude 约为 17%-24%。这说明近三分之一的模型行为可由结构性偏差解释。

5. 意义与讨论 (Significance & Discussion)

幽默理解的本质：研究结果表明，LLM 在幽默任务上的表现可能并非源于真正的“理解”或“幽默感”，而是依赖于浅层的启发式规则（如位置偏好）和训练数据中的统计相关性（如特定主题的过度代表）。
对齐的局限性：当前的 RLHF 和安全微调可能抑制了人类幽默中常见的“越轨”（transgressive）和“荒诞”元素，导致模型在 CAH 这种需要冒犯性幽默的游戏中表现不佳，同时形成了模型间特有的、去除了人类复杂文化语境的“安全但怪异”的幽默偏好。
未来方向：
- 需要更大规模、更多文化背景的模型和人类数据。
- 需要区分“人类子群体”的幽默风格，看模型是否与特定风格（而非特定人口属性）更对齐。
- 探索除 CAH 以外的幽默形式（如梗图、讽刺写作）。

总结：该论文通过严谨的实证研究揭示了当前 LLM 在幽默对齐上的局限性。模型并未真正“学会”人类的幽默，而是形成了一种由训练架构、位置偏差和内容偏好共同塑造的、高度一致但偏离人类直觉的“机器幽默”模式。这为未来的 AI 对齐研究提出了关于如何捕捉人类复杂文化语境和主观性的深刻挑战。