CresOWLve: Benchmarking Creative Problem-Solving Over Real-World Knowledge

这是一份关于论文 CRESOWLVE: Benchmarking Creative Problem-Solving Over Real-World Knowledge 的详细技术总结。

1. 研究背景与问题 (Problem)

核心问题：
现有的大语言模型（LLM）基准测试大多仅评估创造性问题解决过程中的特定组件（如逻辑推理、事实检索或常识推理），或者依赖于人工构造的脑筋急转弯（brainteasers）和虚构场景。这些测试无法真实反映现实世界中创造性问题解决所需的综合能力，即：结合多种认知能力（如垂直/水平思维、类比、常识），从不同领域检索事实，并创造性地建立非显性联系以得出结论。

现有差距：

• 缺乏现实基础： 许多现有基准使用脱离现实的谜题，无法测试模型在真实世界知识上的创造性推理。
• 能力评估片面： 现有测试往往只关注发散性思维或收敛性思维中的某一方面，缺乏对多策略综合运用的评估。
• 数据质量与语言障碍： 现有的基于俄罗斯智力游戏“What? Where? When?"的测试（如 Lifar et al., 2024）存在未过滤俄语文化特定内容、未区分事实性与创造性问题、以及缺乏多模型深入分析的问题。

2. 方法论 (Methodology)

作者提出了 CRESOWLVE，一个基于真实世界知识的双语（俄语/英语）基准测试，旨在评估 LLM 的创造性问题解决能力。

2.1 数据来源与构建流程

• 数据源： 源自著名的俄罗斯智力游戏"What? Where? When?"（50 多年历史），该游戏以需要广泛知识和创造性洞察力的精心设计的谜题著称。
• 构建管道（Pipeline）：
  1. 数据收集： 从公开数据库收集 3,789 个问题。
  2. 过滤阶段 1（不可回答性）： 移除需要物理外部材料（如图片、手稿）才能回答的问题（移除 295 个）。
  3. 过滤阶段 2（文化特定性）： 移除严重依赖俄语语言游戏、双关语或深层俄罗斯文化背景、难以翻译或英语模型无法理解的问题（移除 799 个）。
  4. 翻译： 将剩余问题及其元数据（答案、解释、难度）翻译成英语。
  5. 人工验证： 由三名作者进行人工审核，确保问题可解、非俄语特定且翻译准确（移除 282 个）。
  6. 分类标注： 自动将问题分类为事实性（Factual）（仅需检索）和创造性（Creative）（需要非显性的联想和推理）。最终数据集包含 2,061 个创造性样本（以及 352 个事实性样本用于对比分析）。

2.2 数据集特征

• 多样性： 覆盖 34 个粗粒度知识领域（如文学、历史、电影、语言学等），其中文学和历史占比最高。
• 思维策略： 问题涉及多种创造性策略，包括水平思维（Lateral thinking, 72.1%）、类比（Analogy, 34.4%）、抽象（Abstraction, 14.8%）、隐喻、双关语等。
• 文化覆盖： 涉及全球多种文化背景（英语、俄语、法语、德语等），大多数问题涉及多个文化领域。
• 难度分级： 问题被标记为 1-5 级难度（非常简单到非常困难）。

2.3 实验设置

• 评估模型： 测试了多种前沿 LLM，包括非思考模型（Non-thinking，如 GPT-4.1, Llama-3.3）和思考模型（Thinking models，如 Gemini-3.1-Pro, GPT-5.4, Qwen3.5, DeepSeek-V3.2）。
• 评估指标：
  1. 精确匹配（Exact Match）： 标准化后的答案匹配。
  2. LLM 裁判（LLM-as-a-Judge）： 使用 GPT-4o 根据参考答案和上下文判断模型回答的正确性（容忍拼写和格式差异）。
• 对比分析： 对比了事实性问题与创造性问题的表现，分析了难度、领域、文化背景对性能的影响，并进行了错误分析。

3. 主要贡献 (Key Contributions)

1. CRESOWLVE 基准发布： 首个基于真实世界知识、经过人工验证的双语（英/俄）创造性问题解决基准。它要求模型结合多种认知策略（垂直/水平、收敛/发散、类比）来解决问题。
2. 广泛的模型评估： 对多个前沿开源和闭源模型（包括不同规模和推理模式）进行了全面评估，揭示了当前模型在创造性推理方面的显著差距。
3. 深入的性能分析：
   • 发现模型在创造性问题上的表现显著低于事实性问题（准确率下降高达 17%）。
   • 证明了思考模型（Thinking Models） 通过扩展推理过程，显著优于非思考模型，表明“深度思考”是创造性问题解决的关键。
   • 揭示了错误主要源于无法建立事实间的创造性联系，而非知识检索失败。

4. 实验结果 (Results)

• 整体性能： 即使是表现最好的模型，在 CRESOWLVE 上的准确率也极具挑战性。非思考模型准确率普遍低于 30%；思考模型表现更好，但在高难度问题上仍有显著下降。
  • 表现最佳模型：Gemini-3.1-Pro (high effort) 在英语版本上达到了约 51.29% (Exact Match) / 76.03% (LLM Judge) 的准确率。
• 创造性 vs. 事实性： 所有模型在创造性问题上的表现均低于事实性问题。例如，Mistral-Large-3-675B 在创造性问题上比事实性问题低了 17.21%。这表明模型擅长检索知识，但难以进行跨领域的创造性连接。
• 跨语言表现：
  • 非思考模型在俄语版本上表现通常较差（下降约 3-5%）。
  • 思考模型在俄语版本上表现反而更好（部分模型提升 15-18%），这可能归因于更强的多语言推理能力或训练数据中的污染（论文附录 A 提供了数据污染的证据）。
• 难度与复杂度： 问题难度与涉及的领域数量、语义距离或事实数量没有显著相关性。难度主要源于需要建立“非显性”的创造性联系。
• 错误分析：
  • 主要错误类型：“缺失创造性连接” (Missing creative connection) 和 “线索误读” (Clue misinterpretation)。
  • 模型通常能检索到相关事实，但无法识别隐喻、双关语或建立非直观的逻辑跳跃。
  • 思考模型（如 GPT-5.4）表现出较高的“过度思考”或“概念锚定错误”（Incorrect concept anchoring），即过早锁定错误概念并围绕其构建推理。

5. 意义与影响 (Significance)

• 填补评估空白： CRESOWLVE 提供了一个更贴近现实世界复杂性的评估框架，弥补了现有基准在评估“基于真实知识的创造性推理”方面的不足。
• 揭示模型瓶颈： 研究明确指出，当前 LLM 的瓶颈不在于知识储备（Retrieval），而在于知识整合与创造性连接（Integration & Connection）。模型难以像人类专家那样利用直觉和联想将看似无关的信息联系起来。
• 推动推理技术发展： 实验结果强有力地支持了“思考模型”（Thinking Models）在解决复杂创造性问题上的优势，表明增加推理步骤（Chain-of-Thought 或内部推理）是提升此类能力的关键路径。
• 未来研究方向： 该基准为未来提升 LLM 的类比推理、隐喻理解和跨领域知识融合能力提供了标准的测试床。

总结：
CRESOWLVE 不仅是一个新的数据集，更是一个诊断工具，它揭示了当前最先进的 LLM 在面对需要“灵光一现”和跨领域联想的真实世界谜题时，仍显得力不从心。它强调了从单纯的知识检索向真正的创造性推理迈进的必要性。