IDEAFix: Evaluation Framework for Creative Defixation Prompting in LLMs
本文介绍了 IDEAFix，这是一个用于分析任务构建和去定式提示策略如何影响大语言模型发散性思维的受控评估框架，研究揭示了虽然结构化引导可以提升解题的原创性，但固有的输出同质化仍然是一个持续存在的局限。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一支由非常聪明、博学多才的机器人（大语言模型，简称 LLM）组成的团队，并要求他们为一个项目构思新点子。你可能会期望他们像一间充满天才发明家的房间，每个人都在大声喊出疯狂、独特的概念。但通常情况下，这些机器人听起来却完全一样，只是在重复那些安全、乏味的答案。这被称为“定势”（fixation）——他们陷入了思维定式。
IDEAFix 这篇论文就像是一个全新的、高度组织化的科学实验室，旨在测试这些机器人的创新能力究竟如何，以及我们该如何把它们从思维定式中解救出来。
以下是他们所做的工作及发现的简单拆解：
1. 问题所在：“蜂群思维”效应
把这些 AI 模型想象成读遍了图书馆所有书籍的学生。当你问他们一个问题时，他们并不进行真正的“发明”；他们只是在对已经读过的东西进行重新组合。
- 问题： 如果你问 10 个不同的 AI 模型“设计一把新椅子”，它们可能都会给出略有差异但本质相同的木椅版本。它们被困在了一种“蜂群思维”中，产生同质化（完全相同）的输出。
- 目标： 研究人员想要观察是否可以通过一些手段，诱导这些机器人打破这种模式，从而产生真正原创且多样化的想法。
2. 解决方案：IDEAFix 实验室
作者构建了一个名为 IDEAFix 的测试框架。你可以把它想象成一个巨大的“创意障碍赛跑场”，设有三个主要站点：
- 站点 1：场景（任务简报）
他们创建了 81 个不同的设计挑战。有些是普通的（如“设计一只新鞋”），有些则是古怪或棘手的（如“设计一种训练毛毛虫的方法”）。这是为了观察任务类型是否会改变机器人的行为。 - 站点 2：“调料”（属性）
他们在指令中加入了“风味”。就像在菜肴中加入辣酱或糖一样，他们改变了形容词。- 传统型： “设计一只安全的鞋。”
- 令人惊讶型： “设计一只危险的鞋。”
- 负面型： “设计一只糟糕的鞋。”
他们想看看让任务听起来很奇怪或带有负面色彩，是否会迫使机器人进行不同的思考。
- 站点 3：提示词（Hints）
这是最关键的部分。他们根据人类的创造力方法提供了不同的“小抄”。- 有些提示很复杂，比如 设计思维（Design Thinking） 或 TRIZ（人类工程师使用的工具）。
- 有些提示很简单，比如“狂野一点”、“荒诞一点”或“不要像机器人那样思考”。
- 他们还尝试了“AI 特有”的提示，即告诉机器人要主动避开其惯常的类别。
3. 实验过程
他们在五种不同的著名 AI 模型（如 GPT-4、Llama 和 Grok）上进行了这项实验。他们要求每个模型针对“场景 + 调料 + 提示词”的所有组合生成解决方案列表。总共生成了超过 14,000 个提示词。
随后，他们使用数学方法来衡量：
- 流畅度（Fluency）： 他们提出了多少个想法？
- 多样性（Diversity）： 这些想法彼此之间有多大的差异？
- 新颖性（Novelty）： 与机器人通常给出的答案相比，这些想法有多新颖和令人惊喜？
4. 结果：哪些有效，哪些无效？
好消息：
- 简单的提示更有效： 令人惊讶的是，那些复杂的、高级的人类方法（如详细的设计思维步骤）效果并不理想。机器人似乎无法理解复杂的指令。
- “狂野按钮”奏效了： 那些仅仅告诉机器人“跳出框框思考”、“要狂野”或“要不落俗套”的提示词效果最好。这就像是告诉一只狗“做一只狗”，而不是给它上一堂关于如何奔跑的复杂物理课。
- 负面效果是有益的： 要求机器人设计一些“坏的”或“负面的”东西，实际上让它产生了更多独特的想法。看来，打破“礼貌”的规则迫使机器人去寻找新的领域。
坏消息：
- “蜂群思维”依然存在： 即使使用了最好的提示词，机器人仍然很难完全摆脱定势。如果你让五个不同的机器人解决同一个问题，它们往往还是会给出非常相似的解决方案。它们被困在了一个共同的“语义空间”（精神邻里）中，很难离开。
- 任务类型很重要： 任务的类型改变了结果。要求设计一个“产品”会让机器人更有创意，但产生的想法数量较少。要求设计一个“流程”则会让它们产生更多的想法，但这些想法彼此之间都非常相似。
5. 核心结论
论文得出结论：虽然我们可以通过使用正确的“调料”（负面词汇）和简单的“技巧”（告诉它们要狂野）来引导这些 AI 机器人变得更有创意，但它们在本质上是受限的。它们非常擅长重新组合已知的内容，但在创造超越其训练数据的真正变革性想法方面仍感到吃力。
IDEAFIX 不仅仅是一个测试，它是一个工具包。它为研究人员提供了一种受控的方式来持续测试这些机器人，确保我们准确了解它们的创造力止于何处，以及它们的“定势”始于何处。它提醒我们，虽然 AI 是生成创意的强大工具，但它仍然需要人类的引导才能真正打破常规。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。