Can Language Models Imagine Without Seeing? Ekphrasis: Measuring Visual Creative Ideation in Text-Only LLMs
本文介绍了 Ekphrasis，这是一个新颖的基准测试与评估框架，它通过区分流畅的散文与生成有用、富有表现力且具有群体新颖性的视觉方案的实际能力，来隔离并衡量纯文本语言模型的视觉创意构思能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位试图为电影选角的导演，但你还看不见演员。你只有一位用文字描述场景的编剧。核心问题在于：这位编剧真的能“想象”出一个全新的、令人兴奋的场景，还是仅仅在堆砌那些听起来很有创意、但实际上描述的是千篇一律、陈词滥调的华丽辞藻？这就是人工智能领域一项新研究的核心谜题，该研究专门针对“大语言模型”（LLMs）。这些是能够写故事、回答问题并与我们聊天的超级智能计算机程序。科学家们长期以来一直好奇，这些仅限于文本的模型是否能在想法转化为图像之前真正地进行“视觉化”，或者它们是否只是在用华丽的语言进行伪装。为了查明真相，研究人员需要一种方法，来测试 AI 的描述究竟是真正的视觉发明之火花，还是仅仅是将陈旧、保守的想法穿上了燕尾服。
于是，由香港科技大学研究人员设计的名为 EKPHRASIS 的新“考试”应运而生，旨在测试这一点。把 EKPHRASIS 想象成一个 AI 的创意健身房。这项测试并没有要求 AI 直接画出一幅画（因为它无法直接做到），而是向 14 种不同的 AI 模型提出了 400 个具体的创意挑战。这些挑战要求模型执行诸如将“时间压力”这种抽象概念转化为视觉场景、将两个不相关的想法融合在一起，或以一种全新的方式重写一个物体等任务。目标不仅是看 AI 是否写出了优美的句子，而是看它能否提出一个**视觉创意构思（VCI）**方案：即一个对任务有用、具有足够的表现力以在脑海中勾勒出清晰图像，并且最重要的一点是——具有“新颖性”的方案，这意味着它没有重复其他 AI 经常使用的那些乏味、陈旧的想法。
研究人员发现，流畅、优美的文笔其实是一个陷阱。一个 AI 可以写出一段听起来极具创意和生动感的段落，但其描述的可能却是极其陈旧的视觉陈词滥调，比如用沙漏来代表时间，或用乌云来代表悲伤。为了识破这种“新颖性幻觉”，团队构建了一个特殊的评分系统。他们不仅仅询问“这是否有创意？”，他们还会询问：“这是否有用？是否易于构图？以及它是否不同于其他 13 个 AI 会给出的答案？”他们使用了一种被称为“类型化思想图谱”（Typed Idea Graphs）的巧妙方法来绘制出所有模型都倾向于重复的常见、平庸的模式，然后检查新的答案是否避开了这些陷阱。
研究结果既引人入胜又充满细微差别。研究发现，擅长视觉构思并不只是拥有一种单一的超能力。有些 AI 擅长遵循指令并制定有用的计划，但非常陈腐；另一些 AI 虽然极具原创性，但有时会偏离任务主题。表现最好的模型，如 Gemini 3.1 Pro 和 GPT-5.4，成功平衡了所有三种特质，但它们实现的方式各不相同。至关重要的是，研究人员将表现最好的文本描述提取出来，并使用另一个工具根据这些描述生成了图像。当人类在没有看到原始文本的情况下观察这些图像时，他们仍然更青睐那些源自“高 VCI”文本方案的图像。这表明 AI 确实是在进行视觉规划，而不仅仅是在撰写优美的散文。
然而，论文谨慎地指出，这并不意味着 AI 拥有类似人类的“心眼”或私密的想象力。它仅仅意味着这些仅限文本的模型可以创建详细的、可用于成像的蓝图，使其能够顺利完成从文本到图像的转化过程。这项研究表明，虽然目前的模型在视觉规划方面正在进步，但它们仍然难以摆脱其训练数据所钟爱的那些“安全”想法。结论很明确：仅仅因为一个 AI 写了一个有创意的故事，并不意味着它有一个有创意的视觉构思。要真正衡量视觉创造力，我们必须透过华丽的辞藻，去检查其蓝图是否真正新颖、有用且具备可构建性。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。