Scalable Question-Centric Text-to-Image Evaluation: Reliable Ranking, Fine-Grained Diagnosis, and Cost-Aware Routing

在快速演进的人工智能世界中，出现了一类特殊的软件，它们仅凭一句话就能凭空创造出图像。这些被称为“文本生成图像”（text-to-image）模型的系统，会倾听用户的描述——例如“一只坐在蓝色垫子上的红色猫”——并生成该场景的视觉呈现。多年来，衡量这些机器表现好坏的主要方式是观察最终生成的图片并为其分配一个单一的分数。如果图像整体看起来不错，该模型就被视为表现强劲。然而，随着这些工具的进步，一个问题随之而来：不同的模型往往获得相似的整体评分，但其长处与短处却大相径求。有的模型擅长画动物，但在渲染文字方面表现糟糕；而有的模型能完美遵循复杂的指令，却在处理简单形状时显得吃力。这使得用户很难为特定任务选择合适的工具，因为单一的数字无法揭示一个模型实际能力的细微差别。

为了解决这个问题，来自中国联通的一个研究团队推出了一种测试这些系统的新方法，称为 QC-T2I-Bench。该方法不再将提示词视为一个单一且不可分割的整体，而是将每一个请求分解为一系列微小且具体的提问。如果用户要求“一只坐在蓝色垫子上的红色猫”，系统不会仅仅询问“这张图片好吗？”，而是会询问：“是否有猫？”、“猫是红色的吗？”、“是否有垫子？”以及“垫子是蓝色的吗？”至关重要的是，研究人员还描绘了这些问题之间的相互依赖关系。他们意识到，如果系统未能画出那只猫，它就不可能成功画出猫的红色毛发。通过将这些问题组织成逻辑结构，该团队能够精准定位模型的失败点，并判断这种失败是基础性错误，还是只有在多个需求结合时才会发生的复杂错误。

研究人员使用英文和中文提示词，对十三个不同的开源图像生成器进行了测试。他们发现，虽然一些模型在处理简单任务时表现良好，但随着需求数量的增加，它们处理复杂请求的能力大幅下降。当提示词包含两种不同能力的属性要求时，模型成功创建完美图像的概率约为 80.7%。然而，当请求同时要求七个或更多不同的能力时，成功率骤降至 37.2%。这种下降不仅仅是错误数量的累加，它揭示了模型在同时处理复杂拼图的所有碎片时面临着巨大的挑战。研究还表明，通过理解这些依赖关系，研究人员可以区分出哪些模型是单纯无法画出某个特定物体，而哪些模型虽然能画出该物体，但在被要求添加特定细节时会失败。

除了对模型进行排名之外，这种详细的拆解还带来了一个更具实际应用的价值：成本感知路由（cost-aware routing）。在现实世界中，在高性能计算机上运行这些图像生成器需要消耗金钱和能源。研究人员证明，用于诊断错误的这些详细记录可以被用于自动选择最适合给定任务的高效模型，而无需训练新系统。通过分析用户请求的具体要求，他们的系统可以选择一个运行成本更低、但仍能满足质量标准的生成器。在测试中，这种方法在保持顶级模型性能水平的同时，每张图像减少了 21.3% 的计算资源消耗。这表明，未来使用这些工具的关键不仅在于让它们变得更聪明，还在于利用对它们特定能力的深度理解，将合适的工具匹配给合适的工作，从而在保持高质量的同时节省资源。