A Framework for Critical Evaluation of Text-to-Image Models: Integrating Art Historical Analysis, Artistic Exploration, and Critical Prompt Engineering
本文提出了一个整合了艺术史分析、艺术探索与批判性提示工程的跨学科框架,旨在对文生图模型进行细致的评估,从而揭示其偏见与局限性,以促进更具公平性与文化意识的人工智能系统的发展。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象这样一个世界:计算机可以观察你写下的句子,并立即画出一幅与之相匹配的图像。这就是现代文本生成图像模型的承诺——这些工具已迅速进化,能够根据简单的描述创造出令人惊叹、高质量的视觉效果。它们正在重塑我们创作艺术、设计产品和讲述故事的方式。然而,随着这些机器变得越来越强大,它们也承载着一种隐形的重量:它们所受训练的人类世界的偏见。正如镜子反射它所处的房间一样,这些模型也反映了用于教导它们的庞大图像和文本数据集中存在的各种不平等、刻板印象和文化盲点。如果任其发展而不加约束,它们可能会强化关于性别、种族和历史的有害观念,将微妙的偏见转化为生动且具有说服力的画面。研究人员今天面临的问题不仅是这些机器能否画得好,而是它们能否画得公平。
一项新的研究提出了一种回答该问题的新方法,超越了通常衡量图像质量的标准技术测试。研究人员建议,不要仅仅依赖于检查图像是否清晰或是否符合描述的数字,而是采用一个将三种截然不同的人类视角结合在一起的框架:艺术史学家的专业眼光、执业艺术家的创意直觉以及社会理论家的批判性视角。通过将这些学科编织在一起,该团队提供了一种方法,用以揭示技术指标往往会忽略的偏见,从而展现这些模型是如何解读文化、历史和身份的。
研究人员认为,目前的评估方法过于狭隘。标准测试可能会确认一张图像看起来是否逼真,但它们无法轻易判断模型是否在微妙地误传某个边缘化群体,或误解了一个复杂的文化符号。为了解决这个问题,该研究引入了一个由三部分组成的方法。首先,它利用艺术史分析,这是一种专家像对待博物馆中的绘画一样,检查图像的视觉细节、符号和构图的方法。这有助于发现模型是否忽略了特定的文化标记或依赖于陈词滥调。其次,它采用了艺术探索,即创作者通过实验来突破界限,就像画家测试新颜色以观察会出现什么一样。这一过程揭示了算法中隐藏的局限性和意外的行为。最后,该框架使用了批判性提示工程,这是一种研究人员通过精心设计特定的、具有挑战性的描述,来测试模型的假设并暴露其中根深蒂固的刻板印象的技术。
为了展示这一方法的实际应用,团队将其应用于扬·凡·艾克的名作《阿尔诺芬尼夫妇像》(The Arnolfini Portrait),这是一幅创作于1434年、以其复杂的细节和深刻的象征意义而闻名的杰作。他们要求不同的AI模型根据一段详细的描述来重现这个场景,描述中包含了凸面镜、一支点燃的蜡烛以及这对夫妇手势的象征意义等特定元素。结果令人警醒。虽然一些模型捕捉到了绘画的整体外观,但它们经常遗漏或扭曲了赋予艺术品意义的关键象征性物体。例如,一个模型添加了一些感觉既异域风情又与原始欧洲背景无关的元素,这表明其训练数据中存在一种偏见,即将某些历史风格与非西方文化联系起来。这种类型的错误很可能不会被仅测量图像看起来有多“漂亮”的标准计算机测试所察觉,但艺术史学家会立即将其识别为对文化语境理解的失败。
研究人员还使用旨在探索劳动与尊严主题的提示词对模型进行了测试。他们要求AI生成一位家政人员的肖像,但使用的不是简单的描述,而是借鉴了艺术家凯欣德·威利(Kehande Wiley)作品的语言,威利以重新构思具有权力与优雅姿态的黑人历史肖像而闻名。目标是看模型能否捕捉到韧性与尊严,而非仅仅是贫困。结果显示出一个一致的模式:模型过度描绘了老年有色人种,在某些情况下甚至仅限于女性。虽然这与已知的数据统计偏见相符,但艺术化的处理方式揭示了一个更深层的问题。生成的图像往往未能捕捉到提示词所意图表达的活力与赋权感,而是默认采用了年龄和性别的刻板印象。这表明,即使用户试图引导AI走向更细致的呈现,底层的算法仍难以摆脱其根深蒂固的关联。
或许最引人注目的演示涉及职场中的性别角色。研究人员使用了一段语气中立的描述工地经理的提示词,并要求AI生成男性和女性经理的图像。结果显示出鲜明的对比。男性经理的图像表现为直立站立在正式西装中,流露出权威与掌控感。然而,女性经理的图像则显示她处于一种蹲伏的、近乎超级英雄式的姿态,看起来既坚定又带有戏剧色彩。这种差异表明,模型仍然受到深层社会规范的影响,这些规范将领导力和执行力与男性联系在一起,而将女性置于领导地位时则表现得更具活动性或戏剧性。
该研究并不声称已经解决了人工智能中的偏见问题。相反,它提供了一个寻找和理解这些问题的强大工具包。作者提出了一个由计算机科学家、艺术史学家、艺术家和社会理论家共同协作的循序渐进的过程。他们将从创建一组多样化的提示词开始,然后生成图像,最后通过多重维度进行分析。技术指标将提供基准,而人类专家将寻找文化不准确性、艺术局限性和社会偏见。这种协作循环将实现持续的改进,帮助开发者优化他们的模型,使其更具公平性和文化意识。
研究人员承认这种方法存在挑战。艺术史学和艺术性的解释可能具有主观性,不同的专家可能会在同一幅图像中看到不同的东西。然而,他们认为这种主观性是一种优势,而非弱点,因为它为这个往往由僵化数字主导的领域带来了必要的人类细微差别。通过将技术的精准度与人类文化理解的深度相结合,该框架旨在确保AI生成艺术的未来不仅在技术上令人赞叹,而且在伦理上是可靠的,并能反映出一个多元的世界。最终目标是建立这样的系统:它们不仅复制我们现状的不平等,而且能帮助我们构想一个更加公正和包容的未来。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。