ACCORD: Alleviating Concept Coupling through Dependence Regularization for Text-to-Image Diffusion Personalization
本文提出了ACCORD，这是一种通过引入两种互补的损失函数——去噪解耦和先验解耦——来直接解决文本到图像扩散个性化中的概念耦合问题的方法，旨在最小化依赖差异并实现文本控制与个性化保真度之间的更优平衡。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一位才华横溢的艺术家（即人工智能），他能画出你描述的任何事物。你想教这位艺术家画你特定的宠物，我们叫他“巴斯特”，一只金毛寻回犬。你向艺术家展示了 5 张巴斯特照片。
问题：“糟糕室友”效应
在你展示给艺术家的所有 5 张照片中，巴斯特都坐在一张红色地毯上。这位急于求成的艺术家感到困惑。他开始想：“哦，巴斯特就是一只只存在于红色地毯上的狗。”
现在，当你要求艺术家画“公园里的巴斯特”时，艺术家固执地在草地中央放了一张红色地毯。这被称为“概念耦合”。人工智能意外地将两个不相关的概念（狗和地毯）粘合在一起，因为它们总是在训练照片中同时出现。
现有方法试图通过非常严格（告诉艺术家“不要学太多”）或向他们展示其他随机的狗（这会让艺术家更加困惑）来解决问题。它们治疗的是症状（糟糕的画作），而非根本原因（被粘合在一起的概念）。
解决方案：ACCORD（“解粘”工具）
这篇论文的作者 ACCORD 表示：“让我们停止猜测，看看数学。”他们意识到问题以两种特定方式发生，就像两种不同类型的胶水：
“逐步”胶水（去噪依赖性）：
想象艺术家从一团模糊的噪点云开始，然后慢慢将其清除以显现图像。随着他们一步步清除图像，他们在每一步都会不小心将“红色地毯”重新粘回“巴斯特”身上。- 解决方法（DDLoss）： ACCORD 添加了一条规则，即“每当你迈出一步来清除图像时，确保不要突然再次决定巴斯特和地毯是最佳拍档。”它使狗和地毯之间的关系在整个绘画过程中保持一致（且松散）。
“第一印象”胶水（先验依赖性）：
在艺术家开始绘画之前，他们脑海中已经有一个关于“狗”的概念。如果你教他们关于“巴斯特”（一只特定的红狗）的知识，他们可能会改变对“狗”的原有概念，以至于忘记了普通狗长什么样。他们开始认为：“狗必须是红色的。”- 解决方法（PDLoss）： ACCORD 就像一本参考书。它不断提醒艺术家：“嘿，记住‘巴斯特’只是‘狗’的一种。确保你对‘巴斯特’的理解仍然符合‘狗’这一类别的通用规则。”它确保新概念不会偏离其父类别太远。
实际运作方式
ACCORD 就像一个“即插即用”的配件。你无需重建艺术家的工作室；只需将此工具插入他们的工作流程即可。
- 它不需要成千上万张额外的照片就能工作（不像其他需要“超类”数据集的方法）。
- 它不需要冻结艺术家的大脑（不像那些限制艺术家学习程度的方法）。
结果
当作者测试这一方法时，他们发现 ACCORD 使艺术家能够：
- 完美地画出“巴斯特”（高保真度）。
- 将巴斯特放入你要求的任何背景中（如丛林或海滩），而不会出现红色地毯（高文本控制力）。
简而言之，ACCORD 阻止人工智能对“什么与什么搭配”做出错误假设，使其能够准确画出你所要求的内容，无论是特定的背包、独特的艺术风格还是人的面孔，而不会意外地拖入不需要的背景杂物。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。