The Plan, Not the Decoder: Diagnosing and Repairing Compositional Failure in Reasoning-Augmented Text-to-Image Generation
本文通过证明解码器能够忠实地执行生成的计划，而瓶颈在于由于措辞依赖性偏差和几何杂乱导致的规划器本身，从而诊断了推理增强型文本生成图像模型中的组合失效问题，并证明了编辑显式计划而非重新训练模型能有效解决这些错误。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
现代计算机在将文字描述转化为图像方面已经变得非常出色。如果你要求它画一个“红色的球在蓝色的盒子旁边”，它通常能成功。但当请求变得更加复杂，比如要求特定的关系，如“一只猫坐在沙发上”或“一只狗在树的左边”时，这些系统往往会出错。它们可能会正确地画出动物，但却弄反了它们的相对位置，或者放错了顺序。为了解决这个问题，研究人员开始教导这些模型在绘画之前先进行思考。与其直接生成图像，计算机首先会写出一份详细的计划：它列出物体，描述它们的颜色，并为每一个物体分配一个在画布上的特定位置，就像一组坐标一样。只有在写完这份计划后，计算机才开始生成实际的图像。这种两步走的过程旨在确保最终生成的图像符合用户的意图，但这提出了一个新的问题：当最终的图片出错时，错在写的计划上，还是错在将计划转化为像素的计算机部分？
卡内基梅隆大学的一位研究人员试图通过将计算机的计划视为一个独立的、可测试的对象来回答这个问题。他们使用了一个能够生成这些文本计划并根据其创建图像的模型。他们的目标是确定计算机失败是因为写了一个糟糕的计划，还是因为作为一个蹩脚的画家无法遵循一个好的计划。为了寻找真相，他们不仅仅是观察最终的图片；他们直接干预了整个过程。他们提取了计算机自己的计划，对计划进行了特定的修改，然后观察会发生什么。例如，他们会拿出一个正确描述了左边有一只猫、右边有一只狗的计划，但随后交换了文本中的位置指令，使计划现在变成了猫在右边。当他们将修改后的计划反馈给计算机时，生成的图像完美地翻转了：猫出现在了右边，狗出现在了左边。这个简单的测试证明，负责绘制图像的部分实际上非常擅长遵循指令。它并没有感到困惑或效率低下；它是在忠实地执行它被告知要做的事情。
研究人员发现，真正的问题不在于画家，而在于策划者。在近一半图像错误的情况下，书写的计划本身就包含了错误。计算机会写出一个与用户请求相矛盾的计划，这通常是由于它处理词序时存在一种微妙的偏见。例如，如果用户要求“一只狗在猫的左边”，计算机可能正确理解了单词，但仍然会写下一个将狗放在右边的计划，仅仅是因为它有一种习惯，即将第一个提到的物体放在精神画布的特定角落。研究人员发现，这种偏见如此之强，以至于改变相同请求的措辞——改为要求“一只猫在狗的右边”——会让计算机在 98% 的情况下都能写出正确的计划，而原始的措辞则会导致近一半的尝试出现错误。绘图引擎是无辜的；它是在忠实地重现策划阶段所犯的错误。
为了确认绘图引擎不是瓶颈，研究人员尝试向它输入从未见过的计划，这些计划是由人类或其他系统创建的。他们测试了以不同风格编写的计划，有些使用简短、生硬的句子，有些则使用冗长、详细的描述。他们还测试了具有不同类型位置指令的计划，有些是混乱且重叠的，有些则是清晰且间距良好的。结果很明确：计算机忽略了写作的风格和计划的熟悉程度。它只关心几何结构。当给定一个具有清晰、分离位置指令的计划时，计算机生成准确图像的频率比使用其自身混乱计划时高出 13%。即使计划的写作风格看起来与计算机通常的输出完全不同，绘图引擎也能完美遵循。这证明了该系统并未实现“协同演化”，这意味着它并没有变得如此习惯于自己特定的计划编写方式，以至于无法理解其他任何东西。它是一个通用的指令遵循者，仅受限于它接收到的指令质量。
这项研究还表明，以往测试这些系统的方法具有误导性。许多研究人员一直使用一种自动提问工具来判断图像是否正确。研究人员发现，这种工具对图片的实际布局是盲目的。它可能会被诱骗给一张完全错误的图片打高分，仅仅因为物体存在，即使它们位置不对。通过改用一种使用精确检测器测量物体实际位置的方法，他们揭示了错误的真实程度。这种更准确的测量方法显示，一旦计划本身是正确的，计算机遵循计划的能力实际上非常高，约为 94%。
这些发现的意义是务实且直接的。既然绘图引擎是可靠的，那么解决图像问题的方法不是重新训练整个系统或让绘图引擎变得更聪明。相反，解决之道在于在绘画开始前改进计划。研究人员展示了，通过在生成图像之前检查计划中的逻辑错误并修正位置指令，可以在不进行任何额外训练的情况下显著提高最终图片的质量。他们甚至可以用一个更好的计划完全替换掉计算机自己的计划，系统就会生成更优的图像。唯一的危险在于如果计划包含内部矛盾，例如文本说的是一回事，而位置指令说的是另一回事；在这种情况下，计算机会感到困惑并产生奇怪的、融合在一起的图像。但只要计划是一致且清晰的，系统就能按预期工作。教训是，对于这些基于推理的图像生成器来说，瓶颈不在于绘画的能力，而在于编写好计划的能力。修复计划是释放机器全部潜力的关键。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。