💬 NLP

FoR-SALE: Frame of Reference-guided Spatial Adjustment in LLM-based Diffusion Editing

该论文介绍了 FoR-SALE，这是一个通过基于参照系引导的透视映射和潜空间调整来评估并纠正文本描述与生成图像之间空间错位，从而增强文本到图像编辑能力的创新框架，显著提升了最先进模型在空间理解基准测试上的性能。

原作者： Tanawan Premsri, Parisa Kordjamshidi

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Tanawan Premsri, Parisa Kordjamshidi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图向一位朋友描述一个场景，让他为你画出来。如果你说：“猫在狗的左边”，你的朋友很可能会把猫画在纸的左侧。这很容易，因为你们是从同一个角度（即你自己的眼睛）观察这个场景的。但如果你的说法是：“从狗的角度来看，猫在它的左边呢？”突然间，绘画变得棘手了。如果狗面向右边，那么它的“左边”实际上是在你纸张的右侧。如果狗背对着你，那么它的“左边”则是在你的左侧。这种脑力体操被称为理解“参照系”（Frame of Reference）。它是指从摄像机的视角描述世界，与从物体自身的视角描述世界的区别。

长期以来，计算机一直擅长遵循简单的指令，比如“把猫放在左边”。但涉及到这些复杂的、以物体为中心的视角时，即使是最聪明的人工智能（AI）艺术家也会感到困惑。它们往往会忽略物体的视角，而仅仅从摄像机的视角来绘制一切，从而导致混乱且错误的图像。这篇论文解决了这一特定的困惑。它引入了一个全新的系统，旨在充当一名超级聪明的编辑——它不仅是画出图片，还能理解“谁在看什么”，并在透视关系错误时进行修正。

问题所在：AI 的“仅限相机”盲点

目前的文本生成图像 AI 模型非常出色，但它们有一个盲点。它们就像只会从单一固定相机角度绘画的艺术家。如果你要求它们根据类似“从椅子的视角来看，球在椅子后面”这样的描述来画图，AI 经常会出错。它可能会把球放在你看来在椅子后面的位置，却忽略了椅子可能面向不同的方向。论文指出，即使是当今最先进的模型在处理这些“非相机”视角时也表现得非常吃力，经常无法正确处理空间关系。

解决方案：FoR-SALE（视角侦探）

研究人员提出了一个名为 FoR-SALE（基于大语言模型扩散编辑的参照系引导空间调整）的新框架。把 FoR-SALE 想象成不是一个新的艺术家，而是一位出色的艺术评论家和编辑，它会在 AI 完成初稿后介入。

以下是该过程的逐步运作方式：

初稿： AI 根据你的文本生成一张图像。假设你要求在椅子的左边画一只红色的鸡，但要从椅子的视角来看。AI 画出了一只鸡，但可能位置错了，因为它忘记检查椅子的朝向。
侦探工作： FoR-SALE 使用一个“视觉感知模块”来观察生成的图像。它就像一个扫描仪，识别物体在哪里、深度如何，以及最重要的——它们面向哪个方向。这就像编辑戴上了 3D 眼镜，去观察每个物体的朝向。
翻译： 这是神奇之处。系统使用一个“参照系解释器”（FoR Interpreter）将你那些棘手的指令翻译成 AI 更容易理解的语言。如果你说：“从椅子的视角来看，鸡在左边”，而椅子面向右边，解释器会将此翻译为：“从摄像机的视角来看，鸡实际上是在右边。”它将物体的视角转换为摄像机的视角，这样计算机就不会迷失方向。
修正： 一旦系统知道图像应该是什么样子，它就会使用特殊的“潜空间操作”来编辑图片。它不仅仅是擦除并重画；它进行的是精确的外科手术式调整。它可以改变一个物体的朝向（让椅子转个身）或调整其深度（让它靠近或远离），以符合修正后的计划。

研究发现：显著的改进

研究人员在几个专门设计用来用空间谜题难倒 AI 的基准测试中测试了这个系统。他们发现 FoR-SALE 的效果非常出色，尤其是在处理那些视角属于物体而非摄像机的困难案例时。

数据表现： 当他们仅进行一轮修正时，该系统将最先进的图像生成器的准确率提升了高达 7.0 个百分点。如果让他们运行三轮修正，提升幅度则跃升至 13.1 个百分点。
“内在”挑战： 该系统在“内在”参照系（即视角属于物体的场景）中表现最为亮眼。例如，在使用 GPT-4o 模型时，FoR-SALE 在单轮修正中将内在空间描述的准确率从较低的 24.35% 提升到了 35.42%。
泛化能力： 该系统不仅适用于简单的双物体场景。当在包含多个物体和多样化语言的更复杂场景中进行测试时，它依然保持有效，这表明它是一个理解空间关系的鲁棒工具。

局限性：它还不是魔法（目前如此）

虽然 FoR-SALE 是一个巨大的进步，但作者也谨慎地指出它并非完美的解决方案。该系统在处理某些 3D 方面仍有困难，特别是当它需要在单步内改变物体的深度或朝向时。有时，编辑过程可能会意外地创造出额外的物体或完全遗漏某个物体，尽管这种情况比以往的方法发生得更少。论文指出，虽然“大脑”（推理部分）在理解视角方面已经变得非常出色，但“双手”（图像编辑工具）在完美执行这些复杂的 3D 变化方面仍有待提高。

简而言之，FoR-SALE 教会了 AI 不要假设每个人都从同一个角度看待世界。通过扮演视角翻译者和精确编辑的角色，它帮助 AI 生成真正尊重其中物体视角的图像，让数字世界更贴近我们人类真实的感知方式。

技术摘要：FoR-SALE

问题陈述

当前的文本生成图像（T2I）模型，包括 GPT-4o 和 FLUX.1 等最先进（SOTA）系统，在解释源自非相机视角的空间表达式时，表现出显著的性能差距。虽然这些模型在处理以相机为中心（相对）的描述时通常能够成功，但在处理空间关系由物体固有视角（例如，“从椅子的视角看，在椅子的左侧”）定义的场景时，往往难以准确渲染。这种局限性源于缺乏对参照系（Frame of Reference, FoR）的鲁棒推理能力，而 FoR 是认知语言学中研究深入、但在多模态大语言模型（MLLM）和扩散生成领域尚未得到充分解决的概念。现有的自我修正框架，如自纠正 LLM 控制的扩散模型（SLD），虽然改善了空间对齐，但未能考虑到 FoR，从而限制了其处理基于非相机视角提示词的能力。

方法论：FoR-SALE

作者提出了 FoR-SALE（基于 FoR 指导的 LLM 扩散编辑空间调整），这是对 SLD 流水线的扩展，旨在显式地建模并修正 FoR 失配。该框架通过一个多阶段流水线运行：

初始生成与感知：
- 将输入文本提示词（ $T_1$ ）传递给 T2I 模型以生成初始图像（ $I_1$ ）。
- LLM 解析器从 $T_1$ 中提取关键物体和属性。
- 视觉感知模块分析 $I_1$ 以提取视觉属性：物体边界框、深度图和朝向角度。该模块利用开放词汇目标检测（OWLv2）、深度估计（DPT）和朝向检测（OrientAnything）来生成包含物体属性、坐标、深度和朝向方向的结构化视觉列表（$VL$）。
FoR 解释与布局修订：
- FoR 解释器： 这是一个新型 LLM 组件，它将原始文本（ $T_1$ ）和视觉状态（$VL$）作为输入。其主要功能是识别提示词中的 FoR，并将空间表达式从以物体为中心的视角转换为统一的相机视角。它采用了一套 32 条手动定义的规则（涵盖 8 个朝向方向和 4 种空间关系）来进行此类转换，并输出重写的提示词（ $T'$ ）。
- 布局解释器： 第二个 LLM 将 $T'$ 与当前视觉状态（$VL $）进行对比以确定对齐情况。如果检测到失配，它会提出一个满足相机视角下空间约束的修订布局（$ \tilde{VL}$）。
潜空间编辑：
- 系统比较初始布局（$VL $）与修订布局（$ \tilde{VL}$），以识别特定的差异。
- 基于这些差异，生成一系列编辑操作，并在扩散模型的潜空间中应用（使用 Stable Diffusion 1.5 作为基础模型）。
- 新型操作： 除了标准操作（添加、删除、重定位、属性修改）外，FoR-SALE 还引入了两个特定于 FoR 的操作：
  - 朝向修改： 使用分割和扩散技术来改变物体的朝向，以匹配要求的朝向方向。
  - 深度修改： 根据目标深度值合成新的物体深度图，并使用 ControlNet 根据指定的深度重新生成物体。
迭代： 该过程可以进行多轮修正，以进一步精炼图像。

核心贡献

首个 FoR 感知自我修正框架： 本文引入了第一个将 FoR 推理显式纳入文本生成图像和编辑流水线的框架。
新型潜空间编辑操作： 作者开发了用于修改物体朝向和深度的特定潜空间操作，这对于解决基于 FoR 的空间错误至关重要。
增强的基准测试： 该工作扩充了现有基准（LMD 和 FoREST），创建了 FoR-LMD 和 FoREST-G。这些数据集包含了诊断性子集，涵盖多物体场景、扩展的关系类型（对角线/垂直）以及自然化的提示词，以严格测试其在超越简单双物体设置时的泛化能力。

结果

该框架在三个基准测试（FoR-LMD、FoREST 和 FoREST-G）上进行了评估，使用了包括 FLUX.1、Nano-Banana-Pro 和 GPT-4o 在内的多种基础 T2I 模型。

性能提升： FoR-SALE 在单轮修正后可将 SOTA T2I 模型的空间对齐度提高多达 7.0 个百分点 (pp)，在三轮修正后可提高多达 13.1 pp。
固有 FoR 处理能力： 该框架在处理固有 FoR 情况（即基准模型通常失败的情况）时表现出特别的效能。例如，在 FoREST 基准测试中，FoR-SALE 在三轮后将 GPT-4o 的固有精度从 35.56% 提高到 42.22%，并在类似设置下显著提升了 FLUX.1 的性能。
泛化性： 在 FoREST-G 诊断子集（复杂场景、关系增强、语言变化）上，FoR-SALE 在所有子集中均一致实现了最高的固有 FoR 准确率，展示了在复杂场景和多样化提示词措辞下的鲁棒性。
消融实验： 移除 FoR 解释器或新增的编辑操作（朝向修改和深度修改）会导致性能显著下降，证实了这两个组件对于有效进行 FoR 推理的必要性。

意义与主张

本文声称 FoR-SALE 解决了当前生成式 AI 的一个根本局限：无法理解除相机视角以外的空间关系。通过弥合认知语言学（FoR）与扩散编辑之间的鸿沟，该框架实现了更准确、更灵活的文本生成图像。作者强调，虽然目前的扩散模型在处理 3D 空间配置（朝向和深度）方面存在困难，但 FoR-SALE 提供了一种模块化方法，通过显式推理和针对性的潜空间调整来缓解这些问题。这项工作为 FoR 感知的 T2I 系统建立了新的基准，证明了显式的视角转换和专门的编辑操作可以显著增强生成图像的空间保真度。