💻 computer science

VISTA: Test-Time Compositional Alignment for Visual Autoregressive Generation

VISTA 是首个针对视觉自回归模型的基于梯度的测试时对齐框架，它通过干预生成过程来优化中间表示，在不修改模型参数或需要额外训练的情况下，显著提升了组合准确性和空间关系能力。

原作者： Hossein Shahabadi, Niki Sepasian, Mahdieh Soleymani Baghshah

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Hossein Shahabadi, Niki Sepasian, Mahdieh Soleymani Baghshah

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：计算机可以根据文字绘制图像，将像“一只坐在蓝色花朵上的红色小鸟”这样简单的句子转化为生动的画面。多年来，这类任务的最佳工具一直依赖于一种被称为“扩散”（diffusion）的方法，即从静态噪声中缓慢地雕琢出一幅图像。最近，一种更快、不同的方法——视觉自回归生成（visual autoregressive generation）脱颖而出。这种模型不再是从噪声中雕琢，而是通过逐层构建图像，从粗略的草图开始，逐步添加细节，就像艺术家完善画作一样。虽然这些新模型速度极快且能产生极其清晰的图像，但在处理某种特定的逻辑时却显得力不从心。它们经常无法将正确的事物组合在一起或放在正确的位置。如果你要求画一只红色的鸟和一朵蓝色的花，计算机可能会画出一只蓝色的鸟，或者把花放在鸟的身体里。这种无法将属性正确绑定到物体上以及无法正确进行空间排列的问题，是一个持久存在的难题，即使是这些模型中最强大的大规模版本也无法仅靠自身解决。

来自谢里夫理工大学（Sharif University of Technology）的一个研究小组开发了一种新方法来解决这个问题，而无需重新训练模型或更改其内部代码。他们将这种方法称为 VISTA。VISTA 并不试图教计算机一种新的思考方式，而是在绘画过程中充当一名向导。当计算机正在生成图像的过程中，VISTA 会在特定的早期阶段暂停，以检查正在生成的图像是否符合指令。它观察计算机如何将单词与图像的部分相连接，并对信息流进行微小而精确的调整。这些调整会将计算机重新引导回正轨，确保红色的鸟保持红色，而花朵保持分离，所有这些都是在图像构建的过程中完成的。该系统通过优化计算机的内部注意力机制来实现这一点，本质上是要求模型在正确的时刻关注正确的单词。

研究人员在两种不同规模的图像生成模型上测试了这种方法，一个拥有 20 亿参数，另一个拥有 80 亿参数。他们发现，VISTA 大幅提升了计算机遵循复杂指令的能力。在一项衡量图像与描述匹配程度的标准测试中，带有 VISTA 的较小模型表现得比没有它的庞大模型更好。事实上，在大多数类别中，包括物体间位置关系的放置能力，经过引导的较小模型都超越了未经过引导的较大模型。这种改进在空间任务中最为明显，在这些任务中，计算机学会了正确定位“左侧”或“后方”等项目。研究人员还测量了图像质量，发现这些修正并没有让图片看起来变差；事实上，一个判断图像质量的独立系统将引导后的图像评定为显著更好。

这项发现之所以特别重要，是因为它改变了我们对这些模型能力的理解。长期以来，人们一直认为，如果一个模型在某项任务上失败了，唯一的解决方案就是让模型变得更大，或者用更多的数据对其进行从头开始的重新训练。这项新工作表明，小模型与大模型之间存在的巨大差距，很大程度上并非缺乏原始动力，而是缺乏在生成过程中的专注度。通过在正确的时刻引导模型的注意力，研究人员找回了许多缺失的能力。该方法通过仅在图像创建的早期、粗略阶段进行干预，而这些阶段正是决定整体布局的阶段。一旦基本布局正确，模型就会自然地填充好细节。这意味着系统不需要在整个过程中进行持续的监控或修正，因此非常高效且实用。

研究人员还探索了如何处理三维关系，例如一个物体在另一个物体之后。由于计算机的内部地图没有深度通道，它无法直接“看到”深度。为了解决这个问题，团队设计了一种方法，从物体在平面图像上的重叠方式中推断深度。他们教会系统识别：如果一个物体的轮廓被另一个物体中断，那么第一个物体就在前面。通过鼓励这种特定的几何模式，系统学会了在不需要任何外部工具或复杂 3D 数据的情况下，按合理的 3D 顺序排列物体。这种方法使模型处理深度排序的能力与处理简单的左右位置的能力一样出色。

这种改进的代价是图像生成时间略有增加，但研究人员找到了一个平衡点，即质量增益很高而时间成本很低。他们发现，仅仅引导生成过程的前几步就足以锁定整幅图像的布局。在这些步骤之后增加更多的引导步骤会带来收益递减，并且耗时更长。这表明，修复这些模型的关键在于尽早打好基础。该方法具有灵活性，可以适应各种类型的指令，从简单的颜色匹配到复杂的空间排列，而无需新的训练数据或专门的硬件。

最终，这项研究表明，当前图像生成器的局限性并不一定是其设计中的固定缺陷，而是可以即时纠正的时间和专注度问题。在生成过程中引导模型注意力的能力，为提升人工智能开辟了一条新路径。它表明，我们并不总是需要构建更大、更昂贵的模型才能获得更好的结果；有时，我们只需要帮助现有的模型在正确的时间关注正确的事情。这种方法提供了一种切实可行的方式，使 AI 生成的图像更加可靠和符合逻辑，让我们离实现计算机能够真正理解并可视化我们所描述的复杂场景的未来又近了一步。

技术摘要：VISTA – 用于视觉自回归生成的测试时组合对齐

问题陈述

视觉自回归（VAR）模型（如 Infinity）已成为文本生成图像领域高质量、高速度的扩散模型替代方案。然而，与它们的扩散模型对应物一样，这些模型面临着持久的**组合失效（compositional failures）**问题。即使随着模型规模的增加，这些模型在将属性绑定到实体、推理空间关系（例如“红色的立方体在蓝色的球体上”）以及处理深度排序方面仍然表现挣扎。

尽管已有大量研究开发了针对扩散模型的测试时对齐（test-time alignment）方法（例如在采样期间优化交叉注意力），但这些技术无法直接应用于下一尺度（next-scale）的 VAR 生成。VAR 模型通过状态化、离散、多分辨率的采样过程进行工作：

离散 Token： 与扩散模型的连续潜变量不同，VAR 生成的是离散的 Token 图。
状态化缓存（Stateful Caching）： Transformer 在不同尺度间维持一个持久的键-值（KV）缓存；后续尺度依赖于前序尺度的计算结果。
梯度稀释： 在 VAR 中，作为一个单一向量进行全局归一化的全局梯度会被极其庞大的 Token 图所稀释，使得逐元素更新变得无效。
缓存损坏： 标准的优化步骤会覆盖后续尺度所需的注意力缓存，从而破坏生成过程。

因此，目前缺乏适用于 VAR 模型的基于梯度的测试时干预方法，能够在不进行重训的情况下引导生成过程符合组合约束。

方法论：VISTA

VISTA（视觉自回归语义测试时对齐）是首个专门为下一尺度 VAR 生成设计的基于梯度的测试时框架。VISTA 基于 Infinity 架构，通过在选定的粗尺度阶段优化中间连续嵌入（ $z_s$ ），在这些嵌入被离散化并传递给 Transformer 之前进行干预。

核心机制

为了使基于梯度的优化在状态化 VAR 循环中保持稳定且有效，VISTA 引入了四个关键机制：

可微交叉注意力捕获（Differentiable Cross-Attention Capture）：
由于 Infinity 的交叉注意力层通常以冻结且缓存的方式进行评估，VISTA 实时重建了注意力计算过程。它从正在优化的表示（ $z_s$ ）中计算查询（Query），同时保持来自文本编码器的键（Key）固定并带有停止梯度（stop-gradient）。这产生了一个相对于 $z_s$ 的可微注意力图（ $A$ ），允许梯度从组合损失回传至输入嵌入。
状态化生成中的稳定优化：
- 缓存恢复： 为了防止优化步骤损坏后续尺度使用的缓存，VISTA 以可微形式重建该尺度的计算，执行优化步骤，然后在恢复正常采样前将缓存恢复到优化前的状态。
- 逐 Token 梯度归一化： 为了对抗大规模 Token 图中的梯度稀释，VISTA 对每个 Token 进行逐个归一化，而非全局归一化。它还根据该特定尺度下特征图的 RMS 幅度来缩放学习率。
- 目标共享： 当存在多个激活的目标时，VISTA 结合它们的梯度方向而非简单叠加损失值，以防止某个目标过度主导。
自适应步数预算与尺度选择：
- 尺度选择： 干预仅应用于最粗的非退化尺度（从 4×4 网格开始）。作者认为，布局是在这些粗尺度阶段建立的，修正它们足以让精细尺度继承该结构。
- 步数预算： 优化步数（ $N_{eff}$ ）由初始梯度幅值相对于阈值的程度动态决定。如果梯度较小（表明约束已得到满足），则采取较少的步数，以节省计算量。
可扩展的目标空间：
VISTA 定义了一个可插拔的注册表，任何针对交叉注意力的可微约束都可以集成其中。论文通过三个具体目标实例化了该框架：
- 属性绑定（ $L_{bind}$ ）： 使用多正向对比目标，将属性的注意力拉向其关联的名词，并远离其他名词。
- 平面关系（ $L_{2D}$ ）： 使用“优越性概率（probability-of-superiority）”目标，基于注意力分布强制执行 2D 空间关系（如左/右，上/下）。
- 深度排序（ $L_{depth}$ ）： 一项新颖的贡献，它无需外部深度估计器即可从 2D 注意力图中推断深度。它结合了分离（Separation）（惩罚重叠的质心）和边界包含（Boundary Containment, BC）。BC 项测试“后方”物体的边界是否包裹了“前方”物体，从而直接从注意力密度中诱导出遮挡几何关系。

核心贡献

首个基于梯度的 VAR 框架： VISTA 是第一个用于下一尺度自回归生成的基于梯度的测试时对齐方法，它消除了对重训、奖励模型或候选轨迹搜索的需求。
稳定化机制： 论文识别了将潜变量优化应用于状态化、多尺度生成时的特定失效模式，并提供了独立于特定目标的解决机制（缓存恢复、逐 Token 归一化）。
通过注意力获取深度： 作者引入了一种仅通过交叉注意力图处理 3D 深度排序的方法，避免了对外部深度模型或对完成图像进行搜索的需求。
可扩展性： 该框架将优化机制与目标分离，允许在不修改核心基础设施的情况下插入新的组合约束。

实验结果

VISTA 在 Infinity-2B 和 Infinity-8B 模型上使用 T2I-CompBench 和 GenEval 基准进行了评估。

组合性能提升： VISTA 在两个模型规模的所有目标组合类别中均提升了性能。
- 在 Infinity-2B 上，平均目标得分提升了近 20%（在 T2I-CompBench 上从 0.480 升至 0.575）。
- 在 Infinity-8B 上，平均目标得分提升了近 6%。
- 最大的增益观察于 2D 空间关系（在 2B 模型上实现了 84% 的相对增益）。
缩放效率： 值得注意的是，带有 VISTA 的 Infinity-2B 模型在大多数目标类别及其平均值上都超越了未经修改的 Infinity-8B。这表明，很大一部分模型规模之间的组合差距可以在测试时通过干预来弥补。
与基于搜索的方法对比： VISTA 显著优于 TTS-VAR（一种基于搜索的测试时方法）。虽然 TTS-VAR 提升了约 7% 的得分，但 VISTA 提升了约 20%。作者指出，搜索方法受限于骨干网络采样满意轨迹的能力，而基于梯度的引导则能主动移动轨迹。
图像质量： 一个独立的偏好模型（ImageReward，VISTA 从未对其进行优化）显示，VISTA 的输出得分比基线高出近 20%。这表明组合性的提升并非以牺牲图像质量为代价。
成本： 该方法引入了推理成本权衡。引导三个粗尺度会增加生成时间（在 2B 模型上从约 3 秒增加到约 6 秒），但带来了实质性的质量提升。

意义与主张

论文声称，为扩散模型开发的测试时对齐范式并不受限于特定的架构。虽然扩散对齐的具体机制无法直接迁移到 VAR，但其核心前提——即一个冻结的模型其交叉注意力提供了一个可微的、无需训练的组合结构控制手段——在解决了状态化、多尺度、离散 Token 生成的不稳定性之后，依然成立。

VISTA 证明了 VAR 模型中的组合理解能力可以通过不进行重训或增加模型参数来显著增强。一个 2B 参数的模型通过 VISTA 能够超越 4 倍大的模型在组合任务上的表现，这表明当前 VAR 的缩放定律在组合性方面可能并非最优，而测试时干预是缩小这一差距的一条可行路径。作者将 VISTA 定位为迈向更鲁棒、更可控的自回归图像生成的基石。