论文技术总结：Tiled Prompts: Overcoming Prompt Misguidance in Image and Video Super-Resolution

1. 研究背景与问题定义 (Problem)

背景：
基于文本条件的扩散模型（Text-conditioned Diffusion Models）通过利用语义先验，显著推动了图像和视频超分辨率（SR）的发展。为了处理高分辨率（如 4K）输入，现代 SR 流程通常采用潜在分块策略（Latent Tiling），即将大图像/视频分割成多个重叠的小块（Tiles）进行独立处理，以缓解显存（VRAM）和计算资源的压力。

核心问题：提示误导（Prompt Misguidance）
现有的方法通常使用**单一的全局提示（Single Global Prompt）**来指导所有分块的生成过程。然而，在分块推理模式下，这种全局提示会导致严重的“提示误导”问题，具体表现为两类语义偏差：

1. 遗漏错误（Errors of Omission）： 全局提示过于粗略，无法捕捉特定分块中的局部细节（例如：路牌上的具体文字、特定物体的纹理），导致模型在重建这些细节时缺乏必要的语义约束，产生模糊或错误的结果。
2. 冗余/错误错误（Errors of Commission）： 全局提示包含了与当前分块无关的语义信息（例如：在全局描述中包含“天空”，但当前分块是“路面”）。这些无关的语义会干扰生成轨迹，导致模型产生幻觉（Hallucinations）或生成不合理的细节。

在视频超分辨率（VSR）中，这一问题更加严峻，因为单一静态的全局提示不仅缺乏空间上的局部细节，还缺乏时间上的动态描述（如运动物体的具体状态），导致时空不一致。

2. 方法论 (Methodology)

作者提出了 Tiled Prompts（分块提示） 框架，旨在通过为每个潜在分块生成特定的局部提示来解决上述问题。

2.1 核心思想

不再使用单一的全局提示 $c_{global}$ 指导所有分块，而是利用视觉语言模型（VLM）为每个分块 $x^{(i)}_L$ 生成一个特定于该分块的局部提示 $c^{(i)}_{local}$。

• 图像超分辨率 (SISR)： 直接对每个低分辨率分块 $x^{(i)}_L$ 使用 VLM 生成描述该区域内容的详细文本。
• 视频超分辨率 (VSR)： 考虑到 VLM 难以仅凭小窗口推断运动，该方法采用“全局上下文 + 局部裁剪”的策略。VLM 接收完整的低分辨率视频序列 $x_L$ 作为全局上下文，同时接收特定的时空分块 $x^{(i)}_L$，从而生成既包含全局场景理解又包含局部动态细节（如“旋转的车轮”而非仅仅是“汽车”）的提示。

2.2 理论分析

论文从信息论角度对提示误导进行了形式化分析：

• 定义误导量： 将提示误导 $\delta_i(c)$ 定义为当前提示 $c$ 与理想局部提示 $c^*$ 在生成轨迹上的偏差。
• 互信息间隙（Mutual Information Gap）： 定义了使用全局提示与理想局部提示之间的互信息差距 $\Delta I$。
• 理论界限： 证明了互信息差距 $\Delta I$ 与累积的提示误导量（KL 散度）存在下界关系。使用局部提示可以显著减小 $\Delta I$，从而在理论上降低误导量，使生成轨迹更准确地收敛到高分辨率细节。
• 命题 2： 证明了局部提示的互信息间隙 $\Delta I_{local}$ 小于或等于全局提示的间隙 $\Delta I_{global}$，即局部提示能更有效地消除“遗漏”和“冗余”错误。

2.3 实现流程

1. 分块： 将输入图像/视频分割为重叠的网格分块。
2. 提示生成： 使用 VLM（如 Qwen2.5-VL 或 Qwen3-VL）为每个分块生成详细的局部描述文本。
3. 条件生成： 将生成的局部提示作为条件，输入到预训练的扩散模型（如 DiT4SR 或 STAR）中进行分块去噪和重建。
4. 融合： 使用高斯加权窗口对重叠分块的输出进行平滑融合，得到最终的高分辨率结果。

3. 主要贡献 (Key Contributions)

1. 问题定义与分类： 首次明确定义了基于潜在分块的 SR 中的“提示误导”问题，并将其分类为“遗漏错误”和“冗余错误”，分析了其对重建质量的负面影响。
2. 统一框架： 提出了 Tiled Prompts 框架，利用 VLM 生成密集、上下文感知的局部提示，为图像和视频超分辨率提供精确的语义锚点。
3. 理论洞察： 从信息论角度证明了局部提示通过最小化互信息间隙，能够理论上降低提示误导，从而减少幻觉并提高重建保真度。
4. 实验验证： 在多个真实世界图像和视频数据集上进行了广泛实验，证明了该方法在感知质量、文本对齐度以及减少伪影方面的显著优势，且计算开销极小。

4. 实验结果 (Results)

4.1 数据集与基线

• 图像： 在 Urban100, OST300, LSDIR 等数据集上，以 DiT4SR 为基线。
• 视频： 在 VideoLQ, RealVSR, MVSR 等数据集上，以 STAR 为基线。
• 对比方法： 无提示（Null）、全局提示（Global Baseline）、全局 + 局部提示（Global+Local）、仅局部提示（Local）。

4.2 定量结果

• 图像质量： 使用 NIQE, MUSIQ, MANIQA, CLIPIQA 等指标，Tiled Prompts（Local）在各项指标上均优于全局提示基线。特别是在图像 - 文本对齐度（CLIP Score, ImageReward, HPSv2）上提升显著，证明生成的细节更符合局部语义。
• 视频质量： 在帧级质量（Frame-wise Quality）和视频级质量（Video Quality，如 FasterVQA, DOVER）上均有提升。有趣的是，仅使用局部提示（Local）的效果往往优于“全局 + 局部”组合，这表明无关的全局语义反而可能干扰局部重建。
• 参考指标： 在 LSDIR2048 和 SEPE8K 等高分辨率数据集上，PSNR 和 SSIM 也有提升，FID 分数降低，表明生成分布更接近真实分布。

4.3 定性结果

• 图像： 能够准确重建路牌上的文字、复杂的纹理细节，而全局提示方法常出现文字乱码或纹理模糊。
• 视频： 有效解决了时空不一致问题，能够根据局部运动生成正确的动态细节（如车轮旋转方向、水流动态），避免了全局提示导致的静态或错误运动。

4.4 效率分析

• 推理时间： 引入 VLM 生成提示带来的额外计算开销非常小（例如在 DiT4SR 上仅增加约 2% 的时间），相对于整体 SR 推理成本可以忽略不计。
• CFG 缩放： 随着引导尺度（CFG Scale）的增加，全局提示的误导效应加剧，而 Tiled Prompts 的优势更加明显，显示出更强的鲁棒性。

5. 意义与结论 (Significance & Conclusion)

意义：

• 解决高分辨率生成的瓶颈： 为高分辨率图像和视频生成提供了一种实用且高效的解决方案，解决了现有扩散模型在分块推理时因语义不匹配导致的性能下降问题。
• VLM 与生成模型的深度结合： 展示了如何利用 VLM 的细粒度视觉理解能力来增强生成模型的局部控制能力，为未来的多模态生成任务提供了新思路。
• 理论指导实践： 通过信息论分析为提示工程（Prompt Engineering）在生成式 AI 中的应用提供了理论依据。

局限性：

• 框架高度依赖 VLM 的性能。如果 VLM 对局部内容理解错误（如误读文字或产生幻觉），可能会引入新的错误。未来的工作将致力于提高 VLM 提取提示的鲁棒性和可靠性。

总结：
Tiled Prompts 通过用“局部提示”替代“全局提示”，成功克服了高分辨率超分辨率任务中的提示误导问题。该方法在不显著增加计算成本的前提下，显著提升了重建图像的感知质量、细节保真度以及语义一致性，是文本条件扩散模型在高分辨率应用中的重要进展。