💻 computer science

SEGA: Spectral-Energy Guided Attention for Resolution Extrapolation in Diffusion Transformers

SEGA 是一种无需训练的方法，它通过根据潜在变量的空间频率结构动态缩放旋转位置嵌入组件中的注意力，从而增强扩散 Transformer 中的分辨率外推能力，进而提升高分辨率图像生成中的结构连贯性与细节保真度。

原作者： Javad Rajabi, Kimia Shaban, Koorosh Roohi, David B. Lindell, Babak Taati

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Javad Rajabi, Kimia Shaban, Koorosh Roohi, David B. Lindell, Babak Taati

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位才华横溢的肖像画大师，他们只曾在 10 英寸的小画布上练习过。如果你突然要求他们在 20 英尺高的墙壁上绘制一幅巨大的壁画，他们可能会感到困惑。他们可能会开始重复图案、模糊细节，或者失去画面的整体轮廓，因为当空间变得过大时，他们关于“事物应位于何处”的“心理地图”就会崩溃。

这正是 SEGA（光谱能量引导注意力）为 AI 图像生成器所解决的问题。

以下是其工作原理的分解，使用简单的类比：

问题：“困惑的地图”

现代 AI 图像生成器（如 Flux 和 Qwen）使用一种称为 RoPE（旋转位置编码）的特殊内部指南针，来知晓图像的每个部分应位于何处。

问题所在： 当这些 AI 尝试生成远超其训练规模的图像时，它们的内部指南针会被“稀释”。这就像试图用一张小镇的街道地图来导航整个国家；地标变得模糊，AI 开始一遍又一遍地画同一棵树，或者让天空看起来像静态噪点。
旧有的修复方法： 以前的方法试图通过应用“一刀切”的调整来解决这个问题。想象一下给画家一条单一规则：“将你的视野缩小 20%。”这虽然有点帮助，但太过粗糙。它可能会让背景（大轮廓）变清晰，却意外地模糊了面部（微小细节），反之亦然。你无法用一个单一的旋钮来修复整幅画面。

解决方案：SEGA 的“智能聚光灯”

SEGA 是一种新的免费工具（无需重新训练 AI），它充当 AI 注意力的动态智能聚光灯。

SEGA 不使用单一的固定规则，而是观察图像在绘制过程中（逐步进行）的状态，并问道：“此刻图像的这部分有什么样的能量？”

聆听频率： 将图像想象成一首歌。有些部分是低沉的贝斯（大轮廓，如山脉或建筑物），有些则是高音的颤音（精细细节，如树叶或织物纹理）。
智能调整： SEGA 分析正在生成的图像中这些不同频率的“音量”（能量）。
- 如果“贝斯”（大轮廓）很安静，SEGA 就会调高 AI 对这些部分的注意力音量，以保持结构稳固。
- 如果“颤音”（微小细节）已经响亮清晰，SEGA 就会稍微调低音量，以免 AI 感到困惑并开始重复图案。
结果： AI 在绘画过程的每一个瞬间都获得了量身定制的指令。它确切地知道何时关注大局，何时聚焦于微小细节，而不会感到困惑。

为何重要

该论文表明，有了 SEGA，这些 AI 画家突然能够创作出巨大、超高分辨率的图像（例如 6000x6000 像素），这些图像看起来既清晰又连贯。

无需重新训练： 你不需要教 AI 任何新东西。当你要求生成大图像时，只需打开这个“智能聚光灯”开关即可。
更高质量： 它解决了 AI 尝试生成过大图像时通常出现的“模糊纹理”和“重复图案”问题。
通用性强： 它适用于不同类型的 AI 模型（Flux 和 Qwen），并且处理奇怪的形状（如非常高或非常宽的图像）的能力与处理方形图像一样出色。

简而言之，SEGA 通过动态调整焦点，让 AI 能够在巨大的画布上“看清”事物，确保图像的宏伟架构和最细微的细节都保持完美。

技术摘要：SEGA——用于扩散 Transformer 分辨率外推的谱能引导注意力

问题陈述

扩散 Transformer（DiTs）已确立为文本到图像（T2I）生成的主导架构。然而，当生成超出其训练范围（通常为 1024² 至 2048²）分辨率的图像时，其性能会显著下降。外推至更高分辨率往往导致纹理模糊、图案重复以及结构崩溃。

现有的免训练解决方案试图通过修改推理时的注意力行为来缓解这一问题，主要结合旋转位置编码（RoPE）外推与注意力缩放。当前方法（如 YaRN）对所有 RoPE 分量应用统一且内容无关的缩放。这种方法将控制细粒度纹理的短波长分量与塑造全局结构的长波长分量等同对待。本文认为，这种静态的统一性引发了一种根本性的权衡：旨在保留全局结构的策略往往无法恢复细节，反之亦然。此外，潜在表示的谱分布在去噪过程中动态演变，并随不同图像内容而变化，使得静态缩放并非最优。

方法论：SEGA

作者提出了SEGA（谱能引导注意力），这是一种免训练方法，它根据每个去噪步骤中潜在表示的空间频率结构，动态调整各 RoPE 分量的注意力缩放。

核心洞察

SEGA 的动机源于观察：RoPE 分量与特定空间频率耦合。SEGA 不应用固定缩放因子，而是通过分析当前中间潜在表示的能量分布，推导每个维度的缩放幅度。

算法流程

谱分析：在每个去噪步骤，中间潜在表示 $Z$ 通过二维快速傅里叶变换（FFT）从空间域转换到频率域。
- 轴剖面：将二维功率谱在正交轴上边缘化，以获得水平和垂直频率的一维能量剖面（ $E_H, E_W$ ）。
- 径向剖面：在同心圆环内对功率谱取平均，以获得旋转不变剖面（ $E_{iso}$ ），表示跨空间尺度的能量分布。
逐维校正（ $s_d$ ）：
- 对于每个 RoPE 维度 $d$ ，识别其对应的波长，将其映射到轴剖面中的特定频带。
- 对该频带的对数能量进行标准化。
- 应用非线性函数（tanh），并将结果零中心化，以确保严格的缩放重分配。与低能量频带相关的维度获得更强的缩放以保持位置判别力，而高能量频带获得较弱的缩放以避免过度放大。
全局幅度因子（ $\sigma$ ）：
- 使用谱平坦度（维纳熵）将径向剖面简化为单个标量。
- 该因子控制缩放的强度。如果潜在表示的谱是平坦的（以噪声为主），则 $\sigma \to 0$ ，抑制校正；随着结构内容出现且谱变得不那么平坦， $\sigma \to 1$ ，以全强度应用校正。
最终缩放公式：
维度 $d$ 的最终缩放因子 $m_d$ 计算如下：
$m_d = m_{ref} \cdot (1 - \sigma \cdot s_d)$
其中 $m_{ref}$ 是由分辨率比确定的参考尺度（使用幂律公式）。这使得 SEGA 能够根据潜在表示的谱内容连续适应，在未解析的频率处锐化注意力，在过度强调的频率处软化注意力。

主要贡献

动态、内容感知缩放：与 prior 统一缩放方法不同，SEGA 在每个去噪步骤中根据潜在表示的特定谱结构调整注意力缩放。
解决结构与细节的权衡：通过根据 RoPE 分量所关联的频带和能量水平对其进行区分，SEGA 同时提升了全局结构连贯性和细粒度细节保真度。
免训练且架构无关：该方法无需微调、无需可学习参数、无需架构更改。它可直接集成到标准的基于 RoPE 的流程中（已在 Flux 和 Qwen 上演示）。
超高分辨率下的卓越性能：SEGA 支持在超过 3600 万像素（例如 6144²）的分辨率下进行稳定生成，而其他方法在此区域往往完全失效。

实验结果

作者在多个高分辨率设置（高达 6144²）下，使用 Aesthetic-4K 数据集和自定义零样本基准，对 Flux 和 Qwen 架构评估了 SEGA。

定量性能：在所有指标上，SEGA 始终优于最先进基线（包括 NTK、YaRN、DyPE、UltraImage 以及 HiFlow 和 I-Max 等多阶段引导方法）。这些指标包括：ImageReward (IR)、PickScore (PS)、CLIP Score (CS)、MUSIQ (MSQ) 和 FID。值得注意的是，在 4096² 分辨率下，SEGA 在所有评估指标中均取得了最佳分数。
定性改进：视觉比较表明，SEGA 有效防止了常见的失效模式，如重复平铺伪影、结构崩溃和语义清晰度丧失。它保留了其他方法模糊或扭曲的复杂几何形状和精细纹理（例如毛发、织物细节）。
鲁棒性：该方法在非正方形纵横比和极端外推因子（高达训练区域的 36 倍）下保持了稳定性，而竞争方法随着分辨率增加显示出显著的性能下降。

意义与主张

本文主张，SEGA 代表了一种最小化但有效的解决方案，用于解锁预训练 DiTs 的高分辨率生成能力。通过将注意力缩放从静态的、基于启发式的方法转变为动态的、谱能引导的方法，作者解决了当前外推策略中的一个根本性局限。

作者强调，他们的工作为注意力缩放提供了“谱视角”，揭示了 RoPE 维度与空间频率之间的耦合关系，这种关系可被利用来指导推理时的适应。他们将 SEGA 定位为并非训练方法的替代品，而是一种强大的、即插即用的增强方案，允许现有模型在不产生重新训练的计算成本或多阶段流程复杂性的情况下，将其泛化能力扩展到远超其原生训练分辨率的范围。该方法被呈现为迈向更好地理解和控制注意力机制在分辨率外推任务中行为的一步。