GASS: Geometry-Aware Spherical Sampling for Disentangled Diversity Enhancement in Text-to-Image Generation

本文提出了一种名为 GASS 的几何感知球面采样方法，通过解耦并控制 CLIP 嵌入中提示相关与提示无关的变异方向，在最小化对图像保真度和语义对齐影响的前提下，显著提升了文本到图像生成模型的多样性。

要点

想象一下，你是一位拥有神奇画笔的画家（这就是现在的 AI 绘画模型），你手里拿着一张写满要求的纸条（提示词，Prompt），比如“一辆黑色的汽车”。

当你挥动画笔时，AI 确实能画出符合“黑色汽车”要求的画，但有个大问题：它太“听话”且“刻板”了。

如果你让 AI 画 10 次，它可能会画出 10 辆几乎一模一样的黑色汽车，只是稍微换个角度，背景永远是同一种灰色，光线也永远一样。这就像是一个只会死记硬背的学生，虽然答案对了，但缺乏创造力。更糟糕的是，这种刻板印象可能会加深社会偏见（比如画医生永远是男性，画护士永远是女性）。

这篇论文提出了一种名为 GASS 的新方法，就像给这位“死板画家”装上了一个**“几何导航仪”**，让他能在保持画得“像样”的前提下，画出更多样、更有趣的画面。

核心概念：把“画”拆成两个维度

作者发现，当我们要求 AI 画“一辆黑色的汽车”时，画面其实由两部分组成：

1. 听指令的部分（Prompt-Dependent）： 这是必须遵守的。比如“黑色”、“汽车”。这部分决定了画的主题。
2. 自由发挥的部分（Prompt-Independent）： 这是 AI 自己决定的。比如“背景是雪山还是海滩？”、“车是停在车库还是赛道？”、“光线是清晨还是黄昏？”。

以前的方法（熵最大化）就像是在大喊：“嘿！画得不一样点！随便乱画！”这虽然能增加多样性，但往往会导致画面变得模糊、奇怪，或者把主题也画歪了（比如把黑车画成了红车）。

GASS 的聪明之处在于，它像一位精明的导演，把这两个部分分开了：

• 轴 A（指令轴）： 沿着这个轴，AI 必须保持“黑色汽车”的核心特征。
• 轴 B（自由轴）： 沿着这个轴，AI 被鼓励去探索不同的背景、光影和风格。

GASS 是如何工作的？（三个步骤）

想象你在一个巨大的球形体育馆里（这就是论文提到的"CLIP 球体空间”，所有图片的“灵魂”都住在这里）。

1. 定位（分解）：
   当 AI 画出一张图时，GASS 会立刻分析这张图在体育馆里的位置。它把这张图拆解成：

   • 有多少是“黑色汽车”的贡献？（投影到轴 A）
   • 有多少是“背景/风格”的贡献？（投影到轴 B，这是论文发现的一个神奇方向）

2. 扩圈（几何扩张）：
   现在的 AI 画的图，都挤在体育馆的一个小角落里。GASS 会告诉 AI：“别挤在一起！我们要把大家散开！”

   • 它会在“轴 A"上稍微推开一点，让车的角度、大小有点变化（但还得是黑车）。
   • 它会在“轴 B"上用力推开，让背景从“灰色车库”变成“雪山”、“海滩”或“城市街道”。
   • 这就好比把原本挤在一起的一群鸽子，轻轻吹一口气，让它们飞向体育馆的不同角落，但依然都在体育馆里（保证质量不崩）。

3. 修正（梯度优化）：
   AI 可能会问：“那我具体该怎么改？”
   GASS 会利用一个“指南针”（冻结的 CLIP 图像编码器），告诉 AI：“往那个方向走一点点，你的画就会更丰富，但不会变丑。”AI 根据这个指引，微调它正在画的像素，最终生成一张既符合指令、又充满新鲜感的图。

为什么这个方法很厉害？

• 不破坏画质： 以前的方法为了追求“不一样”，经常把画弄糊了。GASS 因为是在几何结构上精确控制，所以画出来的图依然清晰、漂亮。
• 真正的多样性： 以前的方法可能只是把车换个位置，背景还是老样子。GASS 能真正改变背景、光线和风格（比如从白天变黑夜，从城市变森林），而且不需要你修改提示词。
• 通用性强： 不管你是用哪种 AI 模型（U-Net 还是 DiT），这个方法都能用，就像给不同的车都能装上同一个导航系统。

总结

简单来说，GASS 就是给 AI 画家装了一个“分叉路口”的导航。

以前，AI 只能走一条笔直的路，走到哪算哪。
现在，GASS 告诉 AI：“在保持‘黑色汽车’这个主路不变的前提下，你可以自由地在‘背景’和‘风格’的支路上探索。”

结果就是：你得到的不再是 10 张一模一样的黑车，而是 10 张都在黑车主题下，但背景、光影、氛围各不相同的精彩画作。这让 AI 生成的图片真正拥有了“灵魂”和“想象力”，而不是机械的复制。

技术摘要

这篇论文提出了一种名为 GASS (Geometry-Aware Spherical Sampling，几何感知球面采样) 的新方法，旨在解决当前文本到图像（Text-to-Image, T2I）生成模型在固定提示词（Prompt）下生成图像多样性不足的问题。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 核心痛点：尽管现代 T2I 模型（如扩散模型、流模型）在图像保真度和语义对齐方面取得了巨大进步，但在给定固定文本提示词时，生成的图像往往缺乏多样性。
• 负面影响：这种多样性缺失不仅限制了用户的创作选择，还可能通过强化狭隘的视觉刻板印象（如性别、种族属性）而加剧社会偏见。
• 现有方法的局限：
  • 现有的多样性增强方法主要依赖**基于熵（Entropy-based）**的引导，旨在最大化样本间的差异。
  • 这些方法通常将多样性视为单一指标，忽略了 T2I 多样性的多源性质（即：有些变化是提示词相关的，如物体角度；有些是提示词无关的，如背景、光照）。
  • 部分基于协方差矩阵分解的方法（如 Scendi）在单提示词场景下（提示词数量=1）会退化为标准指标，无法有效区分提示词相关和无关的多样性。

2. 核心方法论 (Methodology)

GASS 从几何视角出发，利用 CLIP 嵌入空间的球面几何结构，将多样性解耦为两个正交方向，并通过几何采样进行增强。

2.1 几何解耦与度量 (Geometric Disentanglement)

作者将 CLIP 嵌入空间视为高维超球面，将生成图像批次的方差分解为两个正交分量：

1. 提示词相关多样性 (Prompt-Dependent, $D_{dep}$)：
   • 由文本嵌入向量 $e_t$ 捕获。
   • 代表与提示词语义一致的变化（如物体的姿态、视角、具体类别）。
2. 提示词无关多样性 (Prompt-Independent, $D_{ind}$)：
   • 由一个识别出的正交单位向量 $u_{ind}$ 捕获。
   • 代表与文本语义正交的视觉属性变化（如背景、风格、光照）。
   • 识别方法：通过 Gram-Schmidt 正交化在 $e_t$ 的正交补空间中搜索，找到能最大化解释图像批次残差方差的主方向作为 $u_{ind}$。

度量指标 (Spherical Spread Score, SPP)：
定义总多样性分数 $SPP = D_{dep} + D_{ind}$，其中 $D$ 为图像嵌入在对应基向量上投影值的极差（最大值减最小值）。实验表明，真实图像（ImageNet）的 SPP 显著高于生成图像。

2.2 GASS 算法流程

GASS 在推理阶段（Inference-time）介入，通过以下步骤增强多样性：

1. 潜在空间球面引导 (Latent Dynamic Spherical Guidance)：
   • 在生成过程的中间步骤 $t$，获取预测的干净图像 $\hat{x}_{0|t}$ 及其 CLIP 嵌入 $e_i$。
   • 将 $e_i$ 分解为 $e_t$ 和 $u_{ind}$ 方向的分量。
   • 投影扩展 (Projection Expansion)：在两个正交方向上分别添加均匀分布的随机偏移量 $\delta$，人为扩大嵌入在球面上的几何分布范围。
   • 重归一化 (Re-normalization)：将扰动后的向量投影回单位超球面，确保其仍在有效的流形分布内。
2. 梯度优化 (SPP Gradient Optimization)：
   • 由于 CLIP 没有预训练解码器，无法直接将扩展后的嵌入转回像素空间。
   • 利用冻结的 CLIP 图像编码器计算损失函数 $L_{SPP}$（衡量当前估计图像嵌入与目标扩展嵌入的对齐度）。
   • 通过梯度下降直接优化预测的干净图像 $\hat{x}_{0|t}$，使其嵌入向 $L_{SPP}$ 定义的目标方向移动。
   • 将优化后的图像代入扩散/流模型的采样器中，引导后续生成轨迹。

3. 主要贡献 (Key Contributions)

1. 几何框架：首次提出在 CLIP 超球面内，通过正交分解将 T2I 多样性解耦为“提示词相关”和“提示词无关”两个可量化的几何分量。
2. GASS 方法：提出了一种无需修改模型权重、仅在推理时即可执行的采样引导方法。它通过显式扩展生成嵌入在正交方向上的几何分布，实现了可控的多样性增强。
3. 显著的背景多样性：GASS 是首个能在不修改文本提示词的情况下，显式引入有意义背景多样性的采样方法，填补了以往工作在“残差空间”探索上的空白。

4. 实验结果 (Results)

• 实验设置：在多种冻结的 T2I 骨干网络（U-Net 架构的 SD2.1，DiT 架构的 SD3-M；涵盖扩散和流范式）及基准测试（ImageNet, DrawBench）上进行验证。
• 对比基线：与 Particle Guidance (PG), CADS, IG, SPELL 等最先进的多样性增强方法相比。
• 主要发现：
  • 多样性提升：GASS 在参考自由指标（如 Vendi Score, VS）和几何扩展分数（SPP）上均取得了最佳或接近最佳的提升。
  • 质量与对齐保持：与许多以牺牲质量为代价换取多样性的方法不同，GASS 在提升多样性的同时，保持了竞争性甚至略有提升的图像质量（ImageReward）和语义对齐度（ClipScore）。
  • 定性分析：GASS 生成的图像不仅物体姿态/布局更丰富，而且背景细节更加多样和清晰，而其他方法往往产生模糊或平滑的背景。
  • 可控性：通过调节 $e_t$ 和 $u_{ind}$ 方向的扩展范围，用户可以分别控制语义变化（如物体角度）和风格/背景变化。

5. 意义与影响 (Significance)

• 理论创新：将多样性问题从黑盒的熵最大化转化为可解释的几何投影扩展问题，为理解生成模型的潜在空间结构提供了新视角。
• 实际应用：提供了一种轻量级、即插即用的工具，能够显著改善生成式 AI 的“模式坍塌”现象，减少偏见，提升用户在创意工作流中的控制力。
• 未来方向：该几何分解框架具有扩展性，未来可应用于多条件输入（如布局图、参考图）的解耦控制。

总结：GASS 通过几何感知的方式，巧妙地解耦并增强了 T2I 生成中的多样性，证明了在保持高质量和语义一致性的前提下，通过显式控制潜在空间的几何分布，可以有效解决生成图像单一化的问题。