💻 computer science

Twins: Learn to Predict Unified Representations with Focal Loss

该论文提出了“Twins”，一种通过拼接 ViT 和 VAE 特征构建的统一连续标记空间，并通过引入改进的焦点回归目标来解决扩散模型中由此产生的优化失衡问题，从而显著提升了图像生成质量和多模态理解性能。

原作者： Kaixiong Gong, Xin Cai, Bin Lin, Hao Wang, Yunlong Lin, Mingzhe Zheng, Bohao Li, Jian-Wei Zhang, Miles Yang, Zhao Zhong, Liefeng Bo, Xiangyu Yue

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kaixiong Gong, Xin Cai, Bin Lin, Hao Wang, Yunlong Lin, Mingzhe Zheng, Bohao Li, Jian-Wei Zhang, Miles Yang, Zhao Zhong, Liefeng Bo, Xiangyu Yue

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图制造一个既能像人类一样“看”世界，又能像艺术家一样“画”画的机器人。在人工智能的世界里，这两项任务通常需要完全不同的工具包。要“看”并理解一张图像（比如知道一张照片显示的是一只“金毛寻回犬”），AI 使用的是一种高层级的、充满智慧的地图，它捕捉宏观概念，但会忽略像毛发纹理这样的微小细节。而要“画”或生成一张新图像，AI 则需要另一种工具，它能保留每一个像素和精细的细节，但往往会丢失宏观层面的意义。长期以来，科学家们一直试图让这两种不同的工具协同工作，但往往不得不面临一种选择：要么是一个理解力强但画出的图像模糊的机器人，要么是一个画得精美但并不清楚自己在画什么的机器人。这篇论文针对这一棘手的平衡难题提出了疑问：我们能否为机器人创造一种单一的“语言”，让它能同时完美地完成这两项任务？

这项研究背后的研究人员被称为“Twins”，他们决定不再在这两种工具之间做选择，而是将它们粘合在一起。他们提取了“智慧型”地图（来自名为 SigLIP 的系统）和“细节导向型”地图（来自 VAE 系统），并将它们并排缝合在一起，形成一条长长的信息带。这就像是给你的机器人一副眼镜，左侧镜片看宏观图景，右侧镜片看精细细节，且两者都在同一个视野中。然而，当他们尝试教 AI 模型使用这种新的组合视图时，遇到了一个障碍。这个模型很“懒”；它偏爱容易的大局部分，而完全忽略了困难的细节部分，导致生成的图像模糊不清且缺乏纹理。

为了解决这个问题，团队发现了模型之所以“懒惰”的原因。他们发现，“容易”的部分数据是平滑且简单的，而“困难”的部分则充满了复杂且多噪的细节。AI 自然而然地更倾向于平滑的内容，就像一名学生可能会跳过难题而先做简单的拼写题一样。为了解决这个问题，他们发明了一种特殊的训练规则，称为“焦点损失”（Focal Loss）。想象一位老师，他不是平等地给每个问题评分，而是通过为答对最难的问题提供额外的加分来给予奖励。这迫使 AI 去关注图像中那些困难且复杂的细节部分。

结果令人印象深刻。通过使用这种新的“焦点损失”规则，AI 不再忽视细节。在一项标准的图像质量测试中，与旧的训练方法相比，新方法将得分提高了高达 10.57 分，且无需任何额外的引导技巧。它生成的图像清晰锐利，同时机器人依然能像以前一样很好地理解它正在绘制的内容。这篇论文表明，这种方法成功打破了过去必须在两种技能中牺牲其一的“不可能三角”，证明了只要有正确的训练技巧，单一的 AI 模型确实可以同时精通“观察”与“创造”。

技术摘要：Twins：通过 Focal Loss 学习预测统一表示

1. 问题陈述

统一多模态模型旨在利用单一模型和共享表示空间来同时支持多模态理解与图像生成。现有方法面临着一个持久的权衡，通常被称为理解（Understanding）、**重构（Reconstruction）与生成（Generation）**之间的“不可能三角”：

离散方法（Discrete Methods）： 通过共享码本（codebook）来统一接口，但往往在重构保真度方面表现不佳，或需要复杂的标记化过程。
连续方法（Continuous Methods）： 通常依赖两种截然不同的表示：用于理解的高层语义特征（如 ViT）和用于合成的低层潜变量（如 VAE）。这种分离导致了潜在空间的失配，迫使系统必须进行额外的“解码-编码”往返循环才能“理解”其生成的图像，从而破坏了表示的一致性。
近期尝试： 如 UniFlow 和 UniLip 等方法试图通过压缩高维 CLIP 特征来统一表示，但这种降维过程会损害理解能力。相反，像 RAE 这样生成高维语义嵌入（如 DINOv2）的方法，无法重构高频细节，导致图像质量较差。

核心挑战在于如何获得一种单一的连续表示，使其能够同时支持强大的语义理解、高保真重构以及生成友好的可预测性，且不增加计算开销（例如注意力机制的成本）。

2. 方法论

2.1. Twins 表示

作者提出了 Twins，这是一个统一的连续标记空间，通过在相同的标记网格上对来自两个预训练编码器的特征进行**通道维度拼接（channel-wise concatenation）**而成：

ViT 组件： 来自 SigLIP2 的富语义特征，针对判别式语义推理进行了优化。
VAE 组件： 来自 Flux.2 VAE 的细节保留潜变量，针对像素级重构保真度进行了优化。

通过在通道维度而非序列维度进行拼接，Twins 保持了原始的序列长度。这确保了二次方注意力成本（ $O(L^2)$ ）不会随着标记数量的增加而上升，从而保持了计算效率。

2.2. 优化失衡

在训练扩散 Transformer（DiT）来预测统一的 Twins 表示时，作者观察到了严重的优化失衡（optimization imbalance）：模型能够很好地拟合 ViT（SigLIP）组件，但在匹配 VAE 潜变量分布方面表现挣扎，导致生成的图像模糊且 FID 分数较低。

作者将这种失衡归因于三个来源的异质性：

谱偏差（Spectral Bias）： ViT 特征由低频信号主导，而 VAE 特征包含显著的高频能量（纹理、噪声）。神经网络天生倾向于学习低频函数（谱偏差理论），导致 DiT 先拟合 ViT 特征，并将 VAE 细节视为难以学习的噪声。
内在维度（Intrinsic Dimensionality, ID）： 虽然 SigLIP 的物理维度（768）高于 VAE（128），但其内在维度显著较低（约 15 对比约 35）。低 ID 的 SigLIP 流形更容易学习，而高 ID 的 VAE 流形呈现出更复杂的优化地形。
条件依赖性（Conditional Dependency）： SigLIP 特征具有高度结构化且与条件对齐（给定类别标签时是确定性的），而 VAE 特征保留了显著的条件无关不确定性。模型自然会优先处理可预测性强、与条件对齐的目标。

2.3. 用于流匹配的 Focal Loss

为了解决这种失衡，作者针对流匹配（Flow Matching）目标改编了一种 Focal Loss 策略。他们没有使用将所有维度同等对待的标准均方误差（MSE），而是为 VAE 通道引入了一种重加权方案：

该损失函数会对 VAE 维度上的“难”残差（大误差）分配更高的惩罚。
加权因子定义为 $w_i = |v_i - v_\theta(z, t)_i|^{2\gamma}$ ，其中 $\gamma$ 设置为 0.5。
这迫使模型专注于难以学习的高频 VAE 特征，防止优化在由较易学习的 ViT 特征主导的局部最优解中停滞。

3. 核心贡献

统一表示 (Twins)： 一种高效且简单的 ViT 与 VAE 特征通道拼接方法，支持理解与生成，且不增加序列长度或注意力成本。
失衡分析： 系统地识别并分析了联合建模中的优化失衡，将其归因于谱偏差、内在维度和条件依赖性。
Focal Loss 适配： 将 Focal 重加权策略应用于流匹配，通过提升难学习的 VAE 维度的权重，有效地缓解了失衡问题。
性能提升： 证明了该方法在保持竞争力的多模态理解性能的同时，相比于朴素的 MSE 损失，在生成质量上取得了实质性的提升。

4. 实验结果

4.1. 重构

在 ImageNet-1K 验证集上，Twins 在统一标记器中实现了最先进的重构指标：

PSNR: 31.46
SSIM: 0.90
rFID: 0.11
Twins 显著优于 RAE（PSNR 18.83），并达到了与专用生成式自编码器（如 Wan2.2 和 SD-VAE 3）相当的重构质量，证明了统一表示保留了像素级的精确一致性。

4.2. 多模态理解

当集成到 VLM 流水线中（使用 Qwen2.5-7B）时，Twins 的表现与专门的编码器相比具有竞争力：

它通常优于强大的 SigLIP2 基准。
引入低层 VAE 特征使得在细粒度任务（如 GQA 为 64.93 vs 64.54，TQA 为 58.89 vs 56.92）中取得了提升，这归功于保留了常被语义编码器抽象掉的纹理和精确形状细节。

4.3. 图像生成

在 ImageNet@256 和 @512 上：

无引导（Without Guidance）： 使用 MSE 损失的基准 Twins 模型显示出较差的 FID（较 Flux.2 VAE 基准有所下降）。应用 Focal Loss 后，对 VAE 特征的预测显著改善，在 80 个 epoch 时将 FID 从 14.41 (MSE) 降低至 3.84 (Focal Loss)。
有引导（With Guidance）： 使用分类器自由引导（classifier-free guidance）时，Twins 在 ImageNet@256 达到 1.59 的 gFID，在 ImageNet@512 达到 1.79。
权衡解决： 虽然 RAE 实现了略低的 FID，但 Twins 在重构质量（PSNR）方面显著优于 RAE，成功缩小了面向理解的表示与面向生成的表示之间的差距。

5. 意义与主张

论文声称 Twins 通过构建一种显式融合了富语义 ViT 特征与细节保留 VAE 特征的统一表示，成功打破了视觉标记化的“不可能三角”。

其意义在于：

简洁性： 它避免了复杂的架构重新设计或额外的残差编码器，而是依赖于对现成编码器的直接拼接。
平衡优化： 它识别并解决了 DiT 在统一空间中忽略高频细节的具体失效模式，提供了一种通用的解决方案（Focal Loss）用于异质特征的联合建模。
统一接口： 它使模型能够在同一个标记空间内进行理解与生成，消除了额外的解码-编码步骤，并确保了跨任务的表示一致性。

作者总结道，虽然对异质特征进行联合建模并非易事，但所提出的策略为统一表示生成建立了一个新的基准，实现了在单一框架下对语义和细粒度潜变量的高质量预测。