Animalbooth: multimodal feature enhancement for animal subject personalization

以下是论文《ANIMALBOOTH：用于动物主体个性化的多模态特征增强》的详细技术总结。

1. 问题陈述

与人类主体个性化相比，动物个性化图像生成面临独特的挑战，主要源于：

• 非刚性形变：动物展现出多样化的姿势和身体构型，且在不同物种间差异显著。
• 解剖学差异：骨骼结构和身体比例存在显著差异（例如猫科动物与牛科动物）。
• 复杂的纹理需求：皮毛图案、鳞片和羽毛等细粒度细节难以被通用模型在不发生身份漂移的情况下保留。
• 领域差距：现有方法（如基于优化的 DreamBooth 或免调优的 IP-Adapter）常受困于身份漂移，无法捕捉特定的动物特征或丢失精细纹理。此外，现有数据集缺乏高精度主体掩码和细粒度描述，难以满足精确的动物个性化需求。

2. 方法：AnimalBooth

AnimalBooth 是一个推理阶段免调优框架，旨在增强身份保持和纹理保真度。它由三个核心组件组成，并集成在 Stable Diffusion v1.5 骨干网络中：

A. 整体架构

该框架整合了一个可训练的 Animal-Net与一个冻结的 Photography-Net。

• Animal-Net：专注于在特征空间内细化复杂的动物特征和灵活的形态，绕过跨域对齐问题。
• Photography-Net：作为冻结的基础模型，在潜在空间中融合提取的细粒度特征与文本提示。
• 频率控制模块：基于 ControlNet，利用离散余弦变换（DCT）滤波引导扩散过程。

B. 关键模块

1. 带有 Q-Former 瓶颈的 Animal-Net：

   • 接收参考动物图像，通过冻结的 VAE 和 CLIP 编码器进行编码。
   • 使用Q-Former作为投影层。与静态映射（如 MLP）不同，Q-Former 充当语义瓶颈，动态关注相关的身份特征，同时过滤背景噪声。
   • 输出与 Photography-Net 并行对齐。

2. 双路径自适应注意力机制：

   • 替换了 Photography-Net 中的标准自注意力机制。
   • 冻结自注意力路径：保留 Stable Diffusion 原有的生成能力和语义理解。
   • 可训练交叉注意力路径：从 Animal-Net 注入动物身份特征（$F_a$）。
   • 数学公式：输出由冻结的自注意力项和由动态系数 $\lambda$ 加权的可学习交叉注意力项组合而成：
     $$O_h = \text{Softmax}\left(\frac{QK^\top}{\sqrt{d}}\right)V + \lambda \cdot \text{Softmax}\left(\frac{Q(K_{ID})^\top}{\sqrt{d}}\right)V_{ID}$$
   • 这使得在身份保持与创意生成之间实现灵活平衡。

3. 频率控制的特征融合：

   • 在潜在空间应用**离散余弦变换（DCT）**滤波，引导扩散过程从粗略结构过渡到精细纹理。
   • 设计了四种特定掩码：Mini-pass（最小通带）、Low-pass（低通）、Mid-pass（中通）和 High-pass（高通）。
   • 低通滤波被确定为保持全局结构和形态（对动物识别至关重要）的关键，而高频分量则由扩散模型的固有能力处理。

C. 训练策略

训练遵循由粗到细的两阶段进程：

• 阶段 1（身份学习）：训练 Animal-Net 和投影模块，利用文本和动物身份条件最小化噪声预测误差。
• 阶段 2（纹理增强）：训练频率控制的 ControlNet 模块，利用特定的 DCT 滤波器增强精细纹理和结构细节，解耦身份与纹理优化。

3. 主要贡献

1. AnimalBooth 框架：一种新颖的免调优架构，包含轻量级Animal-Net和双路径自适应注意力机制，有效减轻了身份扭曲，同时保持了生成能力。
2. 频率控制融合：一个独特的模块，利用潜在空间中的DCT 滤波将结构引导（低频）与纹理生成分离，显著改善了属性操控。
3. AnimalBench 数据集：一个专为动物个性化策划的高清数据集，包含10,958 张训练图像和1,000 张测试图像，具备像素级语义掩码和详细描述。

4. 实验结果

实验在 AnimalBench 数据集上进行，将 AnimalBooth 与包括 Textual Inversion、BLIP-Diffusion、Omnigen、IP-Adapter 和 Flux (DiT) 在内的最先进（SOTA）方法进行了比较。

• 定量性能：AnimalBooth 在所有指标上均取得了**最先进（SOTA）**的结果：
  • CLIP-I（身份）：90.00（IP-Adapter 为 89.75）。
  • DINO（细节/真实感）：75.66（IP-Adapter 为 72.88）。
  • CLIP-T（文本对齐）：20.73。
  • LPIPS（感知质量）：49.08（越低越好）。
• 效率：
  • 推理速度：AnimalBooth 比基于 DiT 的模型（Flux）快 25 倍，且显著快于 Omnigen。
  • 内存占用：仅需0.7 GB 显存，而 Omnigen 为 10.4 GB，Flux 为 12.8 GB。
  • 参数量：仅 12 亿可训练参数。
• 消融研究：
  • Q-Former：大幅优于 MLP 和拼接方法（例如 CLIP-I 提升 19.42 分）。
  • 频率控制：证明低通滤波在身份保持方面优于高通滤波或无滤波。
  • 引导尺度：在 $w=7.5$ 时达到最佳性能。

5. 意义

AnimalBooth 通过解决动物个性化的特定挑战（非刚性身体、复杂纹理），同时避免了逐个主体微调的计算成本，填补了多模态生成领域的关键空白。

• 实用性：其低显存占用和快速推理使其非常适合现实世界应用（例如虚拟宠物设计、创意艺术）。
• 研究影响：AnimalBench的引入为未来动物特定生成模型的研究提供了必要的基准。
• 技术创新：Q-Former 用于语义瓶颈与基于 DCT 的频率控制相结合，提供了一种控制扩散过程的新范式，有效地将结构身份与纹理细节分离。

作者指出，未来的工作将把该框架扩展到视频模态，以实现一致性的动物生成。