A Survey on Generative Modeling with Limited Data, Few Shots, and Zero Shot

这篇论文针对医学、卫星成像等数据受限场景，系统综述了生成式建模在少样本和零样本条件下的挑战、任务分类与方法体系，并基于对 230 余篇文献的分析提出了涵盖基础模型适配与数据策略的未来发展路线图。

要点

这篇论文就像是一份**“在资源匮乏的厨房里做顶级大餐”的终极指南**。

想象一下，传统的生成式 AI（比如能画出逼真照片的 AI）就像是一个拥有无限食材和顶级厨师团队的大饭店。它们需要成千上万张图片和巨大的数据量来学习怎么画出一只猫或一个人。

但是，现实世界中有很多情况，我们没有那么多“食材”：

• 医学领域：某种罕见病的 X 光片可能只有几十张。
• 艺术领域：你想让 AI 学习画你自家那只独一无二的宠物，但你只有它的一两张照片。
• 卫星图像：某些特定地点的卫星图非常稀缺。

这篇论文（Survey）就是专门研究：当数据非常少（Few-shot）、甚至没有数据（Zero-shot）时，我们如何训练出高质量的生成模型？

作者把这种挑战称为**“数据受限下的生成建模” (GM-DC)**。为了让大家看懂这个复杂的领域，他们用了几个非常生动的比喻和分类：

1. 核心挑战：为什么“少数据”这么难？

• 死记硬背（过拟合）：
  想象一个学生，老师只给他看了一张猫的照片，就让他画猫。如果这个学生太笨，他可能会把那张照片里的每一根胡须、每一个像素都背下来，画出来的东西和原图一模一样，但换个姿势就画不出来了。这就是 AI 的“过拟合”——它记住了数据，却没学会规律。
• 频率偏见（只画轮廓，忽略细节）：
  AI 就像个喜欢画大轮廓的画家，它很容易学会画猫的“大致形状”（低频信息），但很难学会画猫毛的“细腻质感”（高频信息）。数据越少，它越容易忽略这些细节，画出来的东西看起来模糊、像塑料。
• 错误的“知识迁移”：
  这是最有趣的部分。假设你有一个画“人脸”的专家（预训练模型），你想让他改行画“花朵”。
  • 好的迁移：他学会了怎么画花瓣的纹理。
  • 坏的迁移：他太习惯画人脸了，结果画出来的花，花瓣上长出了眼睛，或者花蕊变成了鼻子（就像论文图 6 里展示的，把人脸的墨镜戴在了花上）。这就是“不兼容的知识迁移”。

2. 八大任务类型：我们要解决什么问题？

作者把这个问题分成了 8 种不同的“考试题型”：

1. 无条件的“从零开始”：给你 100 张猫的照片，让你学会画猫。（没老师教，全靠自学）。
2. 有老师的“跨域适应”：给你一个人脸专家模型，再给你 10 张猫的照片，让他学会画猫。（利用旧知识学新东西）。
3. 纯文字的“无中生有”：给你一个人脸专家模型，只告诉你“我要画梵高的风格”，不给你任何梵高的画。（完全靠文字指令）。
4. 有条件的“分类生成”：给你 100 张猫狗照片（带标签），让你学会画“猫”或者“狗”。
5. 跨类别的“举一反三”：模型已经学会了画 80 种花，现在给你 3 张第 81 种花的照片，让它学会画这种新花。
6. 跨领域的“带标签适应”：模型学过 ImageNet（很多类），现在要适应 Places365（地点），还要带标签。
7. 单图“内部挖掘”：只给你一张图（比如一张风景照），让你画出这张图里所有可能的变体（比如把云换掉，但保留山的结构）。
8. 主角驱动的“定制生成”：给你 3 张你背包的照片，告诉 AI“这是我的背包”，然后让它把背包画在各种场景里（比如背包在火星上）。

3. 七大解题策略：大厨们有什么绝招？

面对数据少的困境，研究者们想出了七种主要策略：

• 策略一：借力打力（迁移学习）

  • 微调：像给老厨师穿上新围裙，只教他新菜系的几个关键步骤，不动他原来的基本功。
  • 潜空间挖掘：在老厨师的“记忆库”里寻找适合新菜系的灵感。
  • 自然语言引导：直接告诉老厨师：“这次我们要画梵高风格”，利用 CLIP 等模型把文字变成绘画指令。
  • 提示词微调：不改动厨师的大脑，只给他一张“提示卡”（Visual Prompt），让他照着卡上的感觉画。

• 策略二：变废为宝（数据增强）

  • 把现有的几张猫的照片，通过旋转、变色、裁剪，变成几百张“看起来不一样”的照片，强行扩充数据集。但这有个风险：如果变太狠，AI 可能会学会画“旋转的猫”而不是“猫”。

• 策略三：精简架构（网络设计）

  • 既然食材少，就别用那么大的锅。设计更轻量、更简单的模型，防止它因为太复杂而“撑死”（过拟合）。

• 策略四：多任务学习（一鱼多吃）

  • 让 AI 在学画猫的同时，顺便学做别的题（比如分辨真假），强迫它理解更深层的逻辑，而不是死记硬背。

• 策略五：关注细节（频率组件）

  • 专门给 AI 戴上一副“高倍眼镜”，强迫它关注图像的高频细节（如毛发、纹理），防止它只画个大概。

• 策略六：学会学习（元学习）

  • 让 AI 先学“怎么学”。以前见过很多种花，现在给它一种新花，它能迅速利用以前的经验，只学一点点就能上手。

• 策略七：单图内部挖掘

  • 既然只有一张图，那就研究这张图内部的规律（比如这张图里云的分布规律），利用这些规律生成新图。

4. 未来的方向：路在何方？

论文最后指出了几个还没被充分开发的“宝藏”：

• 利用超级大脑（基础模型）：现在的研究多用老模型（如 StyleGAN），未来应该更多利用像 Stable Diffusion 这样的大模型，它们脑子里的知识更丰富。
• 画从未见过的东西：现在的零样本生成只能画大家熟知的概念。未来要能画出“2025 年罗马教皇就职典礼”这种还没发生、或者没被大量记录的事件。
• 跨越巨大的鸿沟：目前从“人脸”转到“动物”还能凑合，但从“人脸”转到“花朵”这种跨度极大的领域，AI 还经常画崩。这需要更强的适应力。
• 数据本身很重要：大家太关注怎么训练模型，却忽略了选什么样的数据。如果给 AI 的 10 张猫照片里，有 9 张是黑猫，1 张是白猫，它可能学偏了。如何精选数据是未来的关键。

总结

这篇论文就像是一份**“穷人的米其林指南”**。它告诉我们，即使没有海量的数据，通过巧妙的算法设计、利用已有的知识、以及聪明的数据策略，我们依然可以训练出强大的 AI，让它们学会在资源匮乏的领域（如医疗、艺术、小众领域）发挥巨大的作用。

它不仅总结了过去的 230 多篇论文，还画了一张巨大的“关系图”（Sankey 图），帮助研究者看清这个领域的脉络，为未来的创新指明了方向。

技术摘要

这是一篇发表于《Transactions on Machine Learning Research》(2025 年 12 月) 的综述论文，题为**《受限数据、少样本及零样本下的生成建模综述》(A Survey on Generative Modeling with Limited Data, Few Shots, and Zero Shot)**。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

核心问题：
传统的生成模型（如 GANs、扩散模型）通常假设拥有大规模且多样化的训练数据集（例如 Stable Diffusion 基于 4 亿张图像训练）。然而，在许多现实应用场景中（如医学影像、卫星遥感、艺术创作、特定物种识别等），获取大量标注数据极其困难、昂贵或受隐私限制。

研究目标 (GM-DC)：
本文聚焦于受限数据下的生成建模 (Generative Modeling under Data Constraint, GM-DC)。该领域旨在解决在数据极度稀缺情况下的生成任务，具体分为三个设定：

• 受限数据 (Limited Data, LD)： 50 - 5,000 个训练样本。
• 少样本 (Few-Shot, FS)： 1 - 50 个训练样本。
• 零样本 (Zero-Shot, ZS)： 无目标域训练样本，完全依赖外部知识或提示。

主要挑战：

• 过拟合 (Overfitting)： 模型倾向于记忆训练样本而非学习数据分布，导致生成多样性丧失。
• 模式坍塌 (Mode Collapse)： 生成器仅覆盖数据分布的少数模式。
• 频率偏差 (Frequency Bias)： 模型倾向于生成低频（平滑）内容，丢失高频细节（如纹理、边缘），这在医学和遥感领域尤为致命。
• 不兼容的知识迁移 (Incompatible Knowledge Transfer)： 当源域与目标域差异巨大（如人脸到花朵）时，迁移源域知识可能导致生成内容包含无关特征（如人脸上的眼镜出现在花朵上）。
• 样本选择敏感性： 在少样本设定下，训练样本的微小差异会导致生成性能的巨大波动。

2. 方法论与分类体系 (Methodology & Taxonomies)

作者提出了两个核心的分类体系（Taxonomies），对 230 多篇相关论文进行了系统梳理：

A. 任务分类 (Task Taxonomy)

将 GM-DC 任务细分为 8 类：

1. uGM-1 (无条件受限生成)： 仅给定目标域少量样本，从头训练生成器。
2. uGM-2 (基于预训练模型的无条件跨域适应)： 利用源域预训练模型，适应目标域少量样本。
3. uGM-3 (基于文本提示的无条件跨域适应)： 零样本适应，利用文本描述引导预训练模型生成目标域样本。
4. cGM-1 (有条件受限生成)： 给定带标签的少量样本，训练条件生成模型。
5. cGM-2 (基于预训练模型的有条件类内适应)： 适应同一域内未见过的类别（Few-shot class-incremental）。
6. cGM-3 (基于预训练模型的有条件跨域适应)： 跨域且跨类别的条件生成。
7. IGM (内部块分布建模)： 仅利用单张或少量图像的内部块（Patch）统计信息生成新图像（如 SinGAN）。
8. SGM (主体驱动生成)： 给定特定主体（Subject）的少量图像和文本提示，生成该主体在不同场景下的图像（如 DreamBooth）。

B. 方法分类 (Approach Taxonomy)

将现有解决方案归纳为七大类：

1. 迁移学习 (Transfer Learning)： 利用源域预训练知识。
   • 正则化微调： 冻结部分参数或使用正则项（如 EWC, CDC）防止遗忘。
   • 潜空间 (Latent Space)： 映射或调整潜变量分布。
   • 调制 (Modulation)： 在冻结的主干网络上添加可训练调制层（如 AdaFM, LoRA 变体）。
   • 自然语言引导： 利用 CLIP 等视觉 - 语言模型的对齐能力（如 NADA, DreamBooth）。
   • 适应感知 (Adaptation-Aware)： 动态识别并保留对适应任务重要的参数，剔除不兼容知识（如 AdAM, RICK）。
   • 提示微调 (Prompt Tuning)： 冻结主干，学习视觉提示 Token。
2. 数据增强 (Data Augmentation)： 通过图像级、特征级或变换驱动的设计增加数据覆盖度（如 DiffAug, ADA）。
3. 网络架构设计 (Network Architectures)： 设计轻量化、动态或集成预训练视觉模型的架构以减少过拟合（如 FastGAN, ProjectedGAN）。
4. 多任务目标 (Multi-Task Objectives)： 引入对比学习、掩码、知识蒸馏等辅助任务作为正则项。
5. 利用频率分量 (Exploiting Frequency Components)： 显式建模高频信息以解决细节丢失问题（如 WaveGAN, FreGAN）。
6. 元学习 (Meta-Learning)： 学习“如何学习”，从已见类别中提取元知识以快速适应未见类别。
7. 内部块分布建模 (Modeling Internal Patch Distribution)： 利用单图内部的自相似性进行生成（如 SinGAN 系列）。

3. 关键贡献 (Key Contributions)

1. 全面综述与统计： 涵盖了 230 多篇论文，是首个全面覆盖所有生成模型类型（GAN, DM, VAE）、所有任务设定及所有方法类别的 GM-DC 综述。
2. 双重分类体系： 提出了任务和方法的双重分类法，为理解该领域提供了结构化框架。
3. 可视化桑基图 (Sankey Diagram)： 构建了交互式桑基图，直观展示了任务、方法和具体算法之间的复杂关联与演变路径。
4. 深入的技术洞察：
   • 揭示了源域与目标域距离对迁移学习性能的关键影响（远距离迁移仍极具挑战）。
   • 指出了样本选择在少样本设定中的决定性作用（不同随机样本集导致 FID 差异巨大）。
   • 分析了现有评估指标（如 FID）在零样本/少样本场景下的局限性。
5. 实证比较： 在多个基准任务（uGM-1, uGM-2, cGM-1 等）上对代表性方法进行了定量的 FID/LPIPS 对比。

4. 实验结果与发现 (Results & Findings)

• 趋势分析：
  • 迁移学习已成为主导方向（占 2024 年工作的 77%），特别是基于自然语言引导（如 CLIP 结合）和调制微调的方法增长迅速。
  • 扩散模型 (DM) 的关注度显著上升，逐渐超越 GAN 成为少样本/零样本生成的新主流。
  • 零样本 (Zero-Shot) 研究虽然目前占比仅 3%，但随着基础模型的发展，潜力巨大。
• 性能对比：
  • 在uGM-1（从头训练）中，基于数据增强的方法（如 DANI）表现最佳。
  • 在uGM-2（跨域适应）中，适应感知 (Adaptation-Aware) 方法（如 RICK）优于传统的固定正则化方法，能有效处理源域与目标域差异较大的情况。
  • 在SGM（主体驱动）中，DreamBooth 在保真度上表现最好但计算成本高，而Tuning-free 方法（如 MoMA, BLIP-Diffusion）在效率和效果之间取得了更好的平衡。
• 局限性发现：
  • 现有方法在处理远距离目标域（如人脸 $\to$ 花朵）时，往往出现“不兼容知识迁移”（如将人脸特征强加给花朵），导致生成质量下降。
  • 评估指标在数据极度稀缺时缺乏统计显著性，且过度依赖预训练特征提取器（如 Inception），可能无法准确反映特定领域（如医学）的生成质量。

5. 意义与未来方向 (Significance & Future Directions)

意义：
该论文为研究人员和从业者提供了一份详尽的路线图，明确了在数据受限场景下如何选择合适的模型、任务设定和训练策略。它强调了从单纯追求模型架构创新转向数据感知 (Data-Centric) 和基础模型利用的重要性。

未来研究方向：

1. 利用基础模型 (Foundation Models)： 从微调 StyleGAN 转向利用大规模预训练的文本 - 图像扩散模型（如 Stable Diffusion, DALL-E）。
2. 零样本语义概念落地： 解决如何生成从未见过的、动态演变的语义概念（如 2025 年发生的特定事件）。
3. 远距离目标域迁移： 深入研究如何解决源域与目标域语义差异巨大时的知识迁移与不兼容问题。
4. 整体评估框架 (Holistic Evaluation)： 建立结合客观指标与主观人类评估的统一框架，特别是针对特定垂直领域。
5. 数据中心策略 (Data-Centric Strategies)： 从关注训练算法转向关注样本选择、清洗和预处理，因为少样本下的样本质量对结果影响极大。

总结：
这篇综述不仅系统化了 GM-DC 领域的知识，还敏锐地指出了当前研究的瓶颈（如远距离迁移、评估困难），并指明了利用基础模型和数据中心策略作为未来的突破口，对推动生成式 AI 在医疗、科学等数据稀缺领域的落地应用具有重要指导意义。