Generative Models: Principles, Architectures, and Applications
本书作为一本全面的指南，阐述了生成式人工智能的基础原理、数学基础和实际架构，并展示了其在从图像与文本生成到分子设计等多样化应用中的变革性影响。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你拥有一座宏大而混乱的图书馆，其中的每一本书都是现实的一个碎片——一张猫的照片、一句诗歌、一段日落的视频，甚至是一个新药的分子结构。几十年来，计算机擅长“阅读”这座图书馆（进行排序、分类或预测下一个词），但它们却不擅长编写具有真实感的全新书籍，因为它们无法进行想象。这本书——《生成式模型：原理、架构与应用》（Generative Models: Principles, Architectures, and Applications）——深入探讨了计算机科学中那个让机器学会创造的神奇角落。它聚焦于一个特定的技巧：教计算机将纯粹的、随机的静态噪声（就像旧电视没有信号时看到的白噪声）转化为清晰、有意义的图像和声音。这就像是在教一位雕塑家，如何从一块混沌、嘈杂的粘土开始，通过一步步地平滑处理，最终呈现出一尊完美的雕像。这本书探讨了执行这种平滑操作的数学“双手”，从通过猜测与尝试的传统方法，到像“逆向时间机器”一样通过抹除噪声来揭示隐藏图像的现代技术。
这本书是现代“生成式人工智能”（Generative AI）引擎室的全面指南，这项技术正是那些能够像梵高一样绘画或像莎士比亚一样写作的工具背后的核心。作者陆军（Jun Lu）带领读者踏上了一段探索这些创意机器历史与未来的旅程。故事始于两种较旧的基础方法：变分自编码器（VAEs）和生成对抗网络（GANs）。书中将它们描述为该领域的“祖辈”。VAEs 就像是一位压缩艺术家，试图将一张图像压缩成微小的、抽象的摘要，然后将其重建，从而学习使图像看起来正确的规则。GANs 则像是一场永无止境的对决中的伪造者与侦探：伪造者试图制造假艺术品，而侦探则试图识破这些伪造品。通过这场战斗，伪造者变得越来越出色，直到创作出的艺术品与真品难辨真伪。
然而，真正的明星，也是本书关注的核心，是扩散模型（Diffusion Model）。书将其描述为当前图像创作领域的冠军。扩散模型并不依赖于对决或简单的压缩，而是像一段倒放的慢动作视频。想象一下，你拿一张清晰的狗的照片，然后慢慢加入数字“雪花”（噪声），直到它变成一片模糊的灰色混沌。扩散模型学习如何逆转这一过程：它从那团灰色的混沌开始，通过一步步地移除“雪花”，最终显现出那只狗。书中细致地分解了这一过程背后的数学原理，解释了计算机如何精确地知道在每一步中应该移除多少“雪花”，以避免图像出现涂抹感。它涵盖了“前向过程”（添加噪声）和“反向过程”（移除噪声），展示了这种方法如何产生极高质量、极其真实的图像。
这本书并不仅停留在理论层面；它还解释了如何让这些模型“听从指令”。它详细介绍了“引导”（guidance）机制，这就像是给计算机下达提示词（prompt）。如果你告诉模型“一只戴帽子的猫”，书里会解释数学是如何改变“去噪”步骤，以确保最终生成的图像符合你的描述。它还探索了“流模型”（Flow-Based Models），它们提供了一种更直接的方式将噪声转化为数据，就像一条河流从简单的源头平滑地流向复杂的目的地。
在后面的章节中，书中的视角转向了这些模型内部真实的“机械构造”。它引入了 U-Net，这是一种特定的神经网络形状，充当着艺术家的手，在不同的尺度上精细地优化图像。随后，它引入了 ControlNet，这是一个聪明的插件，允许用户提供草图或姿态引导，强制计算机在保持想象力的同时遵循严格的结构规则。最后，书中的目光投向了最前沿的领域：扩散 Transformer（DiTs）。这些是正在取代旧有 U-Net 结构的更强大、更先进的引擎，它们利用“自注意力机制”（类似于人类如何专注于句子中的特定单词）来处理海量的数据。书中将 Stable Diffusion 3 模型作为典型案例，展示了它如何结合多个文本理解大脑，以理解复杂的指令，并生成极高分辨率（高达 2048x2048 像素）的图像。
在整本书中，作者强调，尽管这些模型功能强大，但它们是建立在涉及概率、微积分和线性代数的严谨数学基础之上的。这本书充当了一座桥梁，带领读者从基础的数学构建块走向那些正在重塑我们数字内容创作方式的复杂现实系统。它表明，通过理解这些模型的“如何运作”以及“为何如此”——从噪声计划到 Transformer 模块——读者不仅可以利用这些工具，还可以推动人工智能创意未来的边界。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。