PAST: Prompt-Adaptive Sampling Termination for Efficient Diffusion Model

想象一个这样的世界：计算机只需听你的话，就能构思出图像。你说“一个戴着太空头盔的猫”，机器就会为你画出来。这种魔力来自于一种被称为**扩散模型（diffusion models）**的技术。可以将这些模型想象成一位雕塑家，从一块充满噪声的静态块开始——就像电视里的雪花点一样——然后慢慢凿掉噪声，从而显现出底下的清晰图像。这是一个循序渐进的过程，就像剥洋葱的层数一样，直到图像变得完美。

但问题在于：这些数字雕塑家擅长制作任何图像，但并不总是擅长制作你想要的特定类型的图像，比如看起来很“酷”或者遵循复杂故事的图像。为了解决这个问题，科学家们使用了一种称为**强化学习（Reinforcement Learning, RL）**的训练方法。这就像是在教狗：当你做得对时，你会给它奖励（零食）。然而，在计算机世界里，“零食”只会在过程的最末端出现，即在计算机花费了大量时间和电力去凿掉噪声之后。如果计算机在早期阶段犯了错，它直到为时已晚才会察觉，从而浪费了大量的能量试图去修复一条错误的路径。这使得训练过程缓慢、昂贵，有时甚至有些笨拙。

于是有了 PAST（提示词自适应采样终止，Prompt-Adaptive Sampling Termination），这是由研究员 Renye Yan、Jikang Cheng 及其团队提出的一种新方法。可以将 PAST 想象成计算机雕塑家的聪明教练。PAST 不再强迫计算机为每一张图片都必须剥开每一层洋葱，而是教计算机去倾听两件事：还剩多少噪声，以及图像与你的话语匹配得如何。如果图像已经清晰且完美符合你的描述，PAST 会说：“停！你完成了！”并节省剩余的工作。

论文指出，这种方法是效率方面的游戏规则改变者。通过添加一个名为内在奖励（intrinsic reward）的“参考指南”，计算机在过程中会得到一点点推动，从而更快地向清晰图像迈进，而不是等待最终的评分。研究人员发现，这种方法可以将训练所需的时间和能量减少高达 66.7%，同时还将偏好优化质量（AI 学习满足特定奖励目标的程度）提升了高达 29.5%。

以下是其魔力运作的方式，分为三个简单的技巧：

1. “内心独白”（内在奖励）： 通常情况下，计算机只在最后才获得奖励。PAST 在过程中给了计算机一点“内心独白”式的奖励。这就像是在告诉雕塑家：“嘿，你离目标越来越近了！”这有助于计算机更快地学习，并停止在早期犯下愚蠢的错误，这样它就不会浪费时间去修复那些本可以避免的问题。
2. “停止标志”（自适应终止）： 并非所有的图片都需要相同的时间来制作。一个简单的“红球”很容易；而一个“日落时分拥挤的城市街道”则很难。PAST 会观察正在生成的图像。一旦噪声消失且图像符合描述，它就会踩下刹车。它不会强迫计算机在已经完成的画作上继续工作。这意味着简单的提示词完成得极快，而复杂的提示词则能获得它们所需的时间。
3. “双重检查”（双重协调）： PAST 使用两个不同的传感器来决定何时停止。一个检查图像是否干净（没有更多噪声），另一个检查图像是否符合词义（语义对齐）。只有当两个传感器都说“我们准备好了！”时，它才会停止。这确保了计算机不会过早停止（留下模糊的残影），也不会停止得太晚（浪费能量）。

研究人员在多种不同类型的图像生成器上测试了该方法，发现 PAST 具有普适性，不仅限于某一种特定的模型。他们展示了通过使用这种方法，计算机可以比以前更快地达到高质量的结果。事实上，对于某些任务，它仅用了不到三分之一的时间就获得了相同（或更好）的结果。

论文反对旧有的做法，即无论每个提示词是否需要，都让计算机盲目地遵循固定的步骤。他们认为，这种“一刀切”的方法是一种能量浪费。相反，通过让计算机根据它实际看到和听到的内容来决定何时结束，我们可以让这些 AI 艺术家变得更加高效。

那么，核心结论是什么？PAST 表明，我们不需要强迫 AI 通过更努力地工作来获得更好的结果，我们只需要教会它更聪明地工作。通过在过程中给予引导并让它在完成时停下，我们可以节省大量的计算能力并更快地获得高质量的图像。这有点像意识到你不需要绕着街区开上一圈才能到达商店，因为你只需要在转角处左转即可——PAST 帮助 AI 找到了那条捷径。