TASQ: Temporal-Adaptive Bit Sparsification Quantization for Diffusion Models
该论文介绍了 TASQ，一种时间自适应位稀疏化量化方法，它通过在去噪步骤中动态截断最低有效位，在不增加存储开销的情况下保持图像质量，并与静态量化相比减少了 25–50% 的计算周期。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个计算机可以构思出整个世界的场景：仅仅因为你的要求，它们就能描绘出巨龙、落日或未来城市的画卷。这就是**扩散模型（Diffusion Models）**的魔力——一种通过从一片混乱的静态噪声开始，通过一步步、循序渐进地清理噪声，直到一幅清晰的图像显现出来的人工智能技术。你可以把它想象成一位雕塑家，正在从一块粗糙的大理石块中凿去多余的部分；人工智能通过数百个微小的步骤凿掉“噪声”，从而揭示出最终的杰作。
然而，这种雕刻过程的成本极其高昂。为了生成这些图像，计算机必须在其内存中携带一套庞大的指令集（称为“权重”），并且在每一个清理步骤中都要进行数十亿次微小的数学计算。这就像是在一次长途跋涉中，即便你只需要在第一英里用一把锤子，而在最后一英里用一把螺丝刀，却依然要为每一步路都背着一个装满工具的沉重背包。这种沉重的负担使得人工智能运行缓慢且耗电量巨大，这也是为什么研究人员一直在寻找减轻“背包”重量的方法，同时又不丢失构建图像所需的工具。
于是，由来自韩国和美国大学的研究团队推出的 TASQ（时序自适应位稀疏量化，Temporal-Adaptive Bit Sparsification Quantization）登场了。他们注意到关于人工智能“远足”的一个有趣现象：旅程中的每一步并不需要同样沉重的工具。在图像生成的过程中，有些时刻非常敏感，需要高精度的数学运算（比如使用激光切割机），而另一些时刻则相对宽松，可以用更简单的低精度数学运算（比如使用普通的锤子）来应对。
旧方法的缺陷在于，它们对整个旅程一视同同。如果人工智能在某一个困难的步骤中需要高精度，旧系统就会强迫计算机在整个行程中都使用这种沉重的、高精度的设置。这就像是因为你需要处理一块岩石，就必须在整个徒步过程中都背着一台激光切割机。TASQ 改变了这一局面，它允许人工智能在过程中随时切换工具。它在内存中保留一套主的高精度指令集（因此不需要携带多个沉重的背包），但它会学习一种特殊的“掩码”（mask），告诉它在每个特定步骤中应该忽略哪些指令的部分。
想象一下，你有一个高清电影文件。与其制作三个不同的电影副本（分别对应 4K、高清和低分辨率），TASQ 只保留一份 4K 文件。当场景是快速动作的爆炸戏时，它播放完整的 4K；但当场景是安静、缓慢的对话时，它会暂时“关闭”额外的细节位，从而节省能量和时间，而无需更换文件。人工智能学会了精确地掌握何时开启和关闭这些“位”，从而根据图像形成过程中不断变化的需求进行自适应调整。
研究人员在包括 PixArt-Σ、SANA 和 SDXL-Turbo 在内的几种流行图像生成模型上测试了这一想法。他们发现，通过使用这种动态切换，人工智能生成的图像看起来与那些沉重的、高精度的版本一样出色，但所需的工作量显著减少。在实验中，与不进行切换的标准方法相比，TASQ 将计算机循环次数减少了 25% 到 50%。更令人印象深刻的是，与仅使用固定低精度的基础版本相比，TASQ 在执行周期方面快了 6.1 到 7.5 倍。
至关重要的是，论文表明这不仅仅是一个理论上的技巧；它在实际模拟以及专门用于处理这种逐位计算的特定硬件上都能奏效。作者指出，通过将工具的“存储”与工具的“使用”分离，我们可以让这些强大的 AI 梦境家变得更快、更高效，使它们能够创造出美丽的图像而不至于消耗过多的能源。这是一种聪明的办法，通过给人工智能一个更轻的背包，让它在携带构建完美图像所需的一切的同时，跑得更快。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。