Dooly: Configuration-Agnostic, Redundancy-Aware Profiling for LLM Inference Simulation
Dooly 是一个与配置无关且具备冗余感知能力的 LLM 推理模拟分析系统，它利用污点传播和结构分析来执行单次推理过程，从而在保持跨多样化硬件、引擎和模型架构的高准确性的同时，显著降低分析成本。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在为一家大型披萨连锁店构建完美的配送系统。你需要决定卡车（硬件）、路由软件（服务引擎）、厨房布局（模型架构）以及你接收的订单类型（工作负载）。
问题在于，不存在单一的“最佳”配置。一辆适合小社区配送的卡车，在高速公路上可能表现极差。为了找出最佳组合，你通常必须通过实际驾驶卡车来测试每一种场景。但测试每一条路线、每一辆卡车、每一种天气条件，既耗时又耗资巨大。
这正是计算机科学家在大语言模型（LLM）（运行 AI 模型）时面临的问题。他们需要测试硬件、软件和模型的数千种组合，以找到最快的方案。目前，他们使用“模拟器”（数字试驾），但这些模拟器笨拙不堪。它们就像一位司机，每次换到略有不同的车型时，都必须从头重新学习如何驾驶，即使发动机完全相同。它们还浪费时间在反复测试完全相同的事情上。
Dooly 登场了，这是一款新工具，它像一位超级聪明、拥有记忆辅助的试驾员。
核心问题：“重复造轮子”的陷阱
该论文指出，当前的模拟器是“硬编码”的。如果你想测试一个新的 AI 模型，模拟器通常需要进行手动重写才能理解它。更糟糕的是，如果你先测试模型 A，再测试模型 B，而它们恰好使用了完全相同的数学“引擎”（例如相同的注意力机制），现有工具却无法识别这一点。它们将它们视为完全不同的任务，并从头开始重新测量。
类比：想象你是一位正在测试食谱的厨师。
- 旧方法：你烤了一个巧克力蛋糕。然后你想测试香草蛋糕。旧方法迫使你购买新食材、清理厨房，并从头开始烤香草蛋糕，尽管烤箱、搅拌碗和烘焙时间完全相同。你在浪费时间和金钱。
- 洞察：该论文认识到，许多“食材”（如搅拌碗的大小或烤箱温度）是由食谱（模型）固定的，而另一些（如你一次烤多少个蛋糕）则根据客户的订单而变化。
Dooly 如何工作：“污点”侦探
Dooly 通过两个主要技巧解决问题：
1. “污点”传播（标记食材）
Dooly 仅使用一个虚拟请求运行一次AI 模型。在运行过程中，它给使用的每个数字贴上“便利贴”（称为污点）。
- 如果数字来自模型设计（例如“该模型有 32 个头”），它会被贴上“模型”便利贴。
- 如果数字来自客户订单（例如“烤 50 个蛋糕”），它会被贴上“订单”便利贴。
这为何重要：当 Dooly 稍后查看数学计算时，它可以说：“嘿，这个计算仅依赖于‘模型’便利贴。既然模型 A 和模型 B 在这里拥有相同的便利贴，我就不需要再次测试这部分了。我已经知道答案了！”它能立即发现两个不同的模型实际上在进行完全相同的数学运算。
2. “上下文”复用（使用引擎自己的钥匙）
AI 的某些部分（如“注意力”机制）就像需要预热并连接燃油管路才能运行的汽车引擎。旧的模拟器试图手动接线来单独测试这些部分，这既困难又容易出错。
Dooly 更聪明。它说：“为什么要制造新引擎？让我们直接使用汽车自己的点火系统。”它复用服务引擎自身的启动代码来完美设置环境。这使得它能够在无需人工手动接线的情况下，独立测试 AI 中复杂的、有状态的部分。
结果：速度与节省
该论文在 12 种不同的 AI 模型上测试了 Dooly，使用了不同的硬件（NVIDIA A100 和 H100 芯片）以及不同的软件后端。
- 准确性：它以极高的精度预测了 AI 的速度（误差在 5% 到 8% 之间），足以满足规划需求。
- 效率：通过识别“重复”测试并跳过它们，与旧方法相比，Dooly 节省了**56.4%**的时间和计算能力（GPU 小时）。
- 灵活性：它开箱即用，适用于不同的模型和硬件，无需为每个模型进行手动重写。
结论
Dooly 是一款阻止计算机科学家浪费时间重复测试相同事物的工具。通过标记数字的来源并复用现有的软件设置，它构建了一个“答案库”，可用于即时模拟任何配置。它将长达数月的试错过程转变为更快、更智能的探索，帮助工程师找到运行 AI 模型的最佳方式，而无需消耗昂贵的计算时间。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。