🤖 machine learning

LASER: Language Model Regression for Semi-Structured Workflow Resource and Runtime Estimation

LASER 是一个新颖的框架，它通过对序列化半结构化工作流配置微调大型语言模型，以准确预测资源消耗和运行时间，并通过利用科学计数法编码、约束解码和全注意力机制，在性能上超越了传统机器学习基线和人类专家。

原作者： Yuxuan Yin, Shengke Zhou, Yunjie Zhang, Ajay Mohindra, Boxun Xu, Peng Li

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuxuan Yin, Shengke Zhou, Yunjie Zhang, Ajay Mohindra, Boxun Xu, Peng Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一家庞大而繁忙的厨房（即云计算系统）的经理。每天，数百位厨师（即作业）提交复杂的食谱（即工作流配置）以供烹制。有些食谱很简单，比如烧开水；有些则极其复杂，比如需要特定烤箱、精确食材用量和精准时机的十道式宴会。

为了高效运营这家厨房，你在开始烹制前需要知道两件事：

这需要多长时间？（运行时间）
它需要多少燃料和空间？（资源，如 CPU、内存和磁盘）

如果你猜错了，要么会因为订购过多燃料而浪费资金（过度配置），要么会因为动力不足而把厨房烧毁（配置不足）。

旧方法：“清单”问题

传统上，管理者试图通过将每份食谱转化为冗长枯燥的数字清单来预测这些情况。他们必须手动将诸如“使用 aarch64 编译器”或“将 Python 版本设置为 3.11"之类的内容转换为电子表格中的具体数字。

问题在于：这份清单非常脆弱。

如果厨房中出现新工具，清单就会失效，因为没人为其写下对应的数字。
它丢失了食谱的“故事”。它将"Python 3.11"仅仅视为一个数字，却忽略了这是一个特定版本，其行为与 3.9 版本不同。
这就像试图仅通过计算页数来预测一部电影的时长，而忽略了情节、演员或特效。

新方法：LASER（“智能副厨”）

该论文介绍了 LASER，这是一个利用大型语言模型（LLM）的系统——本质上是一个阅读过数百万份食谱、代码和手册的超级智能 AI——来充当“副厨”。

LASER 不再强迫食谱适应清单，而是直接读取作业配置的原始文本。它自然地理解食谱的语言。

它看到命令 python script.py 并理解其上下文。
它看到依赖关系和层级结构，而无需人类先手动将其转换为数字。

LASER 如何解决三个棘手问题

1. “太大或太小”问题（科学计数法）
资源差异巨大。一个作业可能需要 500 兆字节的内存，而另一个可能需要 50 太字节。这是一个巨大的差距。

类比：想象试图用同一把尺子同时测量一粒沙子和一座山。这很混乱。
LASER 的解决方案：LASER 使用科学计数法（如 $5.0 \times 10^2$ ）。它教会 AI 以“十的幂”来表述。这使得 AI 能够同样出色地处理极小和极大的数字，而不会感到困惑或需要进行复杂的数学调整。

2. “幻觉”问题（约束解码）
当你要求一个智能 AI 提供数字时，它有时会发挥创意并编造内容（产生幻觉）。它可能会编造一个虚假的文件名，或者写出一个毫无意义的数字。

类比：想象你向服务员索要账单，他们却开始编造你并未点过的菜单项。
LASER 的解决方案：LASER 使用约束解码。这就像给服务员一张预印好的表格，上面有标着“时间”、"CPU"和“内存”的精确方框。AI 只被允许在这些方框内填写数字。它不能发明新的方框或胡写乱画。
额外优势：由于 AI 无需“思考”句子结构（因为结构是固定的），其回答速度快 30%。

3. “长故事”问题（全注意力机制）
有些食谱非常长。在食谱开头提到的一个细节，可能对最后一步至关重要。

类比：想象阅读一部长篇小说，但只记得最后几页。你可能会错过第 1 页发生的情节转折。
LASER 的解决方案：大多数现代 AI 模型一次只查看文本的“窗口”（如同一次阅读几页）。LASER 强制模型使用全注意力机制，这意味着它可以同时从头到尾审视整份食谱。这有助于它将作业配置中遥远部分之间的关联联系起来。

结果

作者在两种类型的“厨房”中测试了 LASER：

芯片设计：一个高度复杂、工业级的厨房，脚本中的微小变化可能导致作业耗时增加 10 倍。
GitHub Actions：一个包含来自 27,000 个不同仓库的超过 580,000 个软件作业的公共数据集。

结果如下：

LASER 的准确度超过了人类专家。
它优于传统的“清单”（表格型）机器学习模型。
随着输入更多数据并使用更大模型，其表现进一步提升（遵循“缩放定律”）。
它能够预测从未见过的作业需求，表明它学到了工作的逻辑，而不仅仅是死记硬背答案。

简而言之，LASER 用一种智能、精通语言的 AI 取代了将食谱转化为数字的脆弱且人工的过程。该 AI 能够阅读食谱、理解上下文，并提供关于时间和资源的精确、可靠的估算。

技术摘要：LASER——面向半结构化工作流资源与运行时估计的语言模型回归

问题陈述

准确预测云工作流任务的运行时及资源消耗（CPU、内存、磁盘）对于高效调度、成本控制和基础设施规划至关重要。预测失误会导致过度配置（浪费计算资源）或配置不足（引发任务失败和昂贵的重新运行）。

当前方法将此视为表格回归问题，需要脆弱的特征工程，将复杂、半结构化的任务配置展平为固定大小的向量。这些配置包括 shell 命令、特定于工具的参数、依赖图以及分层元数据。传统方法在以下方面存在困难：

语义丢失：手工编码特征往往无法捕捉关键的语义上下文（例如，aarch64 与 x86_64 目标之间的差异）。
脆弱性：当出现新工具或命令时（这在不断演进的云服务中很常见），处理流程会静默中断。
假设违背：许多方法依赖于输入大小与运行时之间的线性假设，但这不适用于芯片设计或 CI/CD 等异构工作负载。
数据限制：现有的公开数据集通常缺乏训练模型所需的语义多样性，以处理现实世界中异构的工作流。

方法论：LASER 框架

LASER（Language model-bAsed regreSsion for sEmi-structured workflow job Resource and runtime estimation，即基于语言模型的半结构化工作流任务资源与运行时估计回归）将资源预测重新框架化为序列到序列的生成任务。它不进行特征工程，而是直接在序列化的原始任务配置上微调大型语言模型（LLM），以生成包含资源预测的结构化 JSON 输出。

该框架依赖于三项核心技术创新：

1. 科学计数法输出编码

资源指标（例如，从 MB 到 TB 的内存，从秒到小时的运行时）跨越多个数量级，导致标准线性回归头的不稳定。

方法：目标被编码为科学计数法（ $m \times 10^e$ ）下的固定长度 8 个 token 序列，其中尾数 $m \in [1.00, 9.99]$ ，指数 $e \in \mathbb{Z}$ 。
优势：这消除了对每个目标进行归一化的需求，并允许模型在不同尺度上学习一致的数值表示。
分词器约束：作者将实验限制在将数字 0–9 编码为单个 token 的分词器（Qwen-3, Gemma-3）上，以确保固定长度编码假设成立。

2. 带有确定性前缀填充的约束解码

标准自回归解码可能会产生格式错误的 JSON 或无效的数值格式。

方法：输出结构（JSON 键、分隔符和科学计数法脚手架）是已知常量。系统将输出划分为确定性 token（直接填充，无需前向传播）和生成性 token（由模型生成的数值数字）。
优势：这通过构造强制保证了结构有效性（防止幻觉），并通过跳过固定结构 token 的前向传播，将推理延迟降低了 30% 以上。

3. 全注意力微调

现代长上下文 LLM 通常默认使用滑动窗口注意力以节省计算量。

方法：LASER 在微调过程中采用全注意力机制。
理由：工作流配置通常包含跨越遥远字段的预测信号（例如，早期指定的编译目标会影响稍后调用的工具）。全注意力确保了全局上下文的可见性，而滑动窗口会遗漏这一点。

实验设置与数据集

该框架在两个不同的数据集上进行了验证：

ChipDV（专有）：来自工业芯片设计验证工作流的超过 160,000 个云任务。配置高度敏感；脚本的微小更改可能导致运行时增加十倍。
GHARuntime（公开基准）：源自 GHALogs 的新基准，包含来自 27,000 多个 GitHub 仓库和 20 种编程语言的 130 万条 CI/CD 工作流执行记录。

基线包括人类专家、历史最大值以及最先进的表格机器学习模型（XGBoost, LightGBM, TabPFN）。

关键结果

分布内性能

卓越的准确性：在 ChipDV 数据集上，LASER 显著优于人类专家和历史基线。例如，在"ChipDV-Unseen"集上，Gemma-3-12B 模型的运行时平均绝对误差（MAE）为 23.76 分钟，而人类专家为 53.60 分钟。
模型扩展：性能随模型规模（从 2.7 亿到 120 亿参数）一致提升，最大模型在所有目标（运行时、CPU、RAM、磁盘）上均取得了最佳结果。

分布外（OOD）泛化

时间漂移：当在未来任务（最多提前 26 天）上进行测试时，LASER 在资源指标（CPU、RAM、磁盘）上保持了稳定的准确性，表明其学习到了可泛化的消耗模式，而非过拟合训练期。
跨仓库泛化：在 GHARuntime 基准上，LASER 表现出强大的数据扩展行为。虽然小模型在数据有限（1k 样本）时表现不如表格基线，但 LASER 在 10k–100k 训练样本下匹配或超越了 TabPFN-v2.6，而表格方法则过早达到平台期。

效率与消融实验

延迟：约束解码将不同模型规模下的推理时间减少了 30–36%。
注意力机制：全注意力微调始终优于滑动窗口注意力，特别是对于较小模型（10 亿参数），证实了全局上下文的重要性。
序列长度：随着序列长度增加至 2048 个 token，准确性有所提高，但超过该点后收益递减。

意义与主张

该论文声称建立了一种基于 LLM 的半结构化工作流数据回归的新范式。其主要贡献包括：

消除脆弱的特征工程：通过将原始配置视为文本，LASER 避免了繁琐且脆弱的手工特征提取过程，从而实现了对新工具和命令的泛化。
回归中的技术新颖性：科学计数法编码与约束解码的结合，通过生成方式解决了数值回归的具体挑战（处理量级和有效性）。
新基准：GHARuntime 的发布提供了首个大规模、语义丰富的公开工作流运行时预测基准，解决了该领域缺乏多样化数据集的问题。

作者得出结论：LASER 证明了微调后的 LLM 可以有效地作为复杂、半结构化工业工作负载的回归器，其表现优于人类启发式方法和传统表格机器学习方法。