技術概要：LASER – 半構造化ワークフローリソースおよび実行時間推定のための言語モデル回帰

問題定義

クラウドワークフロージョブの実行時間およびリソース消費量（CPU、メモリ、ディスク）の正確な予測は、効率的なスケジューリング、コスト管理、インフラ計画に不可欠です。予測誤りは、過剰なプロビジョニング（計算リソースの浪費）または不足したプロビジョニング（ジョブの失敗と高価な再実行の発生）につながります。

現在のアプローチはこれを表形式回帰問題として扱い、複雑で半構造化されたジョブ設定を固定サイズのベクトルに平坦化するための壊れやすい特徴量エンジニアリングを必要とします。これらの設定には、シェルコマンド、ツール固有のパラメータ、依存関係グラフ、および階層的メタデータが含まれます。従来の手法は以下の点で困難に直面しています：

• 意味的損失: 手作業による特徴量コーディングは、aarch64 と x86_64 ターゲットの違いなど、重要な意味的コンテキストを捉えるのに失敗することが多いです。
• 脆弱性: 新しいツールやコマンドが現れるとパイプラインが静かに破綻します。これは進化し続けるクラウドサービスにおいて一般的な現象です。
• 仮定の違反: 多くの手法は、チップ設計や CI/CD のような不均一なワークロードには当てはまらない、入力サイズと実行時間の線形関係という仮定に依存しています。
• データの限界: 既存の公開データセットは、現実世界の不均一なワークフローでモデルを訓練するために必要な意味的多様性を欠いていることが多いです。

手法：LASER フレームワーク

LASER（Language model-bAsed regreSsion for sEmi-structured workflow job Resource and runtime estimation）は、リソース予測をシーケンス・ツー・シーケンス生成タスクとして再定義します。特徴量エンジニアリングの代わりに、シリアライズされた生ジョブ設定を直接大規模言語モデル（LLM）で微調整し、リソース予測を含む構造化された JSON 出力を生成します。

このフレームワークは、3 つの中核的な技術的革新に依存しています：

1. 科学記数法による出力エンコーディング

リソース指標（MB から TB までのメモリ、秒から時間までの実行時間など）は複数の桁にまたがっており、標準的な線形回帰ヘッドにおいて不安定さを引き起こします。

• アプローチ: 目標値は、仮数 $m \in [1.00, 9.99]$ および指数 $e \in \mathbb{Z}$ となる科学記数法 ($m \times 10^e$) 形式の 8 トークンの固定長シーケンスとしてエンコードされます。
• 利点: これにより、ターゲットごとの正規化の必要性が排除され、モデルがスケールを超えて一貫した数値表現を学習できるようになります。
• トークナイザーの制約: 著者は、0–9 の数字を単一のトークンとしてエンコードするトークナイザー（Qwen-3、Gemma-3）に実験を限定し、固定長エンコーディングの仮定が成り立つことを保証しています。

2. 決定論的プレフィックスフィリングによる制約付きデコーディング

標準的な自己回帰デコーディングは、不正な JSON や無効な数値形式を生成する可能性があります。

• アプローチ: 出力構造（JSON キー、区切り文字、科学記数法の足場）は既知の定数です。システムは出力を、フォワードパスなしで直接埋め込まれる決定論的トークンと、モデルによって生成される数値桁である生成トークンに分割します。
• 利点: これにより、構造の妥当性が構築上保証され（ハルシネーションを防止）、固定構造トークンのフォワードパスをスキップすることで推論遅延が 30% 以上削減されます。

3. フルアテンション微調整

現代の長コンテキスト LLM は、計算コストを節約するためにスライディングウィンドウアテンションをデフォルトとして採用することが多いです。

• アプローチ: LASER は微調整中にフルアテンション機構を採用します。
• 根拠: ワークフロー設定には、遠く離れたフィールド間にも予測的なシグナルが含まれることがよくあります（例：早期に指定されたコンパイルターゲットが、後で呼び出されるツールに影響を与える場合）。フルアテンションは、スライディングウィンドウが見逃すグローバルコンテキストの可視性を保証します。

実験設定とデータセット

このフレームワークは、2 つの異なるデータセットで検証されました：

1. ChipDV（独自）: 産業用チップ設計検証ワークフローからの 16 万件以上のクラウドジョブ。設定は極めて敏感であり、スクリプトのわずかな変更が実行時間を 10 倍に増加させる可能性があります。
2. GHARuntime（公開ベンチマーク）: GHALogs から派生した新しいベンチマークで、27,000 以上の GitHub リポジトリおよび 20 のプログラミング言語にわたる 130 万件の CI/CD ワークフロー実行記録を含みます。

ベースラインには、人間の専門家、歴史的な最大値、および最先端の表形式 ML モデル（XGBoost、LightGBM、TabPFN）が含まれていました。

主要な結果

分布内性能

• 優れた精度: LASER は、ChipDV データセットにおいて、人間の専門家および歴史的ベースラインを大幅に上回りました。例えば、「ChipDV-Unseen」セットにおいて、Gemma-3-12B モデルは実行時間について平均絶対誤差（MAE）23.76 分を達成し、人間の専門家は 53.60 分でした。
• モデルのスケーリング: 性能はモデルサイズ（2 億 7000 万パラメータから 120 億パラメータ）に応じて一貫して向上し、最大のモデルがすべてのターゲット（実行時間、CPU、RAM、ディスク）で最良の結果を達成しました。

分布外（OOD）一般化

• 時間的ドリフト: 将来のジョブ（最大 26 日後）でテストされた際、LASER はリソース指標（CPU、RAM、ディスク）において安定した精度を維持し、訓練期間への過剰適合ではなく、一般化可能な消費パターンを学習したことを示しました。
• クロスリポジトリ一般化: GHARuntime ベンチマークにおいて、LASER は強力なデータスケーリング挙動を示しました。小規模モデルは限られたデータ（1,000 サンプル）では表形式ベースラインより劣りましたが、LASER は 1 万〜10 万の訓練サンプルで TabPFN-v2.6 と同等かそれ以上の性能を発揮し、表形式手法は早期に頭打ちになりました。

効率性とアブレーション

• 遅延: 制約付きデコーディングは、異なるモデルサイズにおいて推論時間を 30–36% 削減しました。
• アテンション機構: フルアテンション微調整は、特に小規模モデル（10 億パラメータ）において、スライディングウィンドウアテンションを一貫して上回り、グローバルコンテキストの重要性を確認しました。
• シーケンス長: 精度はシーケンス長が 2048 トークンまで長くなるにつれて向上しましたが、それを超えると限界効用が減少しました。

意義と主張

本論文は、半構造化ワークフローデータに対する LLM ベースの回帰のための新しいパラダイムを確立することを主張しています。主な貢献点は以下の通りです：

1. 壊れやすい特徴量エンジニアリングの排除: 生設定をテキストとして扱うことで、LASER は手作業による特徴量抽出という労働集約的で脆弱なプロセスを回避し、新しいツールやコマンドへの一般化を可能にします。
2. 回帰における技術的革新: 科学記数法エンコーディングと制約付きデコーディングの組み合わせは、生成による数値回帰の特定の課題（スケールと妥当性の処理）を解決します。
3. 新しいベンチマーク: GHARuntime の公開は、ワークフロー実行時間予測のための最初の大規模で意味的に豊かな公開ベンチマークを提供し、分野における多様なデータセットの欠如に対処します。

著者は、LASER が微調整された LLM が複雑で半構造化された産業用ワークロードの回帰器として効果的に機能し、人間のヒューリスティックおよび従来の表形式機械学習アプローチの両方を上回ることを実証していると結論付けています。