GLM-5: 「Vibe Coding」から「Agentic Engineering」への転換

技術的サマリー（日本語）

本論文は、智譜 AI（Zhipu AI）と清華大学によって開発された次世代基盤モデルGLM-5を発表したものです。GLM-5 は、単なるコード生成や対話を超え、自律的に計画・実行・反復を行う「エージェントエンジニアリング」のパラダイムへの移行を目的として設計されています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義と背景

大規模言語モデル（LLM）は、受動的な知識リポジトリから能動的な問題解決者へと進化していますが、以下の二つの重大なボトルネックが存在していました。

• 計算コストと効率性: 長文脈（Long-context）や複雑な推論タスクを処理するための計算コストが膨大であり、実用的なエージェントの展開を阻害しています。
• 実世界への適応性: 従来の静的ベンチマーク（SWE-bench など）では評価されきれていない、複雑でエンドツーエンドのソフトウェアエンジニアリングタスクや、長時間にわたる自律的なタスク実行において、モデルの能力が不足していました。

GLM-5 は、これらの課題を克服し、オープンウェイトモデルとして最先端の性能と効率性を両立させることを目指しています。

2. 主要な手法と技術的革新

GLM-5 は、以下の 4 つの核心的な技術革新によって構築されています。

2.1. アーキテクチャ：DSA（DeepSeek Sparse Attention）の採用

• 背景: 従来の Dense Attention は 128K 以上の文脈において計算コストが $O(L^2)$ となり、現実的ではありませんでした。
• 手法: GLM-5 は、DeepSeek Sparse Attention (DSA) を採用しました。これは、トークンの重要度に基づいて動的に注意（Attention）を割り当てるメカニズムです。
• 効果: 長文脈（128K）における計算コストを約 1.5〜2 倍削減しつつ、長文脈の忠実度や推論深度を維持します。これにより、パラメータ数を 744B（アクティブパラメータ 40B）までスケールさせ、トレーニングおよび推論コストを大幅に削減しました。
• 学習戦略: 密な（Dense）ベースモデルから継続学習（Continued Pre-training）を行い、「Dense Warm-up」から「Sparse Adaptation」への二段階戦略を採用することで、ゼロから学習する際の莫大なコストを回避しました。

2.2. 非同期強化学習（RL）インフラストラクチャ

• 課題: エージェントのロールアウト（試行）は長時間にわたるため、同期 RL では GPU のアイドル時間が発生し、トレーニング効率が低下します。
• 手法: 生成（推論）とトレーニングを完全に非同期に分離する新しいインフラ（slime フレームワークの拡張）を構築しました。
  • Decoupled Rollout: 推論エンジンとトレーニングエンジンを分離し、GPU 利用率を最大化。
  • Token-in-Token-out (TITO): トークンレベルで正確なアクションと報酬の対応を保証し、再トークン化によるミスマッチを防止。
  • Direct Double-sided Importance Sampling: 非同期環境におけるオフポリシーバイアスを制御するための新しいクリッピング手法。
• 効果: 大規模なエージェント軌道の探索を可能にし、トレーニングの反復速度を劇的に向上させました。

2.3. 非同期エージェント RL アルゴリズム

• 手法: 複雑で長期的な相互作用から継続的に学習するための非同期エージェント RL アルゴリズムを提案しました。
• 特徴: 動的環境における計画能力と自己修正能力を最適化し、実世界のコーディングシナリオでの支配的な性能を実現しています。

2.4. 中国国内 GPU エコシステムへのフルスタック適応

• 貢献: GLM-5 は、Huawei Ascend、Moore Threads、Hygon、Cambricon、Kunlunxin、MetaX、Enflame の 7 つの主要な国内チッププラットフォームに最初からフルスタック適応されています。
• 最適化: 低精度（INT4/W4A8）量子化、高性能カーネル融合、および高度な推論エンジンスケジューリング（vLLM-Ascend, SGLang の最適化）により、単一ノードで国際的なデュアル GPU クラスターに匹敵する性能を達成し、展開コストを 50% 削減しました。

3. トレーニングパイプライン

GLM-5 のトレーニングは以下の段階で構成されます：

1. Pre-training: 27 兆トークンのコーパス（コードと推論を優先）で学習。
2. Mid-training: 文脈長を 4K から 200K へ段階的に拡張。長文脈エージェントデータに焦点を当て、複雑なワークフローの安定性を確保。
3. Post-training:
   • SFT: 多様なタスク（チャット、推論、コーディング、エージェント）での教師あり微調整。
   • Reasoning RL: 数学、科学、コード、ツール統合推論（TIR）の混合ドメインでの強化学習。
   • Agentic RL: コーディングと検索エージェントタスクでの非同期 RL。
   • General RL: 基礎的な正確性、感情的知性、タスク固有の品質を多面的に最適化。
   • On-Policy Cross-Stage Distillation: 各段階で獲得した能力の忘却を防ぎ、統合するための最終段階。

4. 評価結果

GLM-5 は、主要なオープンベンチマークおよび実世界タスクにおいて SOTA（State-of-the-Art）の性能を示しました。

• 主要ベンチマーク:
  • Humanity's Last Exam (HLE): 50.4 点（ツール使用時）。
  • SWE-bench Verified: 77.8%（オープンモデル中最高）。
  • BrowseComp: 文脈管理戦略（Keep-recent-k + Discard-all）により 75.9 点。
  • Vending-Bench 2: 最終残高 $4,432（長期計画・リソース管理能力の高さを示す）。
  • Artificial Analysis Intelligence Index v4.0: 50 点（オープンウェイトモデルとして初）。
• 実世界エンジニアリング評価 (CC-Bench-V2):
  • Frontend: 構築成功率（BSR）100%、チェック項目成功率（CSR）で Claude Opus 4.5 と競合。
  • Backend: 実世界のオープンソースプロジェクトにおけるバグ修正や機能追加で、GLM-4.7 を大幅に上回り、Claude Opus 4.5 と同等の性能。
  • Long-horizon: 大規模リポジトリの探索や、複数ステップにわたる連鎖タスク（Chained Tasks）において、文脈維持と依存関係解決能力が顕著に向上。
• 比較: GLM-5 は、Claude Opus 4.5 や GPT-5.2 (xhigh) と同等か、特定のタスク（特に SWE-bench Multilingual や Terminal-Bench）ではそれらを凌駕する性能を示し、Gemini 3 Pro を上回っています。

5. 意義と結論

GLM-5 の発表は、AI の発展において以下の重要な転換点を示しています：

1. パラダイムシフト: 「Vibe Coding」（人間がプロンプトでコードを書かせる）から「Agentic Engineering」（AI エージェントが自律的に計画・実装・反復を行う）への移行を成功させました。
2. 効率性と性能の両立: DSA アーキテクチャと非同期 RL インフラにより、大規模モデルの計算コストを劇的に削減しつつ、実用的なタスクでの性能を維持・向上させました。
3. オープンソースの飛躍: オープンウェイトモデルが、プロプライエタリな最先端モデル（Claude Opus 4.5 など）と実務レベルで競合可能になったことを証明しました。
4. 地域的インフラの自立: 中国のハードウェアエコシステムへの深い最適化は、特定のハードウェアに依存しない汎用性の高さと、地政学的制約を超えた技術的自立を象徴しています。

結論として、GLM-5 は単に強力なモデルであるだけでなく、効率的で実用的な「エージェント型汎用知能」の次世代基盤として、コミュニティにオープンソース化され、AI エージェントの自律的な計画・実装・反復の新たな時代を切り開くことを目指しています。