AOI: Turning Failed Trajectories into Training Signals for Autonomous Cloud Diagnosis

この論文は、機密データの保護、権限管理された環境での安全な実行、失敗からの学習という 3 つの課題を解決するため、GRPO による知識蒸留、読み書き分離アーキテクチャ、失敗軌跡の自動変換を組み合わせた「AOI」という自律運用マルチエージェントフレームワークを提案し、AIOpsLab ベンチマークで既存の最先端手法を大幅に上回る性能達成と継続的な学習能力を実証したものである。

要約

この論文は、**「AI がクラウドのトラブルを自分で解決し、失敗から学んで賢くなる仕組み」**について書かれています。

タイトルは**「AOI（自律運用知能）」**です。

まるで、**「失敗した料理のレシピを分析して、次は完璧に作るようになる天才シェフ」**のような存在を想像してください。

---

🌟 3 つの大きな壁と、AOI の解決策

企業が AI にサーバーの管理を任せる際、3 つの大きな「壁」がありました。AOI はこれらをすべて乗り越えました。

1. 壁①：秘密のレシピ（データ）が見られない

   • 問題： 会社のサーバーのログやデータは機密事項なので、外部の AI には見せられない。でも、見せないと AI は勉強できない。
   • AOI の解決策： 「自前の厨房」。
     • 会社のデータは外に出さず、社内の小さな AI（14B というサイズ）で学習させます。
     • さらに、**「失敗した料理（トラブル）」**を捨てずに、どう直せばいいかを分析して「次の成功のヒント」に変える仕組みを作りました。失敗は「無駄」ではなく「宝物」なのです。

2. 壁②：危険な操作（書き込み）を許さない

   • 問題： AI が「サーバーを再起動する」などの危険な操作を、間違ったタイミングでやってしまったら大惨事になります。
   • AOI の解決策： 「見張り役」と「作業員」の完全な分離。
     • 見張り役（Observer）： 状況を見て、何をすべきか「考える」だけ。手は出せません。
     • 探検隊（Probe）： 安全な「読み取り」だけをして、情報を集めます。
     • 作業員（Executor）： 見張り役の許可が下りた後、本当に必要な時だけ「書き込み（修正）」を行います。
     • これにより、AI が勝手にサーバーを壊すのを防ぎつつ、慎重に調査できます。

3. 壁③：失敗から学べない

   • 問題： 従来の AI は、失敗すると「あきらめる」か、同じ失敗を繰り返すだけでした。
   • AOI の解決策： 「進化のループ（Evolver）」。
     • 失敗した手順を記録し、別の AI が「ここが間違っていたね、次はこうしよう」と修正版のレシピを作ります。
     • その修正レシピを、次のトラブル対応に「ヒント」として使います。
     • これを繰り返すことで、AI は失敗するたびにどんどん賢くなっていきます。

---

🎮 ゲームで例えると？

このシステムを**「難易度が高いダンジョン攻略ゲーム」**に例えてみましょう。

• 従来の AI：

  • 敵に当たって死んでも、「次も同じ道を進む」か、「ゲームオーバーで終了」。
  • 強力な武器（巨大な AI モデル）を持っているが、ルール（セキュリティ）が厳しすぎて、攻撃ボタンを押せない。

• AOI（新しい AI）：

  • 見張り役： 「あそこにお宝がありそうだな」と考え、地図（ログ）を眺めるだけ。
  • 探検隊： 「この通路は安全か？」とだけ確認しに行く。
  • 作業員： 見張り役が「OK」と言ったら、ようやく宝箱を開ける。
  • 進化のループ： もし「落とし穴」に落ちたら、「失敗した地図」を「修正された地図」に書き換えて、次の冒険に持ち込む。
  • その結果、最初は 4 割しかクリアできなかったダンジョンが、6 割以上をクリアできるようになりました。しかも、超高性能な AI（Claude Sonnet）よりも、この「工夫された仕組み」のおかげで、小さな AI でも勝ててしまいました。

---

🏆 何がすごいのか？（結果）

• 失敗を成功に変える： 以前は「失敗した 37 件のケース」を捨てていましたが、AOI はそれらを「修正レシピ」に変えて、全体の成功率をさらに4.8% 向上させました。
• 安定性： 以前は「運よく成功する時」と「運悪く失敗する時」の差が激しかったですが、この仕組みにより、失敗のバラつきが 35% も減り、常に安定して動けるようになりました。
• コスト削減： 巨大で高価な AI モデルを使わなくても、この「賢い仕組み」があれば、小さくて安い AI でも最高のパフォーマンスを出せます。

💡 まとめ

この論文が伝えているのは、**「失敗はゴミ箱に捨てるものではなく、次へのステップアップの材料」**ということです。

AOI は、**「安全に調査し、慎重に行動し、失敗から徹底的に学ぶ」**という、人間が理想とするエンジニアの働き方を、AI に実現させた画期的なシステムなのです。

技術概要

AOI: 自律型クラウド診断のための失敗軌跡をトレーニング信号へ変換する技術概要

本論文は、大規模言語モデル（LLM）エージェントを用いたサイト信頼性工学（SRE）の自動化における課題を解決し、企業環境での実用化を可能にする新しいフレームワークAOI (Autonomous Operations Intelligence) を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 背景と課題 (Problem)

LLM エージェントは SRE タスクの自動化に有望ですが、企業環境での展開には以下の 3 つの根本的な制約が存在します。

1. 機密データの制限: 企業固有の運用データ（ログ、設定など）へのアクセスが制限されており、モデルの学習や推論に利用できない。
2. 権限管理下での安全性: 実行環境では「読み取り（診断）」と「書き込み（修復）」の権限が厳格に分離されている必要があるが、従来の自動化システムはこれらを混同し、誤った状態変更を引き起こすリスクがある。
3. 失敗からの学習不足: 閉鎖的なシステムでは、失敗した診断経路（トラジェクトリ）を有効な学習信号として活用できず、モデルが失敗から進化する機会が失われている。

2. 提案手法：AOI (Methodology)

AOI は、セキュリティ制約下で構造化された軌跡学習問題として自動化運用を定式化した、学習可能なマルチエージェントフレームワークです。以下の 3 つの主要コンポーネントで構成されます。

A. 安全なマルチエージェント実行アーキテクチャ (Read-Write Separation)

従来の単一 LLM ではなく、役割と権限を厳密に分離した 3 つのエージェントを導入しました。

• Observer (観測者): 診断の計画と仮説の追跡を行う。環境に直接アクセスせず、圧縮されたコンテキストのみを参照する。
• Probe (プローブ): 読み取り専用（Read-only）の操作（ログ取得、ステータス確認など）を実行する。
• Executor (実行者): 書き込み操作（修復アクション）を実行する。ただし、十分な証拠が得られた場合にのみ、ホワイトリストに基づいて実行される。
• Compressor (圧縮器): 生データを要約し、コンテキストの制限内で重要な証拠のみを保持する。
  この「読み書き分離」により、最小権限の原則（Principle of Least Privilege）を遵守し、誤った状態変更を防ぎます。

B. 学習可能な診断システム (Observer GRPO)

• GRPO (Group Relative Policy Optimization) の適用: 専門家の知識を 14B パラメータのオープンソースモデル（Qwen3-14B）に蒸馏します。
• データプライバシーの維持: 機密データを外部に送信することなく、ローカルで展開されたモデルに対して、成功した軌跡から「グループ内比較」に基づく最適化を行います。
• 報酬設計: 6 つの次元（フォーマット、要約の精度、アクションの選択、文脈指示、対象リソースの正確性、自信度）に基づいてステップごとの意思決定を評価し、効率的な診断パターンを学習させます。

C. 失敗軌跡の閉ループ進化器 (Failure Trajectory Closed-Loop Evolver)

• 失敗からの学習: 診断に失敗した軌跡を破棄するのではなく、Evolver がこれを分析し、修正された診断プラン（コマンドシーケンス）を生成します。
• トレーニング信号への変換: 生成された修正プランは、Observer への構造化プロンプトとして提供され、将来の試行における「修正された指導」として機能します。
• データ拡張: 成功軌跡からも多様なバリエーションを生成し、限られた専門家データから学習データを拡張します。

3. 主要な貢献 (Key Contributions)

1. アーキテクチャ的革新: 読み書きを分離したマルチエージェント設計により、安全性を確保しつつ、探索的な診断を可能にしました。
2. 失敗軌跡の活用: 失敗した試行を「ノイズ」ではなく「修正可能な学習信号」として再定義し、GRPO を用いてシステムを継続的に進化させる閉ループ機構を構築しました。
3. 小規模モデルの高性能化: 14B モデルを適切に訓練・設計することで、最先端のクローズドモデル（Claude Sonnet 4.5）と同等、あるいはそれ以上の性能を達成しました。

4. 実験結果 (Results)

AIOpsLab ベンチマーク（86 タスク）での評価結果は以下の通りです。

• ベースラインとの比較 (アーキテクチャのみ):
  • 学習なしの AOI ランタイムは、全タスクで Best@5 66.3% の成功率を達成。
  • 従来の最先端（STRATUS）の 41.9% を24.4 ポイント上回りました。読み書き分離による即効性の高いアーキテクチャ的優位性を示しています。
• GRPO 学習による一般化:
  • 23 タスクで Observer を GRPO 訓練した後、63 タスク（未見の故障タイプを含む）で評価。
  • Avg@1 で 42.9% を達成し、マルチランサンプリングなしで Claude Sonnet 4.5 (41.3%) を上回りました。
  • 特に「検出 (Detection)」と「根本原因分析 (RCA)」タスクで大幅な改善が見られました。
• Evolver による性能向上:
  • 失敗した 37 軌跡を修正プランに変換し、システムに注入。
  • エンドツーエンドの Avg@5 を 4.8 ポイント向上させました。
  • 実行ごとのばらつき（ラン・トゥ・ラン・バリアンス）を35% 削減し、システムの安定性を高めました。

5. 意義と結論 (Significance)

• 安全性と能力の両立: 従来の「安全性制約は能力を低下させる」という仮説を覆し、厳格な権限分離（読み書き分離）が、むしろ安全な範囲内での積極的な探索を可能にし、診断精度を向上させることを実証しました。
• 失敗の価値の再発見: 失敗した診断経路を捨てるのではなく、それを構造化された指導信号に変換することで、システムが自己進化し、継続的に能力を向上させることができることを示しました。
• 実用性の向上: 大規模なクローズドモデルに依存せず、企業内でローカルに展開可能な小規模モデル（14B）でも、最先端の性能を発揮できることを実証しました。これは、データプライバシーやコスト制約のある企業環境における AI 導入の大きな障壁を取り除くものです。

本論文は、自律型クラウド診断において、**「安全なアーキテクチャ」と「失敗からの継続的学習」**を組み合わせることで、実用的かつ堅牢な SRE 自動化を実現する道筋を示した重要な研究です。