技術要約：FixItFlow – クラウドインシデントからの自動トラブルシューティングガイド生成

1. 問題提起

クラウドサービスは、迅速な診断と解決を必要とする頻繁なプロダクションインシデントに直面している。トラブルシューティングガイド（TSG）は、対応を標準化し、オンコールエンジニアの認知負荷を軽減するために極めて重要であるが、その作成と維持は依然として大部分が手動プロセスである。この手動のアプローチは、以下のような重大な欠陥を招いている：

• カバー範囲の不整合: 一般的な問題に対してガイドが存在しない一方で、既存のガイドが時代遅れになっているケースがある。
• 品質のばらつき: ドキュメントの品質は幅広く、内部調査では、ユーザーからの主な不満として、情報の欠落（32.24%）、リンク切れ（13.32%）、および誤った指示（12.21%）が挙げられている。
• 高いメンテナンス負担: サービスが進展し、新たなエッジケースが出現するにつれ、TSGを最新の状態に保つには多大なエンジニアリングの努力が必要となる。

本論文は、過去のインシデントデータからTSGを自動合成することが、これらのギャップを埋め、インシデント対応時間を改善し、エンジニアリングチームのドキュメンテーション負担を軽減できると主張している。

2. メソドロジー：FixItFlow パイプライン

FixItFlowは、生の非構造化インシデントデータを、構造化され実行可能なトラブルシューティングガイドへと変換する自動化システムである。本システムは、品質、スケーラビリティ、および事実の正確性を確保するために設計された4段階のパイプラインを通じて動作する。

2.1 データ収集と前処理

• 増分インジェクション: システムは、特定のチェックポイント・タイムスタンプ以降に発生し、かつ解決済みのインシデントのみを処理することで、冗長な計算を回避する。十分な診断シグナルを確保するため、少なくとも6つのエンジニアコメントを持つインシデントをフィルタリングする。
• 3段階のクリーニング:
  1. フォーマット・クリーニング: コードブロックやコマンドを保持しつつ、HTMLおよび視覚的なマークアップを削除する。
  2. コンテンツ・フィルタリング: 自動ボットによるメッセージや、短く情報性の低いコメントを除去する。
  3. 重複排除: 重複するインシデントを特定し、関連するコメントスレッドを統合する。
     このプロセスにより、すべての人間が記述した技術的コンテンツを保持しながら、データ量を35〜40%削減する。

2.2 セマンティック分析とアンチ・ハルシネーション・プロトコル

FixItFlowの核心的な革新は、LLM（大規模言語モデル）プロンプティング・フレームワークに統合された厳格なゼロ・ハルシネーション・プロトコルである。

• 役割の指定: LLMに対し、シニアサイトリライアビリティエンジニア（SRE）として振る舞うようプロンプトを与える。
• 厳格なグラウンディング: 生成されるガイド内のすべてのコマンド、クエリ、または手順ステップは、元のエンジニアのコメントに見られる内容と、一文字も違わない完全一致（character-by-character match）でなければならない。
• 推論の禁止: システムは、情報の合成、パラフレーズ（言い換え）、または不完全なコマンドの補完を禁止する。もしエンジニアが具体的なコマンドを提供せずにアクションのみを記述している場合、システムはそのアクションについては記述するが、コマンドについては（発明することなく）省略する。
• 抽出カテゴリ: システムは、リテラルなコマンド、診断的推論、ツール使用法、エラー分析、および根本原因の結論を含む13の特定の情報クラスを抽出する。

2.3 ガイドの合成

システムは、標準的なインシデント対応ワークフローに沿った固定の3段階構造に従ってTSGを生成する：

1. 症状 (Symptom): 観察可能な障害シグナル、検知方法、および影響を捉える。
2. 診断 (Diagnosis): 使用された正確なツールとコマンドを含む、順序立てられた調査ステップを列挙する。
3. 緩和 (Mitigation): 解決手順、検証ステップ、および再発防止策を文書化する。
   パイプラインは、最終的なガイドを出力する前に、完全性と事実へのグラウンディングを強制するためのスキーマ制約と検証チェックリストを備えた階層的プロンプト・アーキテクチャを利用する。

3. 主な貢献

本論文は、以下の4つの主要な貢献を述べている：

1. 自動化パイプライン: 既存のドキュメントに依存することなく、生のインシデントデータから直接TSGを生成するシステム。
2. 前処理技術: 実行可能なトラブルシューティング・シグナルを抽出するために、インシデントのアーティファクトをフィルタリングおよび正規化する方法。
3. 検証メカニズム: 生成時の完全性を強制し、ハルシネーションを抑制するスキーマ制約と厳格なグラウンディング・ルール。
4. 実証的評価: ドメインエキスパートによる実世界の研究を通じて、システムの有用性と採用の可能性を実証。

4. 評価結果

著者らは、26名のオンコールエンジニアからのフィードバックと、緩和時間（TTM）の分析を用いてFixItFlowを評価した。

• エンジニアのフィードバック:
  • 明快さ: 生成されたガイドは、明快さと読みやすさにおいて61.5%のポジティブな評価（Top-2 Box）を獲得した。
  • 論理的一貫性と正確性: 両方の指標において、参加者の**42.3%**から肯定的な評価を得た。
  • 採用: システムは利用可能なガイドを生成したが、採用率はまちまちであり、一部のエンジニアからは特定のチームテンプレート（例：OCE/Teamテンプレート）との整合性や、より詳細な緩和ステップを求める声があった。
• 運用の影響:
  • 生成されたガイドが関連付けられているインシデントでは、ガイドがない場合と比較して緩和時間が2.3倍短縮された。
  • システムは、手動での作成作業を軽減すると同時に、ガイドのカバー範囲を向上させることに成功した。

5. 意義と主張

本論文は、FixItFlowが、人間が作成したエンジニアリング・ドキュメントと自動化されたLLM出力の間の信頼性のギャップを埋めることにより、自動化されたテクニカル・ドキュメンテーションにおける重要な進歩であると主張している。

• 信頼性: ソースデータに対する厳格な文字レベルの検証を強制することにより、生成AIの一般的な失敗モードである「もっともらしいが事実とは異なる指示」を生成するリスクを軽減する。
• スケーラビリティ: 増分処理とクリーニング戦略により、大規模なクラウド環境を効率的に処理できる。
• 実用的な有用性: 2.3倍の緩和時間の改善は、自動化された高品質なTSGが、運用のレジリエンス（回復力）を直接的に高められることを示唆している。

著者らは、自動化されたガイド生成は実現可能であり有益であるが、採用を最大化するためには、生成されるコンテンツを特定のチームテンプレートやインシデント管理ツールにより適合させるための継続的な洗練が必要であると結論付けている。