EvoCause: LLM-Guided Evolution of Causal Graphs for Root Cause Analysis

あなたは、巨大でハイテクな宇宙船の船長になったと想像してください。突然、船のコンピュータが数千ものアラームを鳴らし始めました。「エンジン高温！」「船体圧力低下！」「ナビゲーション・グリッチ！」それは、混沌とした騒音の嵐です。あなたの任務、すなわち「根本原因分析（RCA）」は、この混乱の始まりとなった、非常に小さく具体的なアラームを特定することです。そうすることで、船が墜落する前に問題を解決できるからです。現実の世界でも、通信ネットワークやクラウドシステムにおいて、毎日このようなことが起きています。一部が故障すると、エラーのドミノ倒しが発生するのです。

これを解決するために、科学者たちは、アラームがどのように互いに引き起こし合うかを示す「地図」を描こうとすることがよくあります。まるで間違いの家系図のようなものです。彼らは数学を用いて、過去のデータからこの地図を学習します。しかし、ここには問題があります。数学は完璧ではありません。地図には間違った線があったり、接続が欠落していたりすることがあります。通常、もし地図が間違っていれば、コンピュータは迷子になってしまいます。しかし、もしあなたが人間に、「前回はこれが根本原因だと言いましたが、あなたの地図ではそうではありませんでしたよ」と問いかけ、そのフィードバックに基づいて、超スマートなAIを使って地図を修正できるとしたらどうでしょうか？ これこそが、この論文が取り組んでいる問いです。数学で作られた大まかなエラーの地図を、人間の知恵と強力な言語AIを用いていかに磨き上げ、将来の災厄を解決するための極めて効果的なガイドへと進化させるか、という問いです。

---

問題点：混沌とした「壊れた地図」

あらゆる結び目がアラームである、巨大で絡まり合った毛糸玉を想像してみてください。一つの結び目が引っ張られると、他の結び目も引き寄せられます。システムを修正するには、最初に引っ張られた最初の結び目を見つけなければなりません。科学者たちは、歴史的なデータから毛糸のパターンを学習するアルゴリズムを使用して、この絡まりを解こうとしてきました。彼らはこれを「因果グラフ（causal graph）」と呼んでいます。これは、どのアラームがどのアラームを引き起こすかを示す地図のことです。

しかし、これらの数学のみによる地図は、しばらりと共にしています。実際には互いに通信していない二つのアラームの間に線を引いてしまったり、秘密のショートカットを見逃したりすることがあります。さらに悪いことに、これらの地図は通常「固定」されています。コンピュータが一度地図を描くと、たとえ人間の専門家が過去の災害を見て「いや、原因はあれではなく、これだった！」と言ったとしても、そのまま使い続けます。従来の手法は、専門家の声を無視してしまうのです。

解決策：地図の精錬機「EvoCause」

この論文の著者たちは、EvoCause（Evolve Causal Graph）と呼ばれる新しいシステムを紹介しています。EvoCauseを、下書きの地図を受け取り、特別なツールである大規模言語モデル（LLM）を使って、それがタスクに対して可能な限り正確になるまで書き直す、優秀な編集者だと考えてください。

彼らの手法における物語は、次のように展開します。

1. 下書き（ステージ I）： まず、システムは標準的な数学的ツールを使用して、アラームがどのように連鎖するかを示す基本的な地図を描きます。この地図は良い出発点ですが、完璧ではありません。
2. 専門家によるレビュー（ステージ II）： ここからが魔法の工程です。システムは、人間の専門家がすでに「これが真の根本原因である」と述べた過去の災害の山を調べます。そして、専門家の回答と、粗削りな地図が予測したものと比較します。
   • 不一致： もし地図が「アラームAが墜落を引き起こした」と言っているのに、専門家が「いいえ、アラブルBが犯人だ」と言った場合、システムは地図が間違っていることを察知します。
   • LLMの役割： 単に地図を削除するのではなく、システムは超スマートなAI（LLM）に修正案を出すよう求めます。AIは、その不一致とアラームの名前（例：「サーバー過負荷」や「ネットワーク遅延」など）を見て、「ああ！ おそらくBからAへの線を引くか、AからCへの線を削除する必要があるのだな」と判断します。
   • 安全チェック： AIの提案はあくまで推測であるため、厳格なルールに従うコンピュータプログラムがそれをチェックします。新しい地図が不可能なループ（例：AがBを引き起こし、BがCを引き起こし、CがAを引き起こす）を作成していないか、また名前が一致しているかを検証します。提案が安全であれば、地図は更新されます。
3. 最終的な地図： システムはこのプロセスを繰り返し、さまざまな編集を試みながら、専門家の過去の診断に最もよく一致する地図が見つかるまで続けます。重要なのは、専門家のフィードバックは、単一の「完璧な」地図を指し示すのではなく、優れた地図の集合へと可能性を絞り込むことが多いという点です。EvoCauseは、その仕事に最も適した地図を見つけ出します。

結果：よりスマートな地図

著者たちは、このアイデアを二つの方法でテストしました。一つは「真の答え」が分かっている疑似データを用いたもの、もう一つはインドネシアの巨大な通信ネットワークから得られた実データを用いたものです。

疑似データにおいて：
彼らは既知のルールを持つ10種類の異なる仮想世界を作成しました。基本的な数学的地図から始めてEvoCauseに精錬させたところ、結果は目覚ましいものでした。システムは真の根本原因を見つける能力が大幅に向上しました。

• 正しい根本原因アラームを見つける精度が11.59パーセントポイント向上しました。
• 特定のインシデントに対する正しい根本原因のセット全体を特定する精度が9.40パーセントポイント向上しました。
• また、地図自体の正確性も向上し、誤った線の数が測定可能なレベルで減少しました。

実データ（TeleRCA）において：
著者たちは、194種類の異なるアラームタイプと5,621個のリソースにわたる485,681件のアラームイベントを含む、新しい巨大なデータセットTeleRCAを公開しました。これは、現実世界のネットワークの混沌を収めた宝庫です。

• この実データにEvoCauseを適用したところ、改善はさらに顕著でした。基本的な地図からスタートして、正しい根本原因アラームを見つける精度を**65.18%から92.58%**へと押し上げました。
• また、AIがアラームの名前（例：「CPUオーバーヒート」）を知っている必要があるのか、それとも単なる番号だけで機能するのかをテストしました。その結果、名前を知っている方が役に立つことが分かりました！ 名前を隠して匿名IDを使用した場合、精度は6.12パーセントポイント低下しました。これは、AIが地図を修正するためのより賢い推測を行うために、アラーム名の「意味」を利用していることを示唆しています。

これが意味すること

この論文は、私たちは「数学のみ」の地図と「人間のみ」の推測のどちらかを選ばなければならないわけではない、ということを示しています。これらを組み合わせることで、より優れたものが得られます。LLMは、人間のフィードバックに基づいて地図の修正を提案するクリエイティブな編集者として機能し、厳格なコンピュータが地図の論理性を維持します。

決定的なのは、一度地図が精錬されれば、システムにはもはやAIも人間の専門家も必要なくなるということです。精錬された最終的な地図を使用して、新しい災害の根本原因を瞬時に予測するだけです。これは、過去の事故を見せることで道路のルールを教える学生のようなものです。一度ルールを学んでしまえば、隣に先生がいなくても、自分自身で安全に運転できるようになります。

著者たちは、すべてを「解決」したわけではないと慎重に述べています。専門家のフィードバックは、通常、可能性をいくつかの優れた地図へと絞り込むものであり、必ずしも単一の「完璧な」地図を指し示すわけではないことを彼らは発見しました。しかし、彼らの手法は、ネットワークの修復という任務において極めてうまく機能する地図を見つけ出しており、私たちのつながった世界をスムーズに稼働させ続けるための強力な新しいツールとなっています。