あなたが素晴らしいナビゲーションアプリを開発したと想像してください。晴れた空の下、車通りのない街を完璧な GPS 信号で走行するときは、そのアプリは完璧に機能します。これを「クリーンな性能」と呼びましょう。しかし、激しい嵐の中を走行したり、道標のない住宅街で迷ったり、もはや地図に存在しない道路をナビゲートしようとしたりしたらどうなるでしょうか？アプリはクラッシュするのでしょうか？それとも湖へと案内してしまうのでしょうか？あるいは単に「わかりません」と言うのでしょうか？

この論文『グラフ表現学習の安全性について (On the Safety of Graph Representation Learning)』は、データ向けの次世代「ナビゲーションアプリ」に対する、大規模かつ厳格な「ストレステスト」のようなものです。

データの世界において、これらの「アプリ」は「グラフ表現学習 (GRL) モデル」と呼ばれます。これらは、ソーシャルメディアのつながり、化学分子、金融取引などの複雑なネットワークを、コンピュータが理解できる単純な地図へと変換します。最近では、単純な地図から「基盤モデル (Foundation Models)」へと移行しました。これらは超スマートで事前学習されたシステムであり、あらゆる場所で機能することを約束しています。

しかし、著者たちは問いかけます：現実世界がごちゃごちゃになったとき、これらの超スマートなモデルは本当に安全なのでしょうか？

以下に、日常の比喩を用いた彼らの発見の概要を示します。

1. 問題：「クリーンルーム」の罠

これまで、科学者たちは主にこれらのモデルを「クリーンルーム」内でテストしてきました。「すべてが完璧なとき、どれだけよく答えを予測できるか？」を問うてきたのです。
著者たちは、これを滑らかなレーストラックだけで車をテストすることに例えます。それでは、氷、穴ぼこ、パンクしたタイヤに対して車がどのように対処するかについては何も教えてくれません。現実世界では、データは「汚染 (corrupted)」され（悪い情報）、時間とともにシフトし（新しいトレンド）、あるいは大きな不均衡（稀な事象）を抱えています。

2. 解決策：GRL-Safety（「クラッシュテスト」ベンチマーク）

著者たちは、GRL-Safetyという新しいテスト環境を構築しました。モデルに単一のスコア（例えば「90% の精度」）を与えるのではなく、25 の異なる現実世界のデータセット全体で、12 の異なるモデルを5 つの特定のストレステストにかけました。

これは、AI 向けのクラッシュテストダミー施設のようなものですが、5 つの異なるクラッシュシナリオがあります。

• 汚染耐性 (Corruption Robustness)（「ノイズ」テスト）:

  • シナリオ: GPS 信号がノイズだらけだったり、道路標識の半分が欠けていたりすると想像してください。
  • 発見: 一部のモデルは頑丈なトラックのようで、道路が荒れていても走り続けます。他のモデルはスポーツカーのようで、エッジ（道路の接続）を少し取り除くだけで崩壊してしまいます。興味深いことに、「悪い信号」を処理するのが得意なモデルが、必ずしも「欠けた道路」を処理するのが得意とは限りません。これらは異なるスキルなのです。

• OOD 汎化 (OOD Generalization)（「未知の領域」テスト）:

  • シナリオ: ニューヨークの地図でモデルを訓練したのに、今度は東京を運転しなければならないとします。あるいは、2010 年のデータで訓練したのに、今は 2024 年だとします。
  • 発見: 「すべての道路の王」のような単一のモデルは存在しません。時間的なシフト（新しいトレンドなど）を処理するモデルは、ネットワークの構造が変化したとき（新しい種類の分子など）、悲惨なまでに失敗する可能性があります。「最高の」モデルを選ぶのではなく、あなたの特定の新しい領域に最も適したモデルを選ぶ必要があります。

• クラス不均衡 (Class Imbalance)（「稀な事象」テスト）:

  • シナリオ: 1,000 件の正常な取引に対して 1 件の詐欺がある詐欺検出システムを想像してください。「すべて正常」と言うだけで 99% の精度を達成するのは簡単です。
  • 発見: 多くのモデルは「いじめっ子」のように、多数派のことしか気にしません。彼らは素晴らしいスコアを獲得しますが、稀で危険なケース（詐欺）を完全に見逃してしまいます。著者たちは、稀なものを検出するためには、多くの場合、一般的なものの性能を犠牲にしなければならないと発見しました。これはトレードオフです。

• 公平性 (Fairness)（「裕福 vs 貧困」テスト）:

  • シナリオ: ソーシャルネットワークでは、人気のある人（次数の高いノード）には多くの友人がいますが、人気がない人（次数の低いノード）には友人がほとんどいません。
  • 発見: モデルは「人気者」に対してバイアスを持つ傾向があります。彼らはよく繋がっている人々に対しては非常に正確な予測を行いますが、孤立している人々に対しては混乱し、間違いを犯します。モデルの「安全性」は、誰がそれを使用しているかに大きく依存します。

• 解釈性 (Interpretation)（「私を信じて」テスト）:

  • シナリオ: モデルが「この分子は有毒です」と言います。あなたは「なぜ？」と尋ね、モデルは分子の特定の部分を指し示します。それは真実を言っているのでしょうか、それとも単に推測しているのでしょうか？
  • 発見: モデルが説明を「提供できる」からといって、その説明が真実であるわけではありません。著者たちは、実際に決定の「真の理由」を指し示しているモデルはごくわずかであることを発見しました。大多数は、たまたま間違っているような、もっともらしい理由を捏造しているに過ぎません。

3. 大きな教訓（「運転免許取得」のレッスン）

著者たちは、AI の安全性についての考え方を変える 3 つの主要な結論を導き出しました。

1. 「ブランド」ではなく「適合」が重要:
   「基盤モデルが最も安全だ」とは言えません。何が壊れているかによって異なります。データに欠けたリンクがある場合は、ある種類のモデルが必要です。データにノイズのあるラベルがある場合は、別のモデルが必要です。「安全性」とは、モデルの設計を、それが直面する特定のストレスに適合させることから生まれます。

2. 「スーパーモデル」神話は偽り:
   最新で最も高度なモデル（基盤モデル）は魔法の弾丸ではありません。彼らは専門家です。あるモデルは時間的なシフトの処理に優れているかもしれませんが、別のモデルは公平性に優れています。すべてに対して「最も安全な」単一のモデルは存在しません。

3. まだ難しすぎる道がある:
   テストされた最高のモデルでさえ、極端なクラス不均衡や特定の種類のデータシフトなどの状況には依然として苦労しています。これは、単に「棚から最高のモデルを拾ってくる」だけではだめであることを意味します。これらのごちゃごちゃした現実世界のストレスに対処するために特別に設計された、新しいトレーニング手法を開発する必要があります。

まとめ

この論文は、完璧でクリーンな実験室での性能によってこれらのグラフモデルを評価するのをやめるべきだと主張しています。その代わりに、私たちは「泥と雨」に満ちた現実世界の条件の中でそれらをテストする必要があります。安全性とは単一の数値ではなく、何かがうまくいかなかったときにモデルがどのように振る舞うかというプロファイルです。本当に安全なシステムを構築するためには、彼らに私たちの車を運転させる前に、どのように、そしていつ失敗する可能性があるかを正確に知る必要があります。