NICE: Scale-Stable Perturbations for Graph Neural Network Explanations via Noise Corruption

人工知能の世界には、グラフニューラルネットワークとして知られる、成長著しいクラスのシステムが存在します。これらは、スマートフォンの標準的な画像認識ツールとは異なり、化学物質の分子、ソーシャルネットワーク、あるいは交通ルートのように、接続の網として存在するデータを理解するように設計されています。意思決定を行う際、これらのシステムはノード間のリンクに沿って情報を伝達します。それはまるで、群衆の中に噂が広まっていくかのようです。これらのシステムは非常に複雑であり、その内部ロジックはしばしば絡まり合ったブラックボックスであるため、科学者たちは「エクスプレイナー（説明器）」を開発しました。これらは、完成した決定を観察し、どの特定の接続や情報が最も重要であったかを指摘するために設計されたツールです。これらのツールの標準的な仕組みは、「もし〜だったら」というゲームを行うことです。彼らは特定の接続を取り出し、それを削除または消音し、AIにこう問いかけます。「あなたの答えは変わりますか？」もし答えが劇的に変わるならば、そのツールはその接続が極めて重要であったと仮定します。この手法は何年もの間、業界の標準となってきましたが、それはある脆弱な仮定に基づいています。それは、接続を削除するという行為が、その接続自体とは無関係に、システム全体を誤って壊してしまうのではないか、という懸念です。

中央南大学、香港理工大学、およびグリフィス大学の研究チームは、この標準的な手法が根本的に欠陥があることを発見しました。彼らは、現在のエクスプレイナーによる接続の消音方法が、AIの回答を信頼できないものにする隠れた歪みを生じさせていることを突き止めました。エクスプレイナーがネットワーク内のリンクを「オフ」にしようとする際、通常、そのリンクを流れる情報をゼロに近い数値で乗算します。これは特定のメッセージを止めることには成功しますが、ネットワーク全体を流れる情報の総量をも縮小させてしまいます。研究者たちはこの現象を「スケール・ドリフト（規模の漂流）」と呼んでいます。想像してみてください。ある人に秘密を友人にささやいてほしいと頼んだところ、その過程で、部屋にいる全員の声が通常のわずかな分量まで小さくなってしまった状況を。秘密は消えたかもしれませんが、会話全体もまた、かすかで歪んだものになってしまいました。AIは、この縮小された信号を受け取り、秘密が重要だったからではなく、単に部屋全体が何も聞き取れないほど静かになってしまったために、考えを変えてしまう可能性があるのです。研究者たちは、このドリフトが情報がネットワークを通過するステップごとに蓄積されることを示しました。つまり、ネットワークが深ければ深いほど、AIの内部状態は現実から乖離していくため、説明が信頼できなくなるのです。

これを解決するために、研究者たちは信号を縮小させることを避ける、新しいAIテスト手法を提案しました。接続を単に消音する代わりに、彼らは「ノイズ・コーラプション（ノイズによる汚染）」と呼ばれる手法を導入しました。メッセージをゼロにするのではなく、元のメッセージと全く同じ強さ、すなわち「音量」を持つ、ランダムでバラバラなバージョンに置き換えるのです。これは、明瞭な文章を、元の声と同じ大きさのノスタティック（雑音）の塊に置き換えるようなものです。情報は混乱させられますが、ネットワークに流れるエネルギーは安定したままです。音量を一定に保つことで、研究者たちは、AIの回答の変化が、特定の意味の喪失によるものではなく、システム全体のパワーの崩壊によるものであることを確実にしました。彼らはこの概念を中心に、NICEと名付けた新しいフレームワークを構築しました。このシステムは、まずAIを元の決定に戻すためにどれだけの情報を復元する必要があるかという境界を学習し、次にどの接続がその復元に最も寄与したかを計算します。

この新しいアプローチの結果は極めて重要でした。化学分子やその他の複雑な構造を含む8つのベンチマークでテストを行った際、この新手法は既存の最高のツールを凌駕しました。それは正しい重要な接続をより正確に特定することができ、従来の最良の手法と比較して、正解を見つける能力を平均で約9パーセント向上させました。さらに重要なことに、研究者たちは、この新技術が「スケール・ドリフト」の問題を排除することに成功したことを確認しました。接続を消音する古い手法と、ノイズを加える新しい手法を比較したところ、古い手法は一貫してAIの内部状態を通常の動作範囲から遠くへと押しやっていましたが、新しい手法はAIの内部状態を、変更が行われる前の状態に非常に近い状態に保っていました。このことは、長年、多くのAIが生成した説明が、AIが間違っていたからではなく、そのAIを説明するためのツールが、意図せずしてそのシステム自体を壊していたために、誤解を招くものとなっていた可能性があることを示唆しています。データの摂動（乱し方）を修正することで、研究者たちは、これらの複雑なネットワークの思考の内部をより忠実に覗き見るための方法を提供したのです。