A Comparative Study of Counterfactual Explainers for Graph Neural Networks Enabling Multiple Types of Graph Edit

人工知能の世界では、特にその決定が実生活に影響を与える場合において、機械がいかにして意思決定を行うのかを理解しようとする需要が高まっています。例えば、薬物同士がどのように相互作用するかを示すマップや、人々がどのように社会ネットワークでつながっているかのような、複雑な接続のネットワークをコンピュータプログラムが観察し、ある結果を予測すると想像してみてください。グラフニューラルネットワークとして知られるこれらのプログラムは非常に強力ですが、多くの場合、理由を説明することなく予測のみを提示する「ブラックボックス」として機能します。これを解決するために、研究者たちは「反事実的説明（counterfactual explanation）」と呼ばれる手法を開発しました。この手法は、単にネットワークのどの部分が最終的な答えにとって重要であったかを指摘するのではなく、「もし〜だったら」という問いを投げかけます。つまり、予測を完全に変えるためには、ネットワークに対してどのような最小かつ最も現実的な変更を加えることができるのか、という問いです。例えば、あるシステムが「2つの薬を併用しても安全である」と予測した場合、反事実的説明は、もし新たな接続が存在していたならば、システムが「危険な反応がある」と予測するようになるのはどの接続であるかを正確に示すことになります。このアプローチは、機械の論理を制御する正確なレバーを示すことで、医師、科学者、エンジニアが機械を信頼することを助けます。

ギリシャの計算科学研究所の研究チームは最近、グラフネットワークにおけるこれらの「もし〜だったら」というシナリオを生成するために現在利用可能な最良のツールをテストすることを目的として調査を行いました。彼らは、単に接続を削除するだけでなく、新しい接続を追加することもできる次世代のツールに焦点を当てました。このように、リンクの追加と削除の両方ができる能力は極めて重要です。なぜなら、現実世界のネットワークは固定されていることが少なく、進化していくものであり、それらをどのように変化させるかを理解するには、両方向を見る必要があるからです。研究者たちは、このタスクのために設計された最も高度な6つのコンピュータプログラムを集め、厳格な一連のテストを実施しました。彼らは、特定のパターンを持つように構築された合成ネットワークから、化学分子やソーシャルメディアの投稿、科学的な引用文献に至るまで、幅広いデータを用いてこれらのプログラムを実行しました。目的は、単にどのプログラムが答えを見つけられるかを確認することではなく、その答えの質を判断することでした。すなわち、その変更は信じられるほど十分に小さいか？ それは実際に予測を覆したか？ そして、計算に時間がかかりすぎていないか？ ということです。

この研究により、あらゆるカテゴリーで勝利する単一のチャンピオンは存在しないことが明らかになりました。研究者たちは、説明の速度、要求される変更のサイズ、そして結果の信頼性の間に、常にトレードオフが存在することを発見しました。一部のプログラムは、予測を覆すための極めて微小で最小限の変更を見つけることには優れていましたが、複雑な実世界のデータに対しては、解決策を全く見つけられないこともありました。また、非常に信頼性が高く、ほぼ常に結果を変える方法を見つけられるプログラムもありましたが、それらが提案する変更はしばしば非常に大きく複雑であり、人間が解釈したり信頼したりすることが不可能なものでした。画像の生成方法に着想を得た手法を用いるあるプログラムは、非常に徹底しており高品質な答えを見つけ出しましたが、あまりにも遅く、単一のグラフを処理するのに数時間を要したため、多くの用途においては実用的ではありませんでした。また、驚くほど高速で効率的な別のプログラムもありましたが、それは役に立たないほど大きな説明を生成する傾向がありました。

おそらく最も驚くべき発見は、最高のツールであっても、ネットワークの正しい部分に焦点を絞ることが困難であるという点でした。研究者が予測の原因となっている接続のパターンを正確に把握している合成テストにおいてさえ、多くのプログラムは依然としてネットワークの無関係な領域への変更を提案していました。彼らは、真の原因をピンポイントで特定するのではなく、暗闇の中で推測するかのように、クリティカルなパターンの遠く離れた場所にあるエッジを追加したり削除したりしていました。これは、これらのツールが「何らかの」解決策を見つけることはできても、まだ「正しい」解決策を一貫して見つけられているわけではないことを示唆しています。研究者たちはまた、既存のツールのほとんどは、分子が毒性を持つかどうかを判定するようなネットワーク全体の分類を主な目的として設計されており、特定の研究論文のトピックを予測するような、ネットワーク内の一つのノードの挙動を説明する場合の性能は著しく低下することを指摘しました。

結局のところ、この研究は非常に速いスピードで進展している分野に対する「現実的な再確認（リアリティ・チェック）」として機能しています。著者らは、接続の追加と削除の両方ができる能力は大きな前進であるものの、現在の世代のツールはまだ発展途上であると結論付けています。単一の手法が、速度、正確さ、および単純さの完璧なバランスを提供できているものは現在存在しません。この研究は、今後の研究が単に答えを見つけることを超えて、正しく、かつ意味のある、効率的な説明を生成することに焦点を当てる必要があることを強調しています。予測を変えるために必要な、正確かつ最小限の変更を一貫して特定しつつ、複雑さや時間に足を取られることなく実行できる手法が見つかるまで、これらの強力なAIシステムの全貌は、不確実性のベールによって部分的に隠されたままとなるでしょう。