Contextualizing CNN attribution maps using predefined image-derived descriptors in medicinal plant seed classification

あなたは、探偵として謎を解こうとしているところだと想像してください。ただし、指紋を探す代わりに、一枚の写真を見ています。人工知能の世界では、コンピュータは写真を見てそれが何であるかを推測するのが非常に得意になっています。これは「画像分類」と呼ばれます。コンピュータに犬の写真を提示すると、コンピュータは「これは犬です！」と99%の自信を持って答えるかもしれません。しかし、ここがトリッキーな点です。コンピュータは私たちのように実際に「見ている」わけではありません。それは、なぜその答えを選んだのかを説明することなく、答えを吐き出す「魔法のブラックボックス」のようなものです。耳を見たのでしょうか？尻尾を見たのでしょうか？それとも、単に背景を見たのでしょうか？

これを解決するために、科学者たちは「アトリビューション・マップ（属性マップ）」と呼ばれるものを使用しています。これはハイテクな蛍光ペンだと考えてください。コンピュータが推測を行ったとき、アトリビューション・マップはそのコンピュータが最も重要だと判断した画像の部分を照らし出します。それはまるで、コンピュータが指をさして、「私はこの場所を見た、だからこの選択をしたのだ」と言っているようなものです。しかし、落とし穴があります。その蛍光ペンは、ぼんやりとした光る塊（ブロブ）を示すだけなのです。それはコンピュータが「どこ」を見たかは教えてくれますが、その場所で「何」を見たのかまでは教えてくれません。色だったのでしょうか？質感（テクスチャ）だったのでしょうか？それとも形だったのでしょうか？そこで、この新しい研究が登場します。このぼんやりとした光を、私たちが理解できる言語へと翻訳しようとする試みです。

---

薬用種子の謎

この研究において、慶熙大学の研究チームは、非常に具体的で、かつ非常にトリッキーな謎に取り組むことに決めました。それは、異なる種類の薬用植物の種子を見分けることです。これらの種子は非常に小さく、肉眼ではほとんど区別がつかないものもあります。まるで同じ服を着た双子のようなものです。もしコンピュータがこれらを間違えてしまうと、これらの種子を薬として利用している人々にとって大きな問題になりかねません。

研究者たちは、5種類の異なる種子（Armeniaca vulgaris、Armeniaca sibirica、Prunus japonica、Prunus davidiana、および Prunus persica）の1,124枚の写真を集めました。彼らは、超スマートなコンピュータの脳（畳み込みニューラルネットワーク、またはCNNと呼ばれる一種のAI）に、これらの写真を観察して分類する方法を教え込みました。コンピュータは驚くほど優秀で、ほぼ毎回正解を導き出しました。実際、彼らがテストした3つの異なるコンピュータの脳は、著者たちが「ニア・シーリング・パフォーマンス（限界性能に近い性能）」と呼ぶレベルに達しており、実質的に完璧にタスクをこなしていました。

しかし、研究者たちは単に「コンピュータが賢い」と言うだけでは満足しませんでした。彼らは知りたいと考えていました。「コンピュータは実際に何を見ているのか？」と。

「ハイライター」対「視覚辞書」

この問いに答えるため、チームは「統合勾配法（Integrated Gradients: IG）」と呼ばれるツールを使用しました。コンピュータが種子の写真を見ている探偵だと想像してください。IGツールは、探偵が最も熱心に凝視している場所に赤く光る「ヒートマップ」を作成します。しかし、前述の通り、赤い光は、探偵が光るスポットを見ているのか、粗い質感を見ているのか、あるいは特定の色彩を見ているのかまでは教えてくれません。

そこで、研究者たちはその光を解読するための巧妙な方法を考案しました。彼らは「事前定義された画像由来の記述子マップ」を作成しました。これは、画像の「視覚辞書」や「レシピ本」だと考えてください。彼らは種子の写真を、測定可能な単純な成分へと分解しました：

• 色と強度： どれくらい明るいか？どれくらい明るいか、あるいは暗いか？（「明るさ」や「輝度」を測るようなものです）。
• 空間周波数： パターンは滑らかでぼんやりしているか、それともギザギザで詳細か？（「粗い」対「細かい」ディテールを測るようなものです）。
• テクスチャ（質感）： デコボコしているか、それとも滑らかか？
• エッジと形状： アウトライン（輪郭）はどこにあるか？

次に、彼らはコンピュータの「光るハイライター」（アトリビューション・マップ）を取り、自分たちの「視覚辞書」（記述子マップ）と比較しました。彼らはシンプルな問いを投げかけました。「コンピュータのハイライターは、『明るさ』のレシピが強い場所と同じ場所で光っているのか？それとも『テクスチャ』のレシピが強い場所で光っているのか？」と。

大きな発見：すべては光と低周波の詳細に関するもの

数値を分析した結果、研究者たちは非常に明確なパターンを発見しました。コンピュータは複雑でギザギザしたエッジや、微細な高周波の詳細には注目していませんでした。代わりに、コンピュータの「ハイライター」は、明度（種子がどれほど明るいか）と低周波の詳細（滑らかで幅広な形状）が最も強い場所と全く同じ場所で、最も明るく光っていたのです。

具体的には、研究はコンピュータの注意が以下の要素に最も強く結びついていることを明らかにしました：

1. LAB L（知覚的な明るさの尺度）。
2. Brightness（全体の光の強度）。
3. FFT low-pass（画像の滑らかで粗いスケールの変化を捉えるもの）。

簡単に言えば、コンピュータは主に種子がどれほど明るいか、あるいは暗いか、そしてその全般的な滑らかな形状を見ており、微細でノイズの多いテクスチャに深入りしていなかったのです。研究者たちはまた、特定の色彩（彩度）や複雑なアウトライン（フーリエ記述子）などの他の要素が関係しているかどうかについても確認しました。その結果、コンピュータはそれらにはあまり関心を持っていないようであり、実際、それらの特徴については、コンピュータの注意はむしろ「負の相関」にあり、それらを無視していたことが分かりました。

「要約」テスト

発見を再確認するために、研究者たちは二つ目の実験を行いました。彼らは、これらすべての「視覚辞書」の成分（明るさ、テクスチャ、エッジ）を、単純な数字のリスト（要約統計量）に変換しました。そして、このリストを別の、より単純なタイプのコンピュータの脳に投入し、それが依然として種子を識別できるかどうかをテストしました。

結果はどうだったでしょうか？ はい。 派手なディープラーニング・モデルを使わなくても、これらの視覚的成分から得られた要約数値を用いるだけで、コンピュータは非常に高い精度（約97.8%）で種子を分類することができました。これは、コンピュータが使用していた視覚情報が実際にそこに存在し、それ自体で問題を解決するのに十分であったことを証明しています。

なぜこれが重要なのか

この研究は、コンピュータに「声」を与えるようなものです。以前は、コンピュータが正しいことしか分かりませんでした。しかし今では、コンピュータが「どのように」正しいのかが分かります。コンピュータが明るさと幅広な形状に依存していることを示すことで、研究者たちは、AIが「正しく思考しているか」を確認するための新しい方法を作り上げました。もしコンピュータが、間違ったもの（例えば背景やランダムな塵の点など）をハイライトし始めた場合、それが意図された特徴に基づいているのではないことが分かるのです。

著者たちは、コンピュータの「光」を「視覚辞書」と比較するというこの手法は、AIが信頼できるものであることを保証するための強力なツールであると示唆しています。特に、正解を得ることが極めて重要な、薬用種子のような非常に小さくトリッキーな対象を扱う場合には。彼らは単に種子を分類する方法を見つけたのではありません。コンピュータの脳を覗き込み、それが本当に何を見ているのかを見る方法を見つけたのです。