あなたは、ロボットに犬の鳴き声や車のクラクションといった異なる音を認識させる方法を教えようとしていると想像してください。あなたは数千もの音声クリップをロボットに読み込ませ、ロボットは「畳み込みニューラルネットワーク（CNN）」と呼ばれる特殊な脳を使って、正解を当てるのが非常に上手くなります。しかし、ここには落とし穴があります。ロボットは「ブラックボックス」なのです。ロボットは答えを出してくれますが、その「理由」は教えてくれません。ロボットは、ピッチ（音の高さ）を聞いたから吠えていると判断したのか？ リズムなのか？ それとも突然の始まりによるものなのか？ 現実世界では、医師が心臓疾患を診断したり、工場が機械の故障を予測したりする場合のように、間違いが危険を招く可能性があるため、単にロボットの推測を信じるわけにはいきません。私たちは、ロボットの脳の中を覗き込み、それが実際にどのようなパターンを探しているのかを知る必要があります。これが「説明可能なAI（XAI）」の世界です。科学者たちはこれらのパターンを引き出す手法を開発してきましたが、これまでは、片方の方向だけに光を当てる懐中電灯のようなものでした。それらは音が「いつ」起きたか（時間領域）を示すことはできましたが、音の最も重要な手がかりとなることが多い「ピッチ」や周波数については盲目でした。

本論文は、この盲点を解消するCENDRe（Concept Extraction with Natural Domain Representations）と呼ばれる新しいツールを紹介します。CENDReを、出来事のタイムラインを見るだけでなく、演奏されている音符にも耳を傾ける探偵だと考えてください。研究者たちは、従来のメソッドには主に3つの問題があることを発見しました。それらは時間領域しか見ていなかったこと、ロボットに特定の数のパターンを推測させることを強制していたこと（例：見る前に「手がかりは正確に3つだ」と決めつけること）、そして時として信号の誤った部分を指し示してしまうことでした。CENDReは、パターンの数を自動的に特定し、時間と周波数の両方でそれらを見つけ出し、信号内のどこにそれらのパターンが存在するかを正確に特定することで、これを解決します。既知の正解を持つ合成データでテストした際、CENDReは従来のメソッドよりもはるかに優れた精度で正しい手がかりを見つけ出しました。故障した機械のベアリング（軸受）を用いた実データを用いたテストでは、専門家が問題を診断するために使用する特定の「ハミング（うなり）」周波数を特定することに成功し、ロボットが単にランダムに推測しているのではなく、実際に正しいものに耳を傾けていることを証明しました。

探偵の新しいツールキット

あなたが、騒がしい街の録音を聞いて謎を解こうとしている探偵だと想像してください。あなたには超スマートなAIアシスタントがいて、「交通事故だと分かります！」と言ってくれます。しかし、あなたは「なぜそう言えるのか」を知る必要があります。タイヤの軋む音でしょうか？ 金属がひしゃげる音でしょうか？ あるいは、単なる突然の静寂でしょうか？

古い探偵の道具（従来のAI手法）は、少し不器用でした。第一に、それらは音の「タイミング」しか聞いていませんでした。もし衝突が午後2時3分に起きたなら、それは教えられますが、その音が甲高い叫び声なのか、あるいは低い轟音なのかまでは教えられませんでした。第二に、彼らは手がかりの数に対して頑固でした。調査を始める前に、「手がかりを正確に3つ探せ」と指示しなければなりませんでした。もし本当の謎に4つの手がかりがあった場合、彼らは一つを見逃すか、二つを一つにまとめてしまいました。第三に、彼らは指し示すのが下手でした。実際のヒントがほんの一瞬の音であったとしても、「手がかりはこの1分間のどこかにあります」といった具合に、大きな範囲を指定してしまうことがありました。

CENDReは、新しい眼鏡を持参した探偵のようなものです。この眼鏡を使うと、音を二つの方法で同時に見ることができます。つまり、タイムライン（物事がいつ起きるか）と、スペクトラム（どのようなピッチが存在するか）としてです。

1. 「自然な」眼鏡の魔法

本論文は「自然ドメイン表現（Natural Domain Representations）」という概念を導入しています。絵画を見ている場面を想像してください。正面から見ることもできますが、特別なフィルターを通して筆致（周波数）を見ることもできます。CENDReは、「仮想検査レイヤー」と呼ばれる数学的なトリックを使用します。これは、AIの脳の中に透明で可逆的なフィルターを挿入するようなものです。AIはフィルターが存在することに気づかず、自分の仕事を続けます。しかし、CENDReはそのフィルターを通してAIの思考を見ることができます。これにより、探偵はAIの思考を変えることなく、音の「周波数」――例えば、壊れたベアリングの特定のハミングのようなもの――を見ることができるのです。

2. 手がかりに数を数えさせる

古い探偵にとって最大の悩みの種の一つは、いくつの手がかりを探すべきかを決めることでした。もし「5つの手がかりを探せ」と言われ、実際には3つしかなかった場合、彼らは隙間を埋めるために偽の手がかりを作り出してしまいます。逆に7つあった場合は、最後の2つを見逃してしまいます。

CENDReは、**シルエット・ガイド付き集約（silhouette-guided aggregation）**という巧妙なトリックを使用します。バラバラに混ざったパズルピースの山を想像してください。CENDRは、その山の中にいくつの絵が含まれているかを推測する代わりに、まず似たようなピースを小さなクラスターへとグループ化することから始めます。次に、「これらのグループはどれくらいうまく適合しているか？」と問いかけます。グループの「幸福度スコア」と考える「シルエット・スコア」を用いて、いつ結合を止めるべきかを決定します。グループが幸福で明確であれば、停止します。これは、人間による推測を数学に基づいた発見に置き換えるものであり、CENDReは自動的に「ああ、実際にはここに4つの明確なパターンがあるのだな」と判断できることを意味します。

3. 正確な瞬間を特定する

一度CENDReがパターン（コンセプト）を見つけると、次はそれが音のどこにあるのかを示す必要があります。古いメソッドは、しばしば音全体に対して大きくて曖昧な箱を描き、「手がかりはこの辺りにあります！」と言っていました。CENDReはもっと精密です。**勾配（グラディエント）**という手法を用いて、手がかりの経路をソースへと遡ります。

これはヒートマップのようなものだと考えてください。特定の音の部分のボリュームを上げたとき、AIの回答に対する自信が高まるでしょうか？ Cenderは、あらゆる時点、あらゆる周波数についてこれを計算します。そして、重要な部分「だけ」を強調するマスクを作成します。もしAIが2000 Hzの音を0.5秒間聞いているのであれば、CENDReはその場所だけにタイトで明るい箱を描き、残りのノイズを無視します。

研究結果

研究者たちは、既知の正解を持つ合成データと、故障した機械からの実データの二つの方法でCENDReをテストしました。

合成データによるテスト:
彼らは、AIが認識するように訓練された「プリミティブ」（正弦波や特定の周波数帯のようなもの）が隠された合成音を作成しました。

• 時間領域: 時間ベースの形状（矩形パルスなど）を探す際、CENDReは既存の最高のツールと同等の性能を発揮しました。
• 周波数領域: こここそがCENDReが輝いた場面です。手がかりが特定の周波数帯（高音のトーンなど）に隠されていた場合、従来のツールは完全に盲目でした。彼らは周波数の手がかりを全く見ることができませんでした。しかし、CENDReはそれらを完璧に見つけ出しました。CENDReは、AIが使用している正確な周波数帯を特定し、「グラウンドトゥルース（真の値）」とほぼ完全に一致させました。
• 重要性: CENDReは単に手がかりを見つけただけでなく、それらの重要度を正しくランク付けしました。他のメソッドがどの手がかりが重要であるかについて混乱することがあったのに対し、CENDReはどの手がかりがAIの決定に最も重要であるかを正確に把握していました。

実世界でのテスト:
彼らはこのツールを実際の工場環境へと持ち込み、ベアリングの故障（機械内部または外部の破損）に関するデータを調査しました。

• AIは、正常なベアリングと、内部または外部に亀裂があるベアリングの違いを判別するように訓練されました。
• CENDReは、人間の専門家が知っている知識と一致するコンセプトを抽出しました。例えば、AIが一方のセンサーの2000 Hz付近の鋭いピークと、もう一方のセンサーの800〜1000 Hz付近の特定の帯域に注目していることを発見しました。
• これらはランダムな数値ではありません。エンジニアがベアリングの故障を診断するために使用する、まさに「シグネチャー（特徴的な周波数）」なのです。これは、CENDReが単にパターンを捏造しているのではなく、AIの予測に使われている実際のロジックを明らかにしていることを証明しています。

なぜこれが重要なのか

本論文は、時間と周波数の両方の視点を組み合わせ、AIに自身が見ているパターンの数を語らせることによって、これらのブラックボックス・モデルをより信頼できるようになることを示唆しています。医療や産業安全のような極めて重要な分野では、AIが間違った理由で正解を導き出すことは許されません。CENDReは、AIが（それが特定の心拍リズムであれ、特定の機械の振動であれ）正しい「手がかり」を見ているかどうかを検証する方法を提供します。

著者らは、CENDReがテストした種類のAIモデル（1D CNN）には非常に有効である一方で、AIが特定の構造（並進等変性）を持っていることに依存していることを注意深く述べています。彼らは、将来の研究において、これらを現在非常に普及しているTransformerのような他のタイプのAIに適応させる必要があると考えています。しかし、現時点において、CENDReは機械の心の中を見るための強力なレンズを提供しており、謎めいた推測を、明確で説明可能な物語へと変えてくれるのです。