Semantic Space Search Trajectory Networks

ロボットに猫を認識させる方法を教えようとしている場面を想像してみてください。何千枚もの写真を見せると、ロボットは推測を始めます。しかし、それは実際にどのように「学習」しているのでしょうか？ただ暗闇の中を盲目的にさまよっているだけなのでしょうか、それとも隠された地図に従っているのでしょうか？数十年にわたり、科学者たちはロボットの「脳」（内部の数値や重み）を観察することで、この答えを見つけようとしてきました。しかし、それはオーケストラが演奏している最中に、一人のバイオリニストの楽譜をじっと見つめて交響曲を理解しようとするようなものです。それは混沌としていて、混乱を招き、全体像を見失ってしまいます。

これを理解するために、研究者たちは**探索軌跡ネットワーク（Search Trajectory Network: STN）**というツールを使用しています。STNを学習プロセスの「地下鉄路線図」だと考えてください。ロボットが取るあらゆる微細なステップを追跡する代わりに、似たような瞬間を「駅（ノード）」としてグループ化し、ロボットが次の駅から次の駅へどのように移動するかを示す「線（エッジ）」を描きます。これにより、ロボットが正解への直通ハイウェイを走っているのか、それとも迷路の中で迷っているのかを見ることができます。問題は、従来の地下鉄路線図は単純で低次元の問題にしか通用しないことです。ロボットが複雑（現代のAIのように）になると、地図はあまりにも混雑して高次元になり、線がすべてぼやけてしまい、読み取ることが不可能になります。

ここで、**セマンティック空間（Semantic Space）**という概念が登場します。ロボットの内部の歯車を見る代わりに、ロボットが何を「言っているか」を見ます。もしロボットが猫の写真を見ているとき、「犬」と言っていますか？「猫」と言っていますか？それとも「車」と言っていますか？テスト画像セット全体に対するその推測の集まりは、「セマンティック・ベクトル」を形成します。それは、ロボットの現在の理解を示す「指紋」のようなものです。ロボットの内部の歯車ではなく、これらの指紋を通じてロボットの旅をマッピングすることで、最も複雑なAIに対しても、明確で読み取り可能な地図を作成できるのです。この論文は次のように問いかけています。これらの「指紋マップ」を使って、異なる種類の学習アルゴリズムがどのように思考しているかを比較できるのか、そして、AIが本当に学習しているのか、それとも単に暗記しているだけなのかを判別できるのか、と。

---

この論文の核心的なアイデア：歯車ではなく、旅路をマッピングする

著者であるジュリアン・アグデロとそのチームは、これらの方程式の新しい作り方を提案しており、それを**セマンティック空間探索軌道ネットワーク（Semantic Space Search Trajectory Networks）**と呼んでいます。彼らの主な目的は、さまざまな機械学習アルゴリズム（ニューラルネットワーク、決定木、記号回帰など）が問題を解決する際にどのように「思考」しているかを可視化することです。

通常、ニューラルネットワークを決定木と比較することは、レーシングカーと自転車を比較するようなものです。エンジンも部品も異なるため、どちらが速いか、あるいはどのようにナビゲートしているかを簡単に並べて比較することはできません。しかし、著者らは、どのような種類の機械を使用しても、すべてが同じもの、すなわち予測を生み出すことに気づきました。内部のメカニズムを無視し、予測（セマンティック・ベクトル）のみに焦点を当てることで、これらすべての異なるアルゴリズムを同じ土俵に上げることができるのです。

地図の作り方

連続的な予測を読み取り可能な地図に変換するために、チームはトリッキーな問題を解決する必要がありました。つまり、何百万もの予測状態がある場合に、どのようにして似た予測をグループ化するかという問題です。

1. 離散化（数値をカテゴリに変換する）： 回帰タスク（住宅価格のような数値を予測する場合）では、特定の数値が頻繁に現れる場所（分位数）に基づいて、連続的な回答の範囲を10個の「ビン（箱）」に分割しました。分類（「猫」や「犬」のようなラベルを推測する場合）では、最終的なラベルを使用しました。これにより、乱雑で連続的なデータの雲を、明確で数えられるカテゴリのセットへと変換しました。
2. クラスタリング（駅のグループ化）： 彼らは**凝集型クラスタリング（agglomerative clustering）**と呼ばれる手法を使用しました。砂粒の山（各粒子は予測状態）を想像してください。まず、すべての砂粒をそれぞれ独立した島として扱います。次に、最も近い2つの島をゆっくりと結合していきます。2つの残った島の間の距離が大きくなるまで（$\tau$ という閾値によって制御されます）、最も近いペアを結合し続けます。最終的な島々が、あなたの地下鉄路線図における「駅」となります。
3. 線の描画： アルゴリズムが学習するにつれて、一つの予測状態から別の予測状態へと移動します。彼らはこれらの動きを追跡し、対応する駅の間に矢印を描きました。矢印が太ければ太いほど、異なる訓練実行がその特定の経路を辿った頻度が高いことを示します。

彼らが発見したもの：「漏斗」対「星型」

チームは、手書き数字（MNIST）、ファッションアイテム（Fashion-MNIST）、および自動車価格の予測を含むいくつかのデータセットを用いて、この手法をテストしました。彼らは、非常に異なる3つのアルゴリズム、すなわち MLP（ニューラルネットワーク）、XGBoost（強力な決定木ベースの手法）、および 記号回帰（Symbolic Regression）（数学的公式を見つけ出そうとするもの）を比較しました。

発見：
実データ（真のパターンが存在するデータ）においてアルゴリズムが学習しているとき、使用されるアルゴリズムに関わらず、マップは驚くほど似通っていました。それらは**「漏斗（ファンネル）」**の形を形成していました。

• 漏斗： 旅は多くの異なる点（ランダムな初期推測）から始まりますが、経路はすぐに共通の「高速道路」へと合流し、単一のタイトな「最良」の駅のクラスターへと絞り込まれていきます。これは、真のパターンを学習する場合、異なるアルゴリズムが同じ中間ステップを発見し、同じ解へと収束する傾向があることを示唆しています。
• 違い： 全体的な形状は似ていましたが、「交通量」は異なっていました。ニューラルネットワークは、最適解に落ち着く前に少し跳ね回る「吸引領域（basin of attraction）」で停滞しているようでした。一方、XGBoostはより直接的で、まるで答えに対してグリップを締め付け続ける強欲なロボットのようでした。しかし、記号回帰は異端でした。それは漏斗状に絞り込まれませんでした。それは多くの異なる方向へとマップを探索し、単一の経路に収束することは滅多にありませんでした。これは、ランダムに公式を探索するというその性質と一致しています。

「暗記」テスト：地図は「ズル」を見抜けるか？

この論文の最もエキサイティングな部分は、Zhangら（2017）による有名な実験から来ています。これは、ニューラルネットワークがランダムなデータに対しても、実データと同じくらい上手く「暗記」できてしまうことを示しました。ラベルをシャッフルすると（例えば、猫の写真を「犬」であるとAIに教えると）、AIは訓練セットに対して完璧に予測することを学習できますが、新しいデータに対しては惨敗します。これが「暗記」の領域です。

著者らは、自らのセマンティック空間STNを使用して、学習の「旅の形」が、学習（汎化）と暗記（ランダムな推測）の違いを判別できるかどうかを確認しました。

• 実際のラベル（学習）： マップは密度が高く、効率的で、中央集権的でした。それは、誰もが集まる中心的なハブを持つ賑やかな都市のように見えました。経路は相互に接続されており、アルゴリズムが構造化された理解を構築していることを示唆していました。
• シャッフルされたラベル（暗記）： マップは**「星型」**に見えました。経路は孤立し、バラバラで、散在していました。中央のハブはありませんでした。それぞれの訓練実行は、互いに決して出会うことのない、自分自身の孤独な片隅へと辿り着いていました。

結論：
この論文は、学習の旅の「構造」こそが真実を明らかにするのだと示唆しています。AIが真のパターンを学習しているとき、経路は収束し、接続されます。AIが単にノイズを暗記しているとき、経路は孤立したままです。彼らはこれを、**グローバル効率（global efficiency）や密度（density）**といったグラフ指標を用いて測定しました。例えば、「Bioresponse」データセットでは、「実際のラベル」のマップの密度は 0.0157 でしたが、「シャッフルされたラベル」のマップは 0.0049 と非常に疎でした。

彼らはまた、ラベルの20%、40%、最大100%をランダムなノイズに置き換えて、データを徐々に汚染した場合に何が起こるかもテストしました。汚染が増えるにつれて、「漏斗」はゆっくりと崩壊し、「星型」へと変化していきました。グラフ指標（グローバル効率など）は着実に低下し、学習から暗記へのスムーズな移行を示しました。

なぜこれが重要なのか

この研究は、ニューラルネットワークのブラックボックスの中を覗き見なくても、それが学習しているのか、それともズルをしているのかを理解できることを示唆しています。私たちは、その予測のマップを見るだけでよいのです。もしマップが接続された効率的なネットワークであれば、AIは何か本物のものを学習している可能性が高いでしょう。もしそれが孤立した経路の散在した集まりであれば、それはおそらく単に暗記しているだけです。

著者らは、これはあくまでシミュレーションに基づく観察であり、定性的な分析ツールであって、汎化の謎を解明する魔法の弾丸ではないことに注意を払っています。彼らは、この手法が既存の理論を補完する、新しい行動論的な視点を提供するものであると考えています。これは、知性の「形」を見せてくれる新しい眼鏡であり、あなたがニューラルネットワークであろうと決定木であろうと、もし真実を学習しているのであれば、その旅路は同じ形になるということを示しているのです。