🤖 machine learning

Bridging Functional and Representational Similarity via Usable Information

本論文は、利用可能な情報という観点から表現の類似性を定量化する統合的な枠組みを提示し、スチッチング性能と条件付き相互情報の間の形式的な関連を確立するとともに、表現の類似性が予測能力に相対的であり、機能的類似性に対して十分条件ではあるが必要条件ではないことを示す。

原著者： Antonio Almudévar, Alfonso Ortega

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Antonio Almudévar, Alfonso Ortega

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

2 人の異なるシェフ（ニューラルネットワーク）が、完璧なラザニアのような特定の料理を調理することを学んだと想像してください。知りたいのは、これらの 2 人のシェフは本当に頭の中で同じ「レシピ」を使っているのか、それとも全く異なる方法で同じ美味しい結果にたどり着いているだけなのかということです。

この論文「Usable Information を通じた機能的類似性と表現的類似性の架け橋」は、その問いに答えるためのガイドブックです。これは、単に生出力を比較するのではなく、AI モデルが保持する「利用可能な情報」を見ることで、2 つの AI モデルが実際にどの程度似ているかを測定する新しい方法を提案しています。

以下に、彼らの発見をシンプルなアナロジーを用いて解説します。

1. シェフを比較する 2 つの方法

著者らは、通常、類似性を 2 つの異なる方法で見ていますが、それらを混同しがちだと主張しています。

機能的類似性（「味見テスト」）： これは、「シェフ A のメモをシェフ B に与えたら、シェフ B はまだラザニアを作れるか？」と問います。シェフ B がシェフ A の中間メモを受け取って完璧に仕事を完了できるなら、彼らは機能的に類似しています。メモが紙の上でどのように見えても構いません。重要なのは、結果を得るためにその情報が利用可能かどうかです。
表現的類似性（「ノートチェック」）： これは、「シェフ A とシェフ B は、メモを全く同じ筆跡と形式で書いているか？」と問います。これはデータの内部構造を見ています。メモが幾何学的に同一であれば、彼らは表現的に類似しています。

2. 大きな発見：「一方通行」の問題

この論文は、通常これらのシェフをテストする方法における決定的な欠陥を明らかにしています。私たちはしばしば、シェフ A のメモをシェフ B のスタイルに変換する（このプロセスを「ステッチング」と呼びます）試みを行い、それが機能するかどうかを確認します。

発見： この変換はしばしば一方通行です。
アナロジー： シェフ A は詳細で高解像度の日記にメモを書き、シェフ B はラフなスケッチブックに書くと想像してください。日記をスケッチに変換するのは簡単です（詳細は失われますが、主要なアイデアは残ります）。しかし、ラフなスケッチを詳細な日記に戻すことはできません。なぜなら、情報はスケッチの中で失われているからです。
教訓： 2 つのモデルが本当に類似していると言えるためには、双方向に変換できなければなりません。A から B へは行けても、B から A へは行けない場合、それらは本当に機能的に類似しているわけではありません。この論文は、「ステッチング」が本質的に非対称であることを証明しています。

3. 「観察者」が重要だ（メモを読んでいるのは誰か？）

この論文は、類似性はメモを読んでいる誰かに依存するという興味深い概念を導入しています。

アナロジー： 複雑な地図を想像してください。
- もしあなたが硬直的な観察者（直線と直角しか理解できない人）であれば、2 つの地図はあなたにとって全く異なり、無用に見えるかもしれません。
- もしあなたが柔軟な観察者（曲線、角度、3 次元形状を理解する人）であれば、同じ 2 つの地図は同一に見えるかもしれません。
教訓： 2 つの AI モデルは、単純な数学的ツール（直線など）には非常に異なって見えるかもしれませんが、より強力なツール（複雑なニューラルネットワーク）を使って読むと、全く同じものであることが判明するかもしれません。「類似性」は絶対的な事実ではなく、それを測定するために使用するツールの複雑さに依存します。

4. 階層性：「全体像」対「特定のタスク」

著者らは、2 つの類似性のタイプ間に明確な階層関係を確立しています。

表現的類似性は「マスターキー」です： 2 つのモデルが内部メモ（表現的類似性）を完全に同じであれば、最も難しいものから最も簡単なものまで、投げかけられたあらゆるタスクを解決できることが保証されます。
機能的類似性は「特定のキー」です： 2 つのモデルが特定のタスク（例えば猫の識別）を解決できる場合、そのタスクに対しては機能的に類似しています。しかし、それらはその特定のタスクに必要ない情報（猫の毛の色など）を捨て去っているかもしれません。
要点： 「マスターキー」（表現的類似性）を持っていることは、「特定のキー」（機能的類似性）を持っていることを保証します。しかし、「特定のキー」を持っていることは「マスターキー」を持っていることを保証しません。家の全体の設計図（完全な表現）を持っていなくても、玄関の鍵（タスクの解決）を開けることはできるかもしれません。

5. 古いツールは実は偽装された新しいツールです

最後に、この論文は、科学者が現在使用している標準的なツール（CKA、RSA、ステッチングなど）を検討しています。

発見： これらは単なるランダムな数学のトリックではありません。これらは実際には特定の制約の下で「利用可能な情報」を測定しています。
アナロジー： これらのツールをさまざまな種類の定規だと考えてください。標準的な定規は長さを測ります。柔軟なメジャーは曲線を測ります。この論文は、これらの異なる「定規」を使用する際、本質的にモデルに「直線しか使えない場合、この問題を解決できますか？」あるいは「曲線を使える場合、それを解決できますか？」と尋ねていることを示しています。
結果： この論文は、どの種類の「定規」（または予測ファミリー）を使用しているかを理解していれば、これらの標準的なツールはモデル間で共有されている「利用可能な情報」の量を推定するのに非常に優れていることを証明しています。

まとめ

要約すると、この論文は私たちにこう伝えています。

一方方向だけをチェックしないこと： 2 つの AI モデルが本当に類似しているかどうかを見るには、彼らの知識を行き来して変換できなければなりません。
文脈が王者である： 類似性は「読み手」の複雑さに依存します。単純な読み手は 2 つのモデルを異なって見ますが、複雑な読み手はそれらを同一と見なします。
全体対部分： 2 つのモデルが内部構造において同一であれば、何でもできます。しかし、特定の 1 つのことをできるだけであれば、内部では依然として非常に異なるかもしれません。
古いツールは有用である： AI 類似性を測定する従来の方法は実際には有効ですが、それらは使用するツールの複雑さに基づいて、特定の種類の「利用可能な情報」を測定しているのです。

技術的概要：利用可能な情報を通じて機能的類似性と表現的類似性を架橋する

問題提起

深層学習の分野では、異なるシステムが情報を処理し、知識を転移し、構造を組織化する仕組みを理解するために、内部の神経表現を比較することに大きく依存しています。しかし、現在の文献には、表現間の「類似性」を定義し測定するための統一的な枠組みが存在しません。既存のアプローチは、通常、以下のように緩やかに定義された 2 つのカテゴリーに二分されています。

機能的類似性: 表現が同じ下流の行動（モデルの継ぎ接ぎや線形プローブによる評価など）をサポートするかどうかを評価する。
表現的類似性: 表現が入力情報を同じ構造的な方法で符号化しているかどうかを評価する（CKA、RSA、またはプロクラステス分析などによる）。

これらの概念は孤立して研究されており、タスク性能に焦点を当てる機能的な手法と、特徴空間の整合性に焦点を当てる幾何学的な指標との間に乖離が生じています。さらに、標準的な指標は、何が実際に比較されているのか、あるいは観測者（予測モデル）の能力が測定にどのように影響を与えるのかについて、厳密な理論的根拠を欠くことがよくあります。

手法

著者らは、利用可能な情報理論（Xu et al., 2020）に基づいた統一的な枠組みを提案します。この理論は、情報フローを特定の「予測ファミリー」 $\mathcal{V}$ に制限し、表現内のすべての統計的依存関係が、能力の限られた下流モデルによって利用可能であるわけではないことを認めています。

理論的枠組み

本論文は、条件付き相互情報とマルコフブランケットの観点を通じて類似性を再定義します。

機能的類似性: 2 つの表現 $Z_1$ と $Z_2$ は、タスク $Y$ に関して相互マルコフブランケットを形成する場合、機能的に類似しています。これは $I(Y; Z_2 | Z_1) = I(Y; Z_1; Z_2) = 0$ を意味します。著者らは、モデル継ぎ接ぎをこの推定を行うメカニズムとして形式化します。 $Z_1$ を $Z_2$ に継ぎ接ぎしても性能が失われない場合、 $Z_1$ は $Z_2$ のタスク関連情報をすべて含んでいることになります。重要なのは、彼らがこの関係が本質的に非対称であることを証明した点です。堅牢な機能的類似性には双方向の継ぎ接ぎが必要です。
表現的類似性: タスク $Y$ が入力 $X$ そのものである場合（ $I(X; Z_2 | Z_1) = 0$ ）の機能的類似性として定義されます。これは、表現が入力に関する同一の情報を含んでいることを意味します。
粒度の階層性: 著者らは単調な関係を確立しました。複雑なタスクにおける類似性は、より粗い派生タスクにおける類似性を保証します。したがって、表現的類似性（入力の再構成）は最も強い条件であり、すべての派生タスクにおける機能的類似性を保証します。

実証的手法

これらの理論的主張を検証するために、著者らは大規模な実証研究を実施しました。

規模: 14 の異なるアーキテクチャ（線形モデル、ResNet、DenseNet、ShuffleNet、MobileNet などの CNN）と 6 のデータセット（MNIST、CIFAR-10/100、SVHN、Tiny-ImageNet、ImageNet）で訓練された 58 のモデル。
比較: 12,459 の異なる層間比較。
継ぎ接ぎファミリー: 表現性の影響をテストするために、3 つの特定の継ぎ接ぎファミリー（予測ファミリー $\mathcal{V}$ $V$ ）を使用しました。
1. アフィン: 制約のない線形写像。
2. 直交＋等方スケーリング: プロクラステスに似た制約。
3. 直交: 厳密な回転制約。
指標: 著者らは、標準的な指標（CKA、RSA、SVCCA）を、提案された利用可能な情報に基づくスコア（正規化再構成誤差）と比較しました。

主要な貢献

利用可能な情報による統一的枠組み: 本論文は、モデル継ぎ接ぎを利用可能な条件付き相互情報と理論的に結びつけます。機能的類似性は絶対的な性質ではなく、予測ファミリー $\mathcal{V}$ の能力に対して相対的に定義されることを示しています。
標準的指標の再解釈: 著者らは、標準的な幾何学的指標（CKA、RSA、プロクラステス）が恣意的な測定ではなく、特定の制約（例えば直交変換など）の下での利用可能な情報の特定の推定量であることを、実証的かつ理論的に示しました。
類似性の階層性:
- 非対称性: 継ぎ接ぎは本質的に非対称であることを証明しました。単一の方向の継ぎ接ぎでは、機能的類似性を主張するには不十分です。
- 十分性と必要性: 表現的類似性は機能的類似性にとって十分だが必要ではない条件であることを実証しました。表現は機能的に類似（同じタスクを解決）しつつも、表現的には異なっている（異なるノイズ変数を符号化）可能性があります。
- タスク粒度: 表現的類似性（入力の再構成）は最大粒度の限界であり、すべての粗いタスクにおける機能的類似性を保証することを確立しました。

実験結果

継ぎ接ぎの非対称性: 12,459 組の分析により、順方向と逆方向の継ぎ接ぎ間の精度差の分布が重尾分布であることが判明し、機能的類似性が頻繁に非対称であることを確認しました。一方の表現が他方の情報を含んでいても、その逆は真ではないことがよくあります。
表現的類似性の単調性: 研究は、予測ファミリーがより表現力を持つようになるにつれて、表現的類似性スコアが増加することを検証しました。厳格なプロクラステス制約（直交）の下では異なって見える表現も、より表現力のあるアフィン変換の下ではほぼ同一に見えることがよくあります。
指標の整合性: 標準的な指標は、提案された利用可能な情報スコアと強い相関を示しました。具体的には、CKA（ $R^2=0.937$ ）と RSA（ $R^2=0.912$ ）は、直交＋スケーリング継ぎ接ぎから導出された表現的類似性と密接に一致しており、これらの指標が特定の変換群の下での利用可能な情報の代理として機能するという仮説を支持しました。
階層性の検証: CIFAR-100（微細クラス対粗いスーパークラス）を使用して、粗いタスクにおける機能的類似性が、常に微細タスクにおける類似性の上限となることを確認しました。
表現的類似性の十分性: 表現的類似性が 1.0 に近づくにつれて、機能的類似性の確率は 1.0 に収束しました。しかし、表現的類似性が低い場合でも高い機能的類似性が頻繁に観察され、表現的類似性が必要条件ではないことを確認しました。

意義と主張

本論文は、両方を利用可能な情報理論に基づけることで、機能的類似性と表現的類似性の間の乖離を解消したと主張します。著者らは、類似性は表現そのものの内在的な性質ではなく、それらを比較するために使用される予測ファミリーの計算制約に対して相対的であると論じています。

これらの概念を統合することで、本論文は、なぜ標準的な指標が機能し、どのような条件下で失敗するのかについて、厳密な理論的根拠を提供します。これは、「普遍的」な類似性指標を探求するパラダイムから、特定のアプリケーションにとって「類似」とは何を意味するかを決定する予測ファミリー $\mathcal{V}$ を明示的に定義するパラダイムへと転換します。この研究は、表現的類似性がすべてのタスクにおける機能的類似性を保証する一方で、その逆は真ではないと結論付けており、モデルが根本的に異なる内部表現を通じて同一のタスク性能を達成しうることを浮き彫りにしています。