技術要約：不変性を考慮したモデル・スティッチングによる機能的類似性の根拠付け

問題提起

機能的類似性の評価は、独立して訓練されたニューラルネットワークが、どの程度同様の入出力関係を学習しているかを定量化することを目的としている。その主要な手法の一つが**モデル・スティッチング（model stitching）**である。これは、あるネットワークの前方層（フロントモデル）を、別のネットワークの後方層（エンドモデル）に学習可能なアライメント層を介して接続するものである。もし、このスティッチングされた構成が高い性能を維持できるならば、それらのモデルは機能的に類似しているとみなされる。

しかし、近年の研究（例：Smith et al., 2025）は、標準的なモデル・スティッチングにおける決定的な限界を指摘している。すなわち、標準的な手法は**前方互換性（forward compatibility）**のみに依存しているという点である。これは、フロントモデルの表現が、エンドモデルのタスクを解くためにアライメント可能であるかどうかのみを評価することを意味する。その結果、根本的に異なる情報の手がかり（例：色 vs 形、あるいは頑健な特徴 vs 非頑健な特徴）に依存しているモデル同士であっても、互いに互換性のある表現を生成できてしまうため、「誤解を招く」評価につながる可能性がある。さらに、標準的なスティッチングは、アライメントを実現するために、これまで見られなかった予測の手がかり（ショートカット）を悪用してしまうことがあり、真の機能的な相違を覆い隠してしまう。

著者らは、標準的なスティッチングは本質的にモデルの不変性（invariance）の特性に対して盲目であると主張している。具体的には、標準的な手法は後方方向（backward direction）、すなわち、エンドモデルがスティッチされた表現を処理する際、それが自身のネイティブな表現を処理する場合と同様の不変性を保持しているかどうかを考慮できていない。

手法

1. 前方・後方互換性の要件

前方のみの評価による限界に対処するため、著者らは**前方・後方互換性（forward–backward compatibility）**という要件を導入する。このフレームワークは、二つのモデルが機能的に類似しているためには、以下の二つの条件を満たさなければならないと仮定している。

• 前方互換性： フロントモデルの表現が、タスクを解くためにエンドモデルへとアライメント可能であること。
• 後方互換性： フロントモデルが同一の表現を示す入力（等価表現）に対して、エンドモデルがその表現を処理する際、それがフロントモデル由来であるか、あるいは自身のネイティブなパス由来であるかにかかわらず、同様に処理すること。

この要件により、スティッチングされた構成が、フロントモデルによって誘導される不変性クラスを尊重することを保証する。

2. 不変性を考慮したモデル・スティッチング

著者らは、この要件を**不変性を考慮したモデル・スティッチング（Invariance-Aware Model Stitching）**を通じて具現化している。その中核となるメカニズムは以下の通りである。

• 等価表現入力（Identically Represented Inputs: IRIs）： フロントモデル $f_{\le i}$ を用い、元の入力 $x$ とスティッチング層における表現がほぼ同一になる（$||f_{\le i}(x') - f_{\le i}(x)|| \approx 0$）ような入力 $x'$ を最適化して生成し、データセット $D_{IRIs}$ を作成する。
• 訓練プロトコル： スティッチング層は、$D_{IRIs}$（フロントモデルの表現を使用）を用いて訓練されるが、評価は標準的なテストセット $D_{test}$ に対して行われる。
• 論理： もしモデルが真に機能的に類似しているならば、$D_{IRIs}$ 上で学習されたスティッチングのアライメントは、標準的なテストセットにも汎化するはずである。もしアライメントが $D_{IRIs}$ の生成に特有の手がかりに依存していたり、エンドモデルの不変性を尊重できなかったりする場合、性能が低下し、機能的な相違が明らかになる。

3. スティッチング・アライメントの目的関数

論文では、スティッチング変換 $T_\theta$ を確立するために、いくつかのアライメント目的関数を評価している。

• ハードラベル・マッチング（Hard Label Matching: HLM）： スティッチされた出力と正解ラベルとの間のクロスエントロピーを最小化する。
• ソフトラベル・マッチング（Soft Label Matching: SLM）： スティッチされた出力と、スタンドアロンのエンドモデルによるソフト予測との間のクロスエントロピーを最小化する。
• 直接マッチング（Direct Matching: DM）： フロントモデルの出力と、エンドモデルの中間特徴量（スティッチレベルにおける）との間の $L_2$ 距離を最小化する。
• 機能的潜在アライメント（Functional Latent Alignment: FuLA）： 著者らが提案する新しい目的関数。スティッチされた構成の内部特徴量と、エンドモデルの特徴量との距離を、スティッチレベルからペンウルティメイト（最後から2番目）の層に至るまでの複数の層にわたって最小化する。これにより、出力ラベルに依存することなく、エンドモデルの内部処理フローを模倣する。

主な貢献

1. 失敗モードの特定： 著者らは、標準的なモデル・スティッチング（SLMやDMを用いてもなお）が、異なる情報の手がかりに依存するモデルを区別できないことを示している。標準的な手法では、モデルが異なる視覚的手がかり（例：ピクセル・ショートカット）を利用している場合や、一方が頑健で他方が非頑根である場合でも、高い類似度スコアを算出してしまう。
2. 不変性考慮型フレームワーク： 著者らは、より原理的なアプローチとして、不変性を考慮したモデル・スティッチングを提案し検証した。前方・後方互換性を強制することで、標準的なスティッチングが隠蔽してしまう機能的な相違を明らかにできる。
3. 頑健性の再評価： 本論文は、頑健な（敵対的訓練された）ネットワークと非頑健なネットワークの間の機能的類似性を再検討している。従来の知見ではこれらは機能的に類似しているとされていたが、著者らは不変性を考慮したスティッチングを用いることで、特に敵対的摂動の扱いにおいて、両者が顕著な機能的不整合を示すことを示した。
4. アライメント目的関数の分析： 研究では、異なるスティッチング目的関数の相互作用を分析している。FuLAやSLMは一般に高い機能的類似性を示す一方で、Direct Matching (DM) は潜在レベルでの不整合を明らかにすることが多い。著者らは、より厳格な潜在アライメントを強制する目的関数（DMなど）は、未知の手がかりを悪用する可能性は低いものの、全体的な類似度スコアは低くなる可能性があるというトレードオフを強調している。

実験結果

著者らは、CIFAR-10、LS-ImageNet-10、およびImageNet-100を用いた画像分類タスクにおいて、ResNet-18、VGG-16、ViT-Tiny、ViT-Baseなどのアーキテクチャを用いて実験を行った。

• 異なる情報の手がかり： 異なるバリアントのCIFAR-10（例：ピクセル・ショートカットを用いて訓練されたもの）で訓練されたモデルをスティッチングした場合、標準的なスティッチングでは深い層において高い類似性を示した。対照的に、不変性を考慮したスティッチングでは、クロスバイアス設定において類似性が急激に低下し、機能的な類似性の欠如を正しく特定した。
• 未知の予測情報： 標準的なスティッチングの定式化は、モデルをアライメントするために「ショートカット」（元の訓練データには存在しない予測的な手がかり）を悪用することが判明した。不変性を考慮したスティッチングは、この挙動を大幅に軽減し、そのような手がかりが利用できない場合には「過剰な一致」をほぼゼロにまで抑えた。
• 頑健なモデル vs 非頑健なモデル： 標準的なスティッチングは、頑健なモデルと非頑根なモデルが機能的に類似していることを示唆していた。しかし、不変性を考慮したスティッチングは、頑健なモデル同士はより一貫した表現構造を共有している一方で、非頑健なモデルは、頑健なモデルとは共有されない特異な不変性を発達させていることを明らかにした。
• 目的関数の比較： FuLAとSLMは概して同等の機能的類似性を達成したが、DMはしばしばより低い類似度スコアをもたらした。これは、出力層に至る前の特徴表現レベルで不整合が存在することを示唆している。

意義と主張

本論文は、不変性を考慮したモデル・スティッチングが、機能的類似性に対するより根拠に基づいた原理的な指標を提供すると主張している。前方互換性だけでなく後方互換性を含めることで、単にタスクを解くためにアライメント可能であるという理由だけで、モデルが異なる基礎的なメカニズムに依存しているにもかかわらず、類似していると誤解させることを防いでいる。

著者らは、彼らのアプローチが「これまで隠蔽されてきた機能的な相違」を明らかにするものであることを強調している。ディープニューラルネットワークの内部動作を正確に評価するためには、多角的な視点（前方および後方）から評価することが不可欠であると結論付けている。

限界： 著者らは、機能的類似性の「オラクル（正解）」となる概念が存在しないため、どの設定が最も忠実であるかについて決定的な結論を下すことは依然として困難であることを認めている。また、現在の研究は画像分類モデルに限定されている。