💻 computer science

The Cross-Architecture Substrate: A Domain-Transcendent, Calibration-Surviving Geometric Invariant of Modern Vision Encoders

本論文は、多様な現代のビジョンエンコーダおよびドメインにおいて学習の初期段階で出現し、キャリブレーションを生き残り、転移品質やクロスモダリティの予測には失敗するものの、優れたラベルフリーの転移可能性フィルタリング、ドメイン検出、ローショット・プロービング、および教師なし蒸留を可能にする、「クロスアーキテクチャ・サブストレート」と呼ばれる普遍的な16次元の幾何学的不変量を明らかにしている。

原著者： Yousef Radwan

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yousef Radwan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

4人の異なるシェフを想像してみてください。一人は野菜を見分ける訓練を受け、もう一人は車のモデルを認識し、三人目はパズルの欠けている部分を埋めることに長け、四人目は写真と詩を一致させる訓練を受けています。彼らの「思考プロセス（脳内で画像をどのように処理しているか）」は、全く異なると予想するのが普通ですよね？

この論文はこう言っています：**「いいえ、違います」**라고。

研究者たちは、仕事も、訓練方法も、アーキテクチャ（構造）も異なるにもかかわらず、これらの現代的なAIビジョンシステムはすべて、画像を処理するための全く同じ**16の「メンタル・ディレクション（精神的方向性）」を形成していることを発見しました。彼らはこの共有された基盤を「クロス・アーキテクチャ・サブストレート（Cross-Architecture Substrate：横断的アーキテクチャ基盤）」**と呼んでいます。

以下に、簡単な比喩を用いて解説します。

1. 「ユニバーサル・コンパス（普遍的な羅針盤）」の比喩

すべてのAIビジョンモデルを、森をナビゲートしようとしているハイカーと考えてください。

旧来の視点： クマを見つける訓練を受けたハイカーは、花を見つける訓練を受けたハイカーとは全く異なる地図を使うだろうと考えられていました。
新たな発見： 研究者たちは、ハイカーが何を訓練されているかにかかわらず、全員が自分たちの位置を把握するために**同じ16の方角（コンパスの指針）**を使っていることを発見しました。
その証拠： 彼らは13種類の異なるAIモデルでテストを行いました。これらのモデルが画像の理解を変化させる上位16の方法を調べたところ、その16の方向性はすべてのモデルにおいて幾何学的に同一でした。これは、もし13人の異なる人々に「街の地図を描いてください」と頼んだとき、たとえ訓練内容（「パン屋がどこにあるか」vs「公園がどこにあるか」など）が違っても、全員が全く同じ16の主要な通りを描いたようなものです。

2. 「シェイプ・シフター（変身能力者）」テスト（ドメイン超越性）

研究者たちはこう問いかけました。「この16の方角を持つコンパスは、景色が変わっても機能するのか？」

彼らは8つの全く異なる種類の画像でモデルをテストしました：
- 通常の写真（Instagramのようなもの）
  品
- 医療用CTスキャン（体内）
- 衛星写真（宇宙から）
- 顕微鏡画像（微細な細胞）
- 手書きのスケッチ
- 熱マップ（サーモグラフィ）
- デプスマップ（3D形状）
- 銀河の写真
結果： 銀河はCTスキャンとは似ても似つかないものですが、AIモデルは依然として同じ16のコンパスの指針を使用してそれらを理解していました。「コンパス」はどこでも通用するのです。

3. 「フェイク（偽物）チェック」（これは単なるトリックではないか？）

懐疑派はこう言うかもしれません。「これは単に、AIがエッジや色といった基本的な要素を見ているだけではないか、あるいは数学的に不具合があるだけではないか？」

「ピクセル」テスト： 生のピクセル（写真の中に赤いピクセルがいくつあるかを数えるようなもの）からこれら16の方向性を特定しようと試みました。しかし、これは失敗しました。「コンパス」は単なるピクセルのカウントよりもはるかにスマートなのです。
「ランダム」テスト： 16のランダムな方向性を試してみました。これも惨敗しました。
「Pang（パン）」テスト： 最近の批判（Pang 2026）では、以前の研究はAIモデルのサイズによって騙されていた可能性が示唆されました。研究者たちは、より厳格で困難な数学を用いてテストを再実行しました。16の方向性は依然として生き残りました。 彼らは、この類似性が錯覚ではなく、現実であることを証明したのです。

4. 「アーリー・バード（早起き）」の発見（いつ起こるのか？）

彼らはAIがゼロから学習していく様子を観察しました。

驚きの事実： AIは、学習の最初の10%の段階で、これら16の共有された方向性を発達させていました。
注意点： その時点でのAIは、実際の仕事においてはまだ非常に稚拙でした（精度はわずか46%でした）。AIが自身の仕事に習熟するのは、もっと後の段階でした。
意味すること： この「16方向のコンパス」は、AIが最初に構築する基礎なのです。これは「学び方を学ぶ」フェーズです。この基礎が構築されると、AIはその上に特定のタスク（猫や腫瘍の識別など）を学習できるようになります。

5. これで何ができるのか？（ツールとしての活用）

この「16方向のコンパス」が存在し、かつ共有されていることがわかったため、論文では4つの実用的なテクニックを提案しています。

「ラベルなし」フィルター： ラベル付けされたデータを事前に用意することなく、新しい仕事に最適なAIモデルを選択できます。これは現在の手法よりも3倍高速です。
「ドメイン検出器」： 画像が医療スキャンなのか、衛星写真なのか、あるいはスケッチなのかを、これら16の数値を見るだけで判別できます。精度は99.6%に達します。
「微細な特徴」のブースト： ラベルが極めて少ない場合（例：特定の疾患の例が50個しかない場合）、これら16の方向性を使用することで、現代のAIが通常使用する巨大で複雑な特徴（768次元）よりも優れた結果を得られます。
「ゴースト・ティーチャー（幽霊教師）」： 新しいAIを訓練する場合、通常は道を示すための「教師」AIが必要です。この手法では、「16方向のコンパス」を教師として使い、教師AIを毎回実行することなく学生AIを訓練できます。これにより、膨大な計算資源を節約できます。

これは「できないこと」（境界線）

著者たちは、これが「できないこと」についても慎重に述べています：

感覚をまたぐことはできない： 視覚（目）と音声（耳）を混ぜ合わせた場合、この16方向のコンパスは崩壊します。これは視覚専用です。
品質を予測するものではない： AIが強力な「コンパス」を持っているからといって、それが特定のタスクにおいて最高であるとは限りません。
万能薬ではない： 通常の写真で訓練されたAIが、自動的にX線読影に完璧になるわけではありませんが、それは助けになります。

まとめ

この論文は、現代のすべてのAIビジョンモデルが、世界を理解するために、心の奥底で同じ**「16語の言語」**を話していることを明らかにしました。彼らは訓練の非常に早い段階でこの言語を構築し、それは猫を見ているときでも、腫瘍を見ているときでも、銀河を見ているときでも機能します。この発見により、膨大な量のラベル付きデータを用意することなく、より速く、より安く、よりスマートなAIツールを構築することが可能になります。

技術要約：クロスアーキテクチャ基質（The Cross-Architecture Substrate）

問題提起
現代のビジョンエンコーダは、極めて異なる目的（ImageNetによる教師あり分類、DINOv2による対照学習、MAEによるマスク画像モデリング、CLIPによる視覚と言語のマッチングなど）で訓練されている。従来の通説では、これらの多様な訓練パラダイム、アーキテクチャ、および帰納バイアスは、根本的に異なる内部表現をもたらすとされている。さらに、近年の批判（特にPang et al., 2026）では、標準的な類似度指標であるCentered Kernel Alignment (CKA) が特徴量の幅やプーリングの深さによって膨張しており、これまで報告されてきた多くのアーキテクチャ間収束の主張は、厳密なキャリブレーションの下では消失すると指摘されている。中心となる問いは、これら異種混合のエンコーダ間に、ドメインシフトや厳密な統計的キャリブレーションを生き残る共通の幾何学的構造が存在するのか、という点である。

手法
著者らは、特定の幾何学的プロセスを通じて「クロスアーキテクチャ基質」を定義する：

エンコーダ・パネル： ResNet、ViT、ConvNeXtなどを含む $E$ 個のビジョンエンコーダのセットを選択する。
特徴抽出： 固定されたプローブ画像の一群をすべてのエンコーダに通す。中間層の特徴量は、スケールを正規化するために平均中心化およびホワイトニング（白濁化）される。
結合PCA： すべてのエンコーダからの特徴ベクトルを単一の行列へと結合する。この結合空間から上位 $K$ 個の主成分（PC）を抽出する。
定義： 著者らは、クロスドメインの類似性がプラトーに達する次元として $K=16$ を経験的に決定する。得られた16次元の基底を**基質（substrate）**と定義する。
評価指標：
- Procrustes-CKA (PCKA): 最適な回転を行った後の2つの $K$ 次元部分空間を比較する対称的な尺度。
- Pang 2026 キャリブレーション： 「幅による膨張」という批判に対処するため、著者らはPangの行置換帰無仮説を適用する。観測された類似性が特徴量の次元数によるアーティファクトではないことを保証するため、ランダムなデータ（グローバルな線形CKAおよびローカルな相互kNN想起のバリアントの両方）から期待されるベースラインのアライメントを減算する。
コントロール： 本研究には、アブレーション研究（leave-one-out）、ピクセルレベルのPCA、Gaborエッジエネルギーバンク、およびランダムな低ランク射影との比較が含まれる。また、訓練中の出現過程および、モダリティやパラダイムに対する基質の適用限界についても検証を行う。

主な貢献

共有された幾何学的オブジェクトの存在： 13種類の現代的なビジョンエンコーダにおける上位16の主成分方向は、それが教師あり分類、対照学習、またはマスク再構成のいずれかで訓練されたものであるかにかかわらず、同一の16次元の幾何学的オブジェクトへと収束する。
厳密なキャリブレーション下での生存： 以前の主張とは異なり、この基質はPang 2026のキャリブレーションを生き残る。識別的なエンコーダは、グローバルなキャリブレーション下において、マスク再構成（MAE）エンコーダよりも7.4倍高いアライメントを示し、より困難なローカル最近傍想起バリアントの下では4.82〜5.30倍の分離を示す（ $p < 10^{-44}$ ）。
ドメイン超越性： 基質は、自然写真、医療CT、衛星RGB、顕微鏡写真、手書きスケッチ、深度マップ、熱赤外線、銀河の望遠鏡画像という8つの異種視覚ドメインを横断して転送される。これら8つのドメインにおけるPCKAの中央値は0.604であり、すべてのクロスドメインのペアにおいて0.40を超えている。
早期出現： 基質は訓練の早い段階で獲得される。ゼロから訓練されたResNet-50において、基質のアライメントはエポック5（訓練の10%）までに0.58に達する一方、分類精度は残りのエポックを通じて46%から76%へと上昇し続ける。これは、基質が収束した分類器の状態ではなく、初期の最適化領域（optimization basin）の特性であることを示唆している。
4つのラベルフリー応用：
- 転送可能性フィルタ： ラベルフリーの「基質アライメントスコア」が、エンコーダのランキングにおいてLogMEに代わり、SITE-2025ベンチマークにおいて3倍の高速化と+0.15のKendall- $\tau$ 向上を提供する。
- ドメイン検出器： 16次元の基質上の線形分類器は、ファインチューニングなしで4つの視覚ドメインを識別する際に99.6%の精度を達成する。
- 低ショット・フローズン・プローブ： クラスあたりのラベル数が $N=50$ の場合、16次元の基質は768次元のDINOv2特徴量よりも、バランス精度において+3.78パーセントポイント上回る。
- 教師レス蒸留： 基質-CKA補助損失は、訓練中に教師ネットワークのフォワードパスを必要とせずに、3/3の教師-生徒ペアにおいて標準的な訓練済み教師知識蒸留のベースラインと一致し、ラベル割合10%においてクロスエントロピーに対し+7.56ppのピークを得る。

結果と境界

ピクセル統計ではない： 基質は低次レベルの画像統計によって説明されるものではない。ピクセルレベルのPCAはPCKA 0.263のみを、Gaborエッジエネルギーバンクは0.31を導出し、これらは基質（4ドメインで0.679、8ドメインで0.604）よりも大幅に低い。
ランダムではない： ランダムな16次元射影は、中央値0.041のPCKAを示す。
エンコーダ固有ではない： Leave-one-outアブレーションは、基質が特定のモデルの特性ではなく、パネル全体の特性であることを示している（いずれかのエンコーダを除去しても、中央値のPCKAの変化は $\pm 0.027$ 以内である）。*
モダリティの限界： 基質はモダリティを越えては拡張しない。結合ビジョン-オーディオ基質（CLIP/CLAP）は、キャリブレーションされた帰無仮説に失敗する。
パラダイムの限界： 基質は識別的なファミリー内には存在するが、クロスパラダイム蒸留を促進することはない（例：CLIPの基質をResNetの生徒へ転送しても、クロスエントロピーに対して利得は得られない）。
予測の限界： 基質のアライメントは、ダウンストリームの転送精度を予測しない（ $\tau = -0.08$ ）。それはモデルの「質」ではなく、どのような「訓練パラダイム」に属しているかを特定するものである。

意義と主張
本論文は、現代のビジョンエンコーダにおける堅牢な経験的規則性を特定したと主張している。すなわち、多様なアーキテクチャ、訓練目的、および視覚ドメインを横断して出現し、訓練の初期段階で維持される、共通の16次元の幾何学的構造である。著者らは、これを定理や普遍的な特徴量の関連性の主張ではなく、「方向の存在（direction-existence）」の主張として位置づけている。その意義は、異なる訓練パラダイムが完全に分離した表現空間をもたらすという仮定に疑問を投げかけ、ランダムノイズ、ピクセル統計、または特定のエンコーダの特異性とは異なる、低次元の共通の部分空間に収束することを示した点にある。この発見は、異種混合のモダリティ内における、転送可能性の推定、ドメイン検出、および効率的な知識蒸留のための新しいラベルフリーのツールを提供する。著者らは、基質がモダリティ内の現象であり、ImageNetで事前学習されたモデルが（医療画像などの）あらゆるダウンストリームタスクに対して普遍的に競争力のあるバックボーンであることを意味するものではない、と明示的に警告している。