🤖 machine learning

Improving Relative Representations with Learned Anchors and Whitened Inner Products

本論文は、意味的なアンカー・プロトタイプを学習し、幾何学的特性を考慮した類似度指標を採用することで、従来の相対的表現を改善し、異種混合のニューラルアーキテクチャ間における安定かつほぼ損失のない情報転送を可能にする、クロスモデル通信のための堅牢なフレームワークを提案する。

原著者： Oscar Thorsted Svendsen, Nikolaj Holst Jakobsen, Fabian Mager, Hiba Nassar

公開日 2026-06-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Oscar Thorsted Svendsen, Nikolaj Holst Jakobsen, Fabian Mager, Hiba Nassar

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、同じ言語を話しているものの、辞書も文章構造も全く異なる2人の翻訳者を持っています。翻訳者A（モデルA）は「王」を「背が高く、黄金色の姿」と表現し、もう一方の翻訳者B（モデルB）は「王」を「背が低く、青い姿」と表現します。もしあなたがモデルAによって書かれたメモをモデルBに渡そうとしたら、座標が一致しないため、モデルBには理解できません。

これが、「相対的表現（Relative Representations）」が解決しようとしている問題です。モデルAとモデルBに「王」の正確な座標を一致させようとする代わりに、彼らは**ランドマーク（目印）**に合意します。「たとえ各自がどのように地図を描いたとしても、『王』は『女王』や『城』からどのくらい離れているか？」という点について合意するのです。両方のモデルがこれらのランドマークへの「距離」において一致していれば、たとえ内部の地図が全く異なっていても、彼らは対話することができます。

しかし、従来の方法には2つの大きな欠陥がありました。この論文は、PARAMとWIPと呼ばれる新しいシステムを用いて、この問題を解決しています。

旧来の方法の問題点

ランダムなランドマーク： 旧来の方法では、地図にダーツを投げるようにランダムにランドマークを選んでいました。そのため、時にはダーツが同じ場所に固まってしまったり（冗長性）、地図の広大な領域を見逃したりすることがありました。その結果、「翻訳」はしばしばぼやけたり、重要な詳細を失ったりしてしまいました。
間違った定規： 旧来の方法は、角度（方向）のみを測定し、距離（大きさ）を無視する定規を使用していました。部屋の角の角度だけを見ている状況を想像してみてください。もし床が不均一に引き伸ばされていたら、角度だけを見て、小さく引き伸ばされた部屋を、大きく標準的な部屋と同じだと判断してしまうかもしれません。このため、モデル同士が大きく異なる場合（例：小さな言語モデルが巨大なモデルと話す場合）、この「翻訳」は崩壊してしまいました。

新しい解決策：PARAMとWIP

1. PARAM：最適なランドマークの学習

ランダムにダーツを投げる代わりに、著者はコンピュータに完璧なランドマークを学習させます。

比喩： あなたが友人に街の説明をしていると想像してください。ランダムに街角を選ぶのではなく、街そのものにこう尋せます。「エリア全体を代表する、最も重要で安定したハブはどこですか？」
仕組み： このシステムは、データポイントのグループを平均化することでランドマークを作成します。これにより、ノイズが平滑化されます（例：いくつかの揺れのある写真を平均して、一枚の鮮明な写真を得るようなものです）。これらの新しいランドマークは「堅牢な意味論的プロトタイプ（robust semantic prototypes）」であり、安定しており、マップ全体を均等にカバーし、特定のモデルの癖に惑わされることがありません。

2. WIP：スマートな定規

著者らは、従来の「角度のみ」の定規を、**ホワイトニング内積（Whitened Inner Product: WIP）**に置き換えました。

比例： 旧来の定規は、それを手に持っている人によって伸び縮みするゴムバンドのようなものです。もしモデルAが空間を引き伸ばし、モデルBが押しつぶしていたら、ゴムバンドは誤った答えを出してしまいます。
仕組み： 新しいWIPの定規は「ホワイトニング（白色化）」されています。測定を行う前に、数学的にゴムバンドを平坦にします。これは、引き伸ばし、押しつぶし、およびシフトを補正します。決定的なのは、この新しい定規は単にどの方向を向いているかだけでなく、**信号がいかに強いか（大きさ）**にも注意を払うことです。これにより、旧来の方法が捨ててしまった重要な詳細（例：「モデルがどれほど自信を持っているか」）を保持することができます。

結果：「ロスレス（無損失）」な翻訳

著者らは、異なるタイプのAIモデルを接続することでこれをテストしました。

ビジョン（視覚）： CNN（一種の画像モデル）とTransformer（より現代的な別の画像モデル）を接続しました。
言語： 異なる言語（英語、ドイツ語、フランス語など）を話す異なる言語モデル（BERTのバリアントなど）を接続しました。
小規模 vs 大規模： 極めて小さな言語モデルを、より大きなモデルに接続しました。

結果：
かつて、これらのモデルを繋ぎ合わせようとすると、惨事となりました（新しいモデルがランダムに推測してしまう状態）。しかし、PARAMとWIPを用いることで、モデルはほぼ完璧に通信できました。

彼らは**ゼロショット・スティッチング（zero-shot stitching）**を実現しました。つまり、モデルAのデータでツールを訓練すれば、再学習させることなく、すぐにモデルBのデータで使用できるということです。
パフォーマンスは、元のモデルを直接使用した場合とほぼ同一でした。あたかも「翻訳」が**ロスレス（無損失）**であったかのように、プロセスの中で情報が失われることはありませんでした。

まとめ

この論文は、異なるAIモデル同士を対話させるための新しい方法を導入しています。

ランドマークを推測するのをやめる： 最も安定した参照点（PARAM）を学習する。
より優れた定規を使う： データ内の引き伸ばしや押しつぶしを考慮できる測定ツール（WIP）を使用する。

その結果、AIの「脳（エンコーダー）」を別のものに差し替えても、残りのシステムが再学習なしで完璧に動作するという、ユニバーサルな「プラグアンドプレイ」のシステムが実現しました。

技術要約：学習されたアンカーとホワイトニングされた内積による相対的表現の改善

1. 問題提起

独立して訓練されたニューラルモデルは、回転、異方的なスケーリング、および平行移動の違いにより、互いに互換性のない潜在表現に収束することがよくあります。これは、エンコーダとデコーダを再学習なしに交換できる、高度にモジュール化されたAIシステムを構築する上での根本的な障壁となっています。

**相対的表現（Relative Representations: RR）**は、絶対的な座標に依存するのではなく、共通のアンカーポイントへの類似性によって定義される共有空間に絶対的な埋め込みをマッピングすることで、この問題に対処します。しかし、標準的なRRの実装には主に2つの制限があります。

ランダムなアンカーサンプリング: 従来のメソッドでは、データポイントをランダムにサンプリングしてアンカーとして使用します。これは、データ多様体（データ・マニフォールド）のカバー範囲の不足、冗長性、および低ランクの相対的特徴を引き起こし、タスクに関連する情報の損失を招くことがよくあります。
コサイン類似度: 標準的な類似度指標は角度の関係のみに依存しており、大きさの情報（特徴の信頼性をエンコードできるもの）を破棄し、Transformerのような現代のアーキテクチャに共通する異方的な幾何学構造を考慮できていません。また、アフィン変換や原点付近において不安定です。

これらの制限は、クロス空間の整列（アライメント）と情報の保存を妨げ、異種モデル間のゼロショット・スティッチング（結合）を困難にします。

2. メソドロジー

著者らは、PARAM（適応的行列によるパラメータ化されたアンカー表現）とWIP（ホワイトニングされた内積）という2つのコアコンポーネントからなる堅牢なフレームワークを提案しています。

2.1 PARAM: 凸混合としてのアンカー学習

アンカーを固定されたランダムなデータサブセットとして扱うのではなく、PARAMはサポート集合の並行なデータポイントの**凸混合（Convex Mixtures）**としてアンカーを学習します。

メカニズム: 共有混合行列 $P$ を最適化し、 $A_i = P X_{sub}^i$ （ここで $X_{sub}^i$ は埋め込みのサブセット）を通じて、各エンコーダ空間 $i$ のアンカー $A_i$ を生成します。
制約: $P$ は行ストキャスティック（行和が1）となるよう制約されており、これによりアンカーがデータの凸包内に留まることを保証します。
利点: このアプローチは平均化によるデノイジング効果を提供し、安定した意味論的プロトタイプを作成します。これにより、離散的なデータポイントの選択による制限を回避し、潜在空間内での連続的なアンカー配置が可能になります。
学習目的関数: 行列 $P$ $P$ は、以下の損失の加重和を用いて最適化されます。
- 単一空間の目的関数: カバー率（ $L_{cov}$ 、ソフトk-means）、直交性（ $L_{orth}$ 、相関のあるアンカーへのペナルティ）、および長さの制御（ $L_{len}$ 、ノルムの制約）。
- マルチ空間の目的関数: ペアとなったサンプルを用いて、異なるエンコーダ間の相対座標を整列させるための対称的InfoNCE（ $L_{symNCE}$ ）。

2.2 WIP: ホワイトニングされた内積

独立して訓練された空間間の幾何学的歪み（平均シフトおよび異方的なスケーリング）に対処するため、著者らはコサイン類似度を**ホワイトニングされた内積（Whitened Inner Product: WIP）**に置き換えます。

メカニクス: 各埋め込み空間に対して、経験的平均 $\mu_i$ を除去し、共分散行列 $\Sigma_i$ に基づく対称的なホワイトニング変換 $L_i = (\Sigma_i)^{-1/2}$ を適用します。
数式: 類似度は $s_{WIP}(x, a_r^i) = \langle L_i(x - \mu_i), L_i(a_r^i - \mu_i) \rangle$ と定義されます。
利点: この指標はアフィン歪みに対して堅牢であり（クロス空間の整列を満たす）、かつ角度情報と大きさの両方を保持するため（情報の保存を満たす）、識別的な信号にとって極めて重要である情報の保持が可能です。

3. 主な貢献

学習されたアンカー (PARAM): アンカーをデータの凸混合として学習する手法であり、ランダムサンプリングに代わって、堅牢な意味的カバー範囲と安定性を確保します。
幾何学を考慮した類似度 (WIP): 共分散を考慮した類似度指標であり、アフィンシフトに対して不変で、かつ現代のアーキテクチャの異方性を考慮して大きさの情報を保持します。
統合フレームワーク: 非常に異質なアーキテクチャ間（例：CNN vs Transformer、および異なるスケールの言語モデル）でのゼロショット・スティッチング性能を大幅に向上させる、結合されたアプローチを提供します。

4. 実験結果

本フレームワークは、ランダムなアンカーとコサイン類似度を用いたベースラインと比較して、視覚および言語モダリティにおけるゼロショット・スティッチング・タスクで評価されました。

画像分類 (CIFAR-100): CNNベース（RexNet）とTransformerベース（ViT）のエンコーダをスティッチングする場合、提案された PARAM-WIP メソッドは、ほぼロスレスな転送を実現しました。例えば、ViTの特徴量で分類器を訓練し、RexNetの特徴量でテストした場合、Random-CosineベースラインのF1スコアが 56.67% であったのに対し、PARAM Multi は 80.94% を達成しました。多くの場合、ゼロショット性能は元の潜在空間の絶対的な性能と一致しました。
テキスト分類 (MARC): クロスリンガル感情分析（例：英語、ドイツ語、フランス語、スペイン語、中国語）において、本フレームワークはベースラインを一貫して上回りました。例えば、フランス語から英語のエンコーダへのスティッチングにおいて、93.75% F1（PARAM Multi）を達成し、92.06%（Random-Cosine）を上回りました。
小型言語モデル (SLMs): 様々なスケールのモデル（GPT-2, TinyLlama, Gemma）間のゼロショット検索タスクにおいて、ベースラインは極端な不安定性（R@1 $\approx$ 0.5% - 10%）を示しました。対照的に、PARAM-WIP は R@1 スコア 87% 〜 95%、R@5 スコア 100% 近辺を達成し、隠れ層の次元数が大きく異なるモデル間でも安定した幾何学的整列を実証しました。
アブレーション研究: 両方のコンポーネントが必要であることが確認されました。WIPは検索品質を向上させますが、その精度向上は学習されたアンカーと組み合わせた時に最大化されます。逆に、ランダムなアンカーとWIPの組み合わせは、原点付近のノイズへの感度の高さから、ランダムなアンカーとコサイン類似度の組み合わせを下回ることがよくありました。

5. 意義と主張

本論文は、ランダムサンプリングと角度投影（コサイン類似度）への依存が、特に異質なモデルファミリーにおいて、現在の相対的表現研究の根本的な限界であると主張しています。

堅牢性: 提案されたフレームワークは、以前は互換性がなかったエンコーダ間でのほぼロスレスな情報転送と安定したゼロショット通信を可能にします。
モジュール性: 潜在的な幾何学と相対的な座標系の関係を定式化することで、本研究は、エンコーダとデコーダをコストのかかる再学習なしに交換できる、モジュール化されたAIアーキテクチャへの実用的な経路を提供します。
幾何学的理解: 結果は、大きさの情報を保持し、アフィン歪みを考慮することが、現代の異方的な埋め込み空間を整列させるために不可欠であることを示唆しています。これは、標準的なコサイン類似度が満たせていない要件です。

著者らは、サポート・サブセットのサイズに対する表現能力への依存や、ホワイトニングのための安定した共分散推定の必要性などの制限についても言及しています。今後の課題として、適応的なサブセット選択、構造化されたスパース性、および非線形な類似度関数の探索が挙げられています。