🤖 machine learning

RADAR: Relative Angular Divergence Across Representations

本論文は、層ごとの表現軌跡における角度の発散と相対距離の変化を分析することで基盤モデルのクロスドメイン転移性を推定する幾何学的に根拠のある指標 RADAR を導入し、テキストおよび画像のベンチマークにおいて競争力のある予測性能を実証する。

原著者： Xavier Cadet, Mateusz Nowak, Peter Chin

公開日 2026-05-25

📖 1 分で読めます☕ さくっと読める

原著者： Xavier Cadet, Mateusz Nowak, Peter Chin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたがシェフで、新しい料理を作ろうとしていると想像してください。素晴らしいレシピ（あなたの「ターゲット」データ）は持っていますが、材料が不足しています。そこで、他のキッチン（あなたの「ソース」データ）から材料を借りて、それを助けることにします。

問題は？借りた材料がすべてうまく合うわけではないということです。時には、新しいスパイスを加えることで、料理の味が良くなるどころか悪くなることがあります。これを「ネガティブ転移」と呼びます。通常、ある材料がうまくいくかどうかを知るには、料理全体を調理し、味見をし、もし悪ければ捨てて、もう一度試す必要があります。これは遅く、高価で、無駄です。

この論文は、RADAR（Relative Angular Divergence Across Representations：表現間相対角発散）と呼ばれる新しいツールを紹介しています。RADARを、生の材料の一滴を味見し、「はい、これは完璧に調和します」とか「いいえ、これはスープを台無しにします」と即座に教えてくれる「超スマートな料理評論家」と考えてください。しかも、あなたにフルコースを調理させることなく、です。

以下に、簡単な比喩を用いて RADAR の仕組みを説明します。

1. 「層ごとの」旅

ほとんどの古いツールは、調理プロセスの最後の段階（モデルの最終層）でのみ材料を見ています。「これら 2 つのスープのボウルは似ていますか？」と問うのです。

RADAR は異なります。それは、材料がキッチンを通り抜ける際の「旅全体」を見守ります。材料が工場の部屋（層）のシリーズを通って移動すると想像してください。

古いツールは、最終製品だけをチェックします。
RADARは、材料が部屋 1 から部屋 2、そして部屋 3 へと移動する様子を監視します。それはそれらの「経路」を追跡します。

2. 「歩く道」の比喩

2 つのグループ（異なるドメインからのデータ）が互換性があるかどうかを理解するために、RADAR は人々が迷路を歩く様子を見ます。

「グループ内」の歩き方: 同じ町出身の 2 人の友人が迷路を歩くと想像してください。彼らはまっすぐな線を描き、効率的で直接的な経路を取る傾向があります。その歩みは予測可能です。
「グループ間」の歩き方: 次に、あなたの町の友人と外国からの友人が一緒に歩く様子を想像してください。彼らはまっすぐ歩きますか？それとも奇妙な迂回をしたり、ジグザグに歩いたり、混乱したりしますか？

RADAR はこれらの歩き方について 2 つのことを測定します。

角度: 彼らは同じ方向に進んでいますか、それとも互いから鋭く方向転換していますか？
迂回: 彼らが一緒に取る経路は、片方が単独で取る直線的な経路よりもはるかに長いですか？

もし「外国」の友人が、地元の友人と比較して巨大で混乱した迂回をする場合、RADAR は「これら 2 つはうまく混ざり合わない」と言います。もし彼らが一緒にまっすぐ歩けば、RADAR は「素晴らしい、互換性があります！」と言います。

3. 「変形する」地図

この論文は、異なる種類のデータ（テキスト対画像など）が異なる「世界」に住んでいると指摘しています。

テキストは、平らな紙（ユークリッド空間）のようです。
画像は、時には地球儀の表面（曲がった空間）のようです。

RADAR はどの地図を使うべきかを知っています。それは、見ていいるデータの種類に応じて、平らな紙上または地球儀上の「歩く道」を測定できます。その後、経路の振る舞いの統計的「指紋」を作成します。

4. 「交通レポート」

最後に、RADAR はローカルグループと外国グループの「交通パターン」を比較します。

両方の交通が滑らかで同様に流れる場合、それはポジティブ転移（新しいデータが役立つ）を予測します。
交通パターンが混沌として完全に異なる場合、それはネガティブ転移（新しいデータが害になる）を予測します。

なぜこれが優れているのか？

調理不要: 新しいデータセットが優れているかどうかをテストするために、AI モデル全体を再トレーニングする必要はありません。凍結された特徴に対してこの「味見テスト」を実行するだけです。
詳細を見る: 層を通る「動き」（旅）を見るため、最終結果のみを見るツールが見逃す微妙な違いを捉えます。
どこでも機能する: 著者は、画像（異なるスタイルの猫と犬の認識など）とテキスト（異なる言語での感情の理解など）の両方でテストしました。それは両方のケースでうまく機能し、特にデータ間の違いが明確か、滑らかに変化している場合に効果的でした。

注意点

この論文は、RADAR があらゆる状況に魔法の杖ではないと認めています。データが散らばり、散漫で、明確な構造を持たない場合（誰もがランダムに歩いている混沌とした群衆のような場合）、RADAR は混乱するかもしれません。それは「歩く道」が非常に滑らかか、非常に明確に区別されている場合に最もよく機能します。

要約すると: RADAR は、トレーニングを始める前に、そのデータが AI の脳内をどのように「歩く」かを観察することで、2 つの異なる種類のデータを混合することが AI の学習を助けるのか、それとも混乱させるのかを予測する幾何学的なコンパスです。

技術概要：RADAR（表現間の相対的角発散）

問題定義

現代の機械学習において、補助的なソースドメインを用いてトレーニングデータセットを拡張することは、データ制約に対処するための標準的な戦略である。しかし、この実践は下流タスクの性能向上を保証するものではなく、ソース情報の取り込みがターゲット性能を積極的に低下させる「ネガティブ転移」を引き起こす可能性がある。どのソースドメインが正の転移をもたらすかを特定することは困難であり、各候補を経験的に評価するには高コストなフルモデル再トレーニングが必要となる。既存の転移可能性指標は、単一層における静的な表現に依存するか、ターゲットデータセットでの事前トレーニングを必要とするため、モデル階層全体にわたる表現の動的な構造的進化を捉えられていない。

手法：RADAR

著者は、ベースラインモデルからの凍結された特徴量のみを使用してドメイン間転移可能性を推定するように設計された、幾何学的に根拠のある指標であるRADAR（表現間の相対的角発散）を提案する。この手法は、静的なスナップショットではなく、表現の層ごとの進化を分析することで動作する。

中核メカニズム

層ごとの軌道抽出: 事前学習済みのベースラインモデル $\Phi$ に対して、各層 $l$ における中間特徴表現 $h^{(l)}(x)$ を抽出する。
幾何学的三角形の構築: 与えられたアンカーサンプル $x$ $x$ と二次的なサンプル $x'$ $x^{'}$ （同一ドメイン内またはドメイン間）に対して、層 $l$ $l$ と $l+1$ $l + 1$ にまたがる変位ベクトルの幾何学的三角形を構築する：
- 分離（ $v_{sep}$ ）: $h^{(l)}(x)$ と $h^{(l)}(x')$ の間のベクトル。
- 迂回（ $v_{detour}$ ）: $h^{(l)}(x')$ から $h^{(l+1)}(x)$ へのベクトル。
- 軌道（ $v_{traj}$ ）: $h^{(l)}(x)$ から $h^{(l+1)}(x)$ への直接変位。
- 注記: 論文は、 $v_{sep} + v_{detour} = v_{traj}$ が厳密に成り立つことを証明している。
記述子の計算: この手法は、これらの三角形に対して 2 つの主要な記述子を計算する：
- 角アライメント（ $\theta$ ）: 分離ベクトルと迂回ベクトル間のコサイン類似度。
- 相対距離（ $d$ ）: 直接軌道に対する 2 段階の迂回経路長の正規化された超過分（ $d = \frac{\|v_{sep}\| + \|v_{detour}\| - \|v_{traj}\|}{\|v_{traj}\|}$ ）。
- トポロジカル適応: この指標は超球空間（DINO 特徴など）の測地距離上で定義可能であるが、著者は特にテキストにおいてモダリティ全体で最も堅牢であることが証明されたため、統一されたユークリッド空間定式化を採用している。
分布モデリング:
- この手法は、ドメイン内ペアとドメイン間ペアに対して、 $\theta$ と $d$ の経験的分布を計算するためにペアをサンプリングする。
- 計算の現実性を確保するため、クラス重心からの距離に基づいてペアに重み付けを行う層別サンプリング戦略が採用され、インライア - インライアおよびインライア - アウトライアの両方のダイナミクスを捉える。
- **ガウス混合モデル（GMM）**がこれらの分布に適合させられ、ドメイン内およびドメイン間のダイナミクスの連続確率密度をモデル化する。
発散測定: 最終的な転移可能性スコアは、2 つの GMM 間の対称カルバック・ライブラー（KL）発散から導出される。発散が低いことは、構造的類似性が高く、したがって予測される転移可能性が高いことを示す。
拡張軌道: 全体的な構造的シフトを捉えるため、この指標は層のウィンドウ（例： $l-6$ から $l+6$ ）にわたって記述子を連結し、GMM を適合させる前に高次元特徴ベクトルを作成する。

主要な貢献

動的な層ごとの構造的進化: RADAR は、静的な特徴分布ではなく、ネットワーク層全体にわたる幾何学的軌道（角度と相対距離）の動的で連続的な分布間の発散を測定することで転移可能性を評価する最初の指標である。
極めて競争力のある予測性能: この指標は、ビジョンおよびテキストベンチマークの 10 設定のうち 7 設定でトップ 3 の性能を達成し、そのうち 6 設定で絶対的な最高性能を確保した。LEEP、LogME、NCE、TransRate、S-OTDD などの最先端のベースラインを常に上回るか、同等の性能を示す。
堅牢かつ効率的な推定: 広範なアブレーション研究を通じて、著者は RADAR がハイパーパラメータの選択（サンプルサイズ、ウィンドウ半径、温度）に対して堅牢であり、凍結された特徴量と部分サンプリングへの依存により、CPU のみの環境でもベースラインを上回る計算効率を有することを示した。

実験結果

著者は RADAR を以下の対象で評価した：

ビジョンモダリティ: DomainNet、OfficeHome、PACS における CLIP および DINOv3 バックボーン。
テキストモダリティ: EuroEval および AmazonReviews における Qwen3-Embedding および EmbeddingGemma。

主要な知見:

性能: RADAR は、CLIP および DINOv3 両方において DomainNet で、CLIP において OfficeHome で、最良の平均相関改善（MCI）を達成した。テキスト分野では、EmbeddingGemma において EuroEval で最良の結果を達成し（次点のベースラインを 30 パーセントポイント以上上回った）、AmazonReviews においても競争力があった。
ドメイン分離レジーム: RADAR は、ドメイン遷移が滑らか（低汚染/低分離）または明確に分離（高汚染/高分離）されている場合に卓越する。その性能は、軌道アライメントには滑らかすぎず、明確な発散推定には明確すぎない散在的で不均一な分離を示すドメインが存在する「中間」レジーム（例：PACS データセット）で低下する。
モダリティの違い: テキスト表現はユークリッド空間と角特徴を厳密に好むのに対し、ビジョン表現はユークリッド空間と疑似デカルト空間の両方に対して堅牢性を示す。
汚染への堅牢性: ImageNet-C において、RADAR は静的な統計指標が失敗する極端な汚染レベル（深刻度 5）で卓越した堅牢性を示したが、中程度の合成ノイズ（深刻度 3）に対しては脆弱性を示した。

意義と主張

本論文は、静的な単一層指標では捉えられない層ごとの幾何学的構造が、意味のある転移可能性シグナルを担っていると主張する。層全体にわたる表現の進化の発散を測定することで、RADAR はモデルを再トレーニングすることなく転移ゲインの順位を予測するための、原理的かつ計算効率的な方法を提供する。

著者は、そのアプローチが知覚的直線化仮説と、ベースラインモデルにおいて最も情報量の多い表現が必ずしも最終層にあるわけではないという観察に基づいていることを強調している。彼らは、RADAR がドメインシフトが明確に定義されている場合に特に効果的な、モダリティ横断的な統一された転移学習意思決定フレームワークを提供すると論じている。ただし、彼らは控えめに限界を認め、散在し重なり合うドメイン構造を持つシナリオでは指標の予測力が低下すること、および GMM への依存がリアルタイムフィルタリングにおける計算ボトルネックをもたらすことを指摘している。