📊 statistics

Symmetric Divergence and Normalized Similarity: A Unified Topological Framework for Representation Analysis

本論文は、精密な構造診断のための対称的表現トポロジー・ダイバージェンス（SRTD）と、スケール不変なベンチマーキングのための正規化トポロジー類似度（NTS）からなる統一的なトポロジー・フレームワークを導入するものであり、これにより既存手法の非対称性と非有界性の限界を克服し、神経表現を分析するための堅牢なツールを提供する。

原著者： Yan Wang, Tianyang Hu

公開日 2026-06-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yan Wang, Tianyang Hu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

全体像：AIの「思考」を測定する

想像してみてください。あなたは2人の異なるシェフ（ニューラルネットワーク）がスープを作っているところを見ています。あなたは知りたいのです。**「彼らは同じスープを作っているのだろうか？」**と。

長い間、科学者たちは、材料（データ）を観察し、器の見た目の類似性を測定する（幾何学的解析）ことで、この問いに答えようとしてきました。そのための代表的なツールがCKAです。これは、器の形や大きさが同じかどうかをチェックすることに似ています。

しかし、この論文は、「器の形」を見るだけでは不十分であると主張しています。外見上の形が全く同じに見えても、中の材料の配置が全く異なる場合があるからです。この問題を解決するために、著者らは**トポロジー（位相幾何学：図形の性質や接続の研究）**に基づいた新しいツールキットを導入しました。彼らはこれを「トポロジカル・レンズ（位相的なレンズ）」と呼んでいます。

このツールキットには、従来のメソッドが抱える2つの特定の問題を解決するために設計された、2つの主要なツールが含まれています。

問題1：「一方通行」と「上限のないスコア」

この論文以前には、RTD（Representation Topology Divergence）と呼ばれるツールがありました。これは違いを見つけるのには優れていましたが、2つの大きな欠点がありました。

不公平（非対称性）: シェフAとシェフBを比較した場合のスコアと、シェフBとシェフAを比較した場合のスコアが異なるものでした。それは、持つ向きによって長さが変わってしまう定規のようなものでした。
上限がない（比較が困難）: スコアがどんなに巨大な数にもなり得ました。小さな器を比較すればスコアは小さくなり、巨大な器を比較すればスコアは巨大になります。これでは、「この2つのスープは50%異なっている」と言うことは不可能です。なぜなら、スープの量によって数値が変わり続けてしまうからです。

解決策：統合されたツールキット

著者らは、これらの問題を解決するために2つの新しいツールを構築しました。

ツール1：SRTD (Symmetric Representation Topology Divergence)

目的： 2つのスープが「どこで」異なっているのか、完璧で公平かつ詳細な診断を行うこと。

例え話： あなたが街の2つの地図を持っていると想像してください。1つの地図には「道路」が描かれ、もう1つの地図には「川」が描かれています。
- 旧来のツールは、まず道路を見て、次に川を見て、その結果を平均することで両者を比較しようとしました。これは非常に煩雑で、見る順番によって答えが変わってしまいました。
- SRTDは、道路と川の両方を1つの視点に統合した**「スーパーマップ」**を作成するようなものです。これは「和集合（どちらかの地図に存在するすべてのもの）」と「共通部分（両方の地図に存在するのみのもの）」の両方を見ます。
- これらの2つの視点を直接比較することで、SRTDは単一で公平なスコアを算出します。どちらの方向から見ても、答えは同じになります。
なぜ有用か： これにより、構造がどこで異なっているのかを正確に特定できます。もし一人のシェフがスープに塩を入れ、もう一人が砂糖を入れたとしたら、SRTDはその場所をピンポイントで指し示します。また、これは「損失関数」としても機能するため、このスコアを最小化するようにコンピュータに教え込むことで、より良いスープを作る学習に利用することも可能です。

ツール2：NTS (Normalized Topological Similarity)

目的： モデルのサイズに関わらず、あらゆる2つのモデルを比較できる、-1から1の間のシンプルで標準化されたスコアを得ること。

例え話： 2つの異なるソーシャルネットワークの「つながりやすさ」をランク付けしていると想像してください。
- 旧来のツールは、握手の総数を数えていました。ネットワークAに1,000人がいて、ネットワークBに1,000,000人がいる場合、数字は全く異なり、公平な比較ができません。
- NTSは、総数は無視します。代わりに、人々がグループに加わる**「順序」**に着目します。
- 例：両方のネットワークにおいて、まずAさんが加わり、次にBさんが加わり、次に彼らがCさんと出会うというプロセスがあるとします。たとえネットワークBが100万倍大きくても、もし「加わる順序」が同じであれば、NTSはそれらが非常に似ている（スコア：1）と判定します。もし順序が完全にバラバラであれば、それらは異なると判定します（スコア：-1）。
なぜ有用か： これは「普遍的な定規」を作り出します。極小のモデルと巨大な大規模言語モデル（LLM）を比較しても、意味のあるスコアを得ることができます。これは、幾何学的ツール（CKAなど）が、モデルが複雑になりすぎるとすべてが同じに見えてしまう「距離の飽和」という問題に陥るのに対し、頑健（ロバスト）です。

何を発見したのか？（実験）

著者らはいくつかのシナリオでこれらのツールをテストしました。

合成クラスター（Synthetic Clusters）： 明確な形状（点の円など）を持つ偽のデータを作成しました。
- 結果： 旧来のツール（CKA）は、形状がわずかに変化した際に違いを判別できませんでした。新しいツール（SRDTおよびNTS）は、その変化を即座に捉えました。
ディープラーニングの層（Deep Learning Layers）： 画像認識AI（TinyCNN）の「脳」を、層ごとに観察しました。
- 結果： 新しいツールは明確なパターンを示しました。ネットワーク内で近い層同士は似ており、遠い層同士は異なっています。旧来のツールは混乱し、不整合で奇妙な結果を出してしまいました。
- ボーナス： 新しいツールは、AIが「局所的な詳細」を見る状態から「グローバルなパターン」を見る状態へと切り替わる特定の「分岐点」を特定しましたが、これは旧来のツールでは完全に見逃されていました。
大規模言語モデル（LLMs）： 有名なAIモデル（Llama, Qwen, Mistralなど）を比較しました。
- 結果： 幾何学的ツール（CKA）は「飽和」してしまいました。数値が高くなりすぎたため、ほとんどすべてのモデルが同一であると判定してしまったのです。
- NTSは、このノイズを突き抜けました。モデルが同じ「ファミリー（例：Qwenとそのアップグレード版）」に属する場合、表面上の見た目が異なっていても、深い構造的DNAを共有していることを正しく特定しました。さらに、モデルの「蒸留版（大きなモデルの小型版）」が、その親モデルと構造的に類似していることも正しく特定しました。これは旧来のツールが見逃していた繋がりです。

まとめ

従来の方法： データの「形」がどれほど異なっているかを測定していましたが、数値は乱雑で、不公平であり、比較が困難でした。
新しい方法 (SRTD)： 2つのモデルが具体的にどこで異なるのかを示す、公平で詳細なマップです。
新しい方法 (NTS)： ランク付けのように機能する、標準化された「類似度スコア」（-1から1）であり、小さなモデルと巨大なモデルを公平に比較することを可能にします。

論文は、これらのツールは現在、AIを「分析」し「診断」することには非常に優れているものの、AIを直接「訓練」するために使う段階にはまだ達していない（NTSは「微分可能」ではないため、最適化のためのステップバイステップのガイドとして使いにくい）と結論付けています。しかし、ニューラルネットワークが実際にどのように機能しているのかを理解するための、より明確で信頼できる方法を提供しています。

技術要約：対称的ダイバージェンスと正規化された類似性：表現分析のための統一的トポロジカル・フレームワーク

問題提起

トポロジカル・データ解析（TDA）は、ニューラルネットワークの表現を比較するための本質的な視点を提供するが、既存のマクロ的な手法には重大な限界が存在する。具体的には、「表現トポロジー・ダイバージェンス（RTD）」フレームワークとその派生形は、以下の2つの決定的な問題に直面している：

理論的不完全性と非対称性： 一般的に用いられる「対称的」なRTDは、2つの方向的な値（ $RTD(w, \tilde{w})$ および $RTD(\tilde{w}, w)$ ）の力まかせな平均として定義されている。これらの値は、明確な理論的説明なしに劇的に異なることがある。さらに、勾配情報を豊かにするために提案されたデュアル変種である Max-RTD も、RTDとの完全な理論的関係性が解明されていない。
正規化の欠如： RTDおよびRTD-liteは、サンプルサイズや固有の距離スケールに大きく依存する、非有界な正のスコアを生成する。これにより、異なるシナリオ間でのベンチマーク（例：異なるモデル、レイヤー、データセットの比較）が信頼性に欠け、解釈が困難になっている。距離を再スケールする既存の試み（例：0.9分位点を使用するもの）は、ヘテロジニアスな設定においてはヒューリスティックであり、不十分である。

これらの限界は、ニューラル表現の微細な構造診断と、堅牢で標準化された評価の両方を妨げている。

手法

著者らは、構造診断のための**対称的表現トポロジー・ダイバージェス（SRTD）と、標準化された評価のための正規化されたトポロジカル類似性（NTS）**という、2つの補完的なコンポーネントからなる統一的なトポロジカル・ツールキットを提案する。

1. 対称的表現トポロジー・ダイバージェンス (SRTD)

RTDファミリーにおける非対称性と理論的なギャップに対処するため、著者らはSRTDを導入する。

概念： 2つの点群のヴィエトリス・リップス・フィルトレーションの「和（union）」と「共通部分（intersection）」の間のトポロジカルな不一致を直接測定することで、2つの方向的なダイバージェンスを平均するのではなく、SRTDはこれを実現する。
構成： 距離行列の要素ごとの最小値（ $min(w, \tilde{w})$ ）と最大値（ $max(w, \tilde{w})$ ）から構築された対称な補助行列（ $M_{sym}$ ）を利用する。ダイバージェンスは、この補助グラフのパーシステント・ホモロジーから導出されるバーコードの長さの総和として定義される。
理論的統一： SRTDは、非対称な尺度（RTDおよびMax-RTD）が、大きな共有された対称成分（SRTD）と、個々のフィルトレーションに固有の小さな「プライベート」成分に分解されることを示す、統一されたフレームワークを提供する。
効率性 (SRTD-lite)： RTD-liteのアプローチに従い、著者らは最小全域木（MST）の重みを用いて完全なトポロジカル・ダイバージェンスを近似する SRTD-lite を定義する。これは、 $max(w, \tilde{w})$ と $min(w, \tilde{w})$ のMST重みの差として定義される。
主要な特性： 著者らは、ライト版において $Max\text{-}RTD\text{-}lite + RTD\text{-}lite = SRTD\text{-}lite$ が成立することを証明し、SRTD-liteがバランスの取れた中央値的な尺度として機能するという厳格な階層的順序を確立した。

2. 正規化されたトポロジカル類似性 (NTS)

堅牢なクロスシナリオ・ベンチマークを可能にするため、著者らは-1から1の範囲に限定されるNTSを提案する。

動機： バーコードの長さを合計する（アウトライヤーやスケールに敏感な）ダイバージェンス尺度とは異なり、NTSは階層的なマージ順序のランク相関に焦点を当てる。
メカニズム：
- 両方の表現のMSTにおけるエッジの和集合によって定義される「コア・ペア」の集合を特定する。
- これら2つの表現におけるコア・ペアのマージ・タイム（またはエッジ距離）間のスピアマンの順位相関係数を計算する。
- 2つの変種、NTS-E（エッジ距離に基づく）と NTS-M（マージ・タイムに基づく）が定義されている。
特性： NTSはスケール不変であり、サンプルサイズの変動に対して堅牢である。絶対的な距離の大きさではなく、連結成分がマージされる順序を比較することによって、トポロジカルな構造を捉える。

主な貢献

RTDフレームワークの完成： SRTDの導入により、従来のRTD変種の理論的な非対称性が解消された。これは、診断情報を単一の対称的なクロス・バーコード・シグネチャへと集約し、デュアル方向計算のオーバーヘッドなしに、より効率的な最適化目的関数を提供する。
NTSの導入： NTSの提案により、ダイバージェンスの非有界性が克服された。ランクベースの正規化を活用することで、異なるデータセット、モデルアーキテクチャ、および実験パイプライン間で比較可能な、標準化された類似性スコアを提供する。
理論的特性付け： 本論文は、写像錐（mapping cones）とホモロジーにおける長完全系列を用いて、RTD、Max-RTD、およびSRTDの間の厳密な数学的関係を確立し、Max-RTDの役割と非対称性の原因を明確にした。
効率的なアルゴリズム： 著者らは、 $O(n^2(\alpha_{uf}(n) + d))$ 時間で動作する軽量なバリアント（SRTD-liteおよびNTS-E）を提供し、大規模な表現分析へのスケーラビリティを実現している。

実験結果

ツールキットは、合成および実世界のディープラーニングの設定において評価された：

合成階層シフト： ガウス型クラスターおよびUMAP埋め込みを用いた実験において、NTSとSRTDファミリーは、構造的な非類似性の増大を正確に捉えた。対照的に、CKAはこれらの変化に対してほとんど鈍感であり、RTD-liteは異常な逆転傾向を示した。これは、 $max(w, \tilde{w})$ 成分と正規化の必要性を浮き彫りにした。
CNNレイヤー別解析： CIFAR-10で訓練されたTinyCNNを用いた解析において、NTSとCKAは一貫して解釈可能な、ほぼ対角線上の類似性ランドスケープ（深さとともに類似性が減衰する様子）を示した。しかし、非正規化されたRTDファミリーは、この単調な傾向を回復できず、不規則なヒートマップを生成した。極めて重要な点として、トポロジカルな尺度（NTSおよびSRTD-lite）は、最終的なプーリングレイヤーにおける急激な構造的転移を検出した。これは、CKAのような幾何学的ベースラインが見逃した機能的シフトである。
大規模言語モデル (LLM) 解析： TruthfulQAおよびToxiGenデータセットを用いたLLMファミリー（Qwen, InternLM, Baichuan, Llama）への適用：
- モデル内解析： NTSは、モデルファミリー内での一貫した階層的「指紋」を明らかにした。一方、CKAは距離の飽和により、しばしば飽和した、あるいは一貫性のないヒートマップを生成した。
- モデル間解析： NTSは、スコアの飽和（1.0付近へのクラスタリング）に苦しむCKAと比較して、モデル間の関係をより鮮明かつ識別的な視点で提供した。
- 蒸留のケーススタディ： Qwen2.5-Mathから蒸留されたDeepSeek-R1-Dsを用いたケーススタディにおいて、CKAは家系を反映しない低い類似性スコアを示したが、NTSは高い構造的類似性を特定することに成功した。これは、トポロジカルなマージ順序が、蒸留による幾何学的シフトに対してより堅牢であることを示唆している。

意義と主張

本論文は、既存の幾何学的尺度であるCKAを補完する、厳密でトポロジーを考慮した視点を提供すると主張している。

診断のために： SRTDおよびSRTD-liteは、構造的な不一致に関する微細で解釈可能な証拠を提供し、最適化（例：オートエンコーダ）のための効果的な損失項として機能し、RTDクラスの中で改善された効率性と最高の性能を達成する。
ベンチマークのために： NTSは、ヘテロジニアスな設定間で比較可能な、スケール不変な指標を提供し、ダイバージェンスの解釈性の問題を克服する。
限界： 著者らは、NTSは現在解析専用の尺度であり、微分不可能であるため、モデルの最適化に直接使用することはできないと述べている。将来の研究として、微分可能な定式化の開発が示唆されている。また、軽量版は主に0次元の特徴に依存しており、スケーラビリティのために高次のトポロジカルな洞察をトレードオフしている。

本研究は、微細な構造診断と堅牢で標準化された評価の間のギャップを埋め、統一的なトポロジカルなレンズを通じてニューラル表現を理解するための基礎的な一歩となるものである。