💻 computer science

Transformer Geometry Observatory TGO-I: Spectral Geometry Observatory

本論文は、Vision Transformerのスペクトル幾何学を分析するためのTransformer Geometry Observatory (TGO) フレームワーク、特にTGO-Iを導入し、学習が進むにつれて分散が表現次元全体に漸進的に再分配され、情報の集中という直感に反して実効次元が増加し異方性が減少することを明らかにしている。

原著者： Kaustubh Kapil, Kishor P. Upla

公開日 2026-06-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kaustubh Kapil, Kishor P. Upla

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、Vision Transformer (ViT) と呼ばれる、巨大で複雑な機械を想像してみてください。この機械は、画像を見て、そこに何が写っているかを理解するために設計されています。長い間、科学者たちは、この機械が「何を」決定したか（例：「あれは猫だ！」）、あるいは「どこに」注意を向けているか（例：「耳を見ている」）ということに夢中になってきました。

しかし、この論文 TGO-I は、異なる問いを投げかけます。「学習が進むにつれて、この機械の内部にある『脳』は、実際にはどのような姿をしているのか？」 という問いです。

この機械の脳を、単なる事実のリストとしてではなく、情報が住む巨大で多次元的な部屋だと考えてみてください。著者たちは、学習が進むにつれてこの部屋の形がどのように変化するかを観察するための、特別な「観測所」（ツールセット）を構築しました。

以下に、彼らが発見した物語を、分かりやすく説明します。

1. セットアップ：部屋の進化を見守る

研究者たちは、100種類の画像データセット（インターネット全体のミニチュア版のようなもの）を用いて、Vision Transformerを訓練しました。彼らは単に最終的な答えを観察したのではなく、学習プロセス（1日目から100日目まで）のあらゆるステップにおいて、機械の内部を覗き見ました。

彼らはデータの「幾何学（ジオメトリー）」を測定しました。データを、部屋の中にある点の雲だと想像してください。

初期段階： 雲は一つの壁に向かって押しつぶされたように平らかもしれません（非常に狭い状態）。
後期段階： それは平らなままなのか？それとも広がっていくのか？部屋全体を満たすのか？

2. 大きな驚き：「広がり」の効果

常識的に考えれば、機械が賢くなるにつれて、より「集中」していくはずだと考えがちです。あなたはこう思うかもしれません。「最も重要なことに集中し、それ以外を無視して、知識をいくつかのタイトで強力な方向に凝縮していくはずだ」と。

論文の結果は、その真逆でした。

情報を凝縮して狭いコーナーに追い込むのではなく、機械の内部表現は、部屋全体を満たすように広がっていったのです。

比喩： 暗い部屋の中にいる人々のグループを想像してください。最初は、みんなが同じことを叫びながら、一箇所に固まって集まっています。学習が進むにつれて、彼らはもっと密集するのではなく、ゆっくりと離れていき、それぞれがユニークな情報の断片を持ちながら、部屋全体に広がっていくのです。
結果： 「有効ランク（Effective Rank）」（どれだけ多くの異なる方向が使われているかを示す高度な指標）は上昇しました。「異方性（Anisotropy）」（形がいかに偏っているか、あるいは押しつぶされているか）は低下しました。

3. 「CLSトークン」：究極のオーガナイザー

これらの機械には、「CLSトークン」と呼ばれる特別なトークンが存在します。これを「クラス委員長」や「チームキャプテン」と考えてください。彼らは、最終的な決定を下すために、残りのグループからすべての情報を集めます。

論文によると、この「キャプテン」が、この部屋の中で最も興味深い存在であることが分かりました。

学習が終わるまでに、CLSトークンの内部空間は、他のどの部分よりも広く分散していました。
最も押しつぶされていない形状（最小の異方性）を持っていました。
情報を保持するために、最も多くの次元を使用していました。

それはまるで、チームキャプテンが単にいくつかの重要な事実を暗記しただけでなく、チームの全メンバーのユニークな視点が保存され、活用されるように、チーム全体を組織化したかのようです。

4. 「対角線」のパターン

研究者たちは、機械の脳の異なる部分がどのように互いに通信しているか（相関関係）についても調査しました。

初期段階： 各部分は非常に絡み合っており、互いに依存し合っていました（絡まったヘッドホンのコードのような状態）。
後期段階： その「結び目」は解け、バラバラになりました。各部分はより独立したものになりました。
視覚的イメージ： これらの接続のマップを描くと、それはクリーンな対角線（各要素が自分自身とだけ通信している状態）のように見え始めました。これは、機械が異なる特徴を明確かつ非冗長に保つことを学んだことを意味します。

5. なぜこれが起きたのか？（仮説）

論文は、なぜこのようなことが起きたのかを正確には述べていませんが、3つの推測（仮説）を提示しています。

トークンの多様化（Token Diversification）： 機械は、画像のあらゆる部分（あらゆる「トークン」）をユニークで独特なものにする方法を学び、それゆえにそれぞれが独自のスペースを必要とした。
意味論的拡張（Semantic Expansion）： 機械は、より多くの異なる「意味」や特徴を発見したため、それらすべてを格納するためのより多くのスペースが必要になった。
冗長性の削減（Redundancy Reduction）： 機械は、自分自身の繰り返しを止めました。3つの特徴が同じことを言っている代わりに、すべての特徴が新しく有用なことを言うように、それらを再配置したのです。

まとめ

TGO-I の主要なポイントは、AIの学習を「観察」するための新しい方法を私たちが手に入れた、ということです。私たちは以前、学習とは「焦点を絞り込み、狭めていくこと」だと考えていました。しかし、この論文は、少なくともVision Transformerにおいては、学習とは情報を広く、平坦に、そして効率的な景観へと展開し、分配することであると示しています。

著者たちはこれを**「Transformer Geometry Observatory（トランスフォーマー幾何学観測所）」**と呼んでいます。彼らはまだ始まったばかりです。これは、データの「形」を見た最初の「第1回（TGO-I）」です。彼らは今後、どのように「チームキャプテン」が動き、「アテンション（注意）」がどのように機能し、機械がどのように最適化の経路を進むのかを観察するために、さらなる観測所を構築する予定です。

要約すると： 機械は、焦点を絞ることで賢くなったのではありません。あらゆる情報が無駄にならないよう、知識を広く、均等に広げることで、脳全体を使いこなす術を学んだことで賢くなったのです。

技術要約: TGO-I: スペクトル幾何学観測所

問題提起

コンピュータビジョンにおいてVision Transformer (ViT) が広く採用されているにもかかわらず、その表現幾何学の基礎的な理解、および学習過程におけるその進化については、アプリケーションレベルの適応と比較して未だ十分に探求されていない。既存の文献は、特定の層、孤立した学習段階、あるいは個別の観測量に限定された分析に留まることが多く、ネットワークの深さと学習時間の両面において表現幾何学がいかに共同で進化するかという理解には空白が存在する。具体的には、次元の利用能がどのように変化するか、分散が表現の方向にどのように分布するか、そしてトランスフォーマーアーキテクチャ内でグローバルな表現がいかに出現するかといった問いに対し、体系的な実証的研究が欠如している。

手法

これらの空白を埋めるため、著者らはトランスフォーマーの内部幾何学を体系的に計測・分析するために設計されたモジュール式フレームワークである、Transformer Geometry Observatory (TGO) を導入する。その第一弾である TGO-I は、特に スペクトル幾何学 (Spectral Geometry) に焦ので絞っている。

実験セットアップは以下のコンポーネントで構成される：

モデルおよびデータセット: ImageNet-100データセットを用いて100エポック学習させたViT-Small/16モデル。
観測プロトコル: パッチ埋め込み（Patch Embedding）、位置埋め込み（Positional Embedding）、全12層のトランスフォーマーブロック、および最終的なCLSトークン表現から、フォワードフックを介して活性化関数を抽出する。
データの整合性: 観測の整合性を確保するため、すべてのスペクトル測定は動的な学習ミニバッチではなく、固定された解析用サブセット（1,000枚の検証画像）に対して行われる。これにより、集計された表現行列のサイズは $197,000 \times 384$ （ $B=1000$ 画像、 $T=197$ トークン、 $D=384$ 次元）となる。
スペクトル分析: フレームワークは各層の特性共分散行列 ( $C_l$ $C_{l}$ ) を計算し、固有値分解を行う。その後、幾何学を特徴付けるための一連のスペクトル観測量を導出する：
- 有効ランク ( $r_{eff}$ ): 正規化された固有値分布のエントロピーの指数。
- 安定ランク ( $r_{stable}$ ): 全スペクトルエネルギーと支配的なスペクトル方向の比。
- 参加比 (Participation Ratio, PR): スペクトルに寄与している実効的な次元数の推定値。
- スペクトルエントロピー: 固有値分布の均一性を定量化する。
- スペクトル異方性 (Spectral Anisotropy): 全分散に対する主要なスペクトル方向の支配度を測定する。
- 可視化: 共分散行列、固有値スペクトル、特異値スペクトル、およびスペクトル減衰曲線の直接的な分析。

主な結果

本研究は、学習が進むにつれてネットワーク全体で一貫した 漸進的なスペクトル再分配 (progressive spectral redistribution) のパターンがあることを明らかにしている：

次元利用能の向上: 有効ランク、安定ランク、および参加比が、ほぼすべての監視対象層において一貫して増加している。これは、分散が少数の方向に集中するのではなく、より多くのスペクトル方向に分散されていることを示している。
異方性の減少: 特に深い層において、スペクトル異方性が著しく減少している。これは、単一のスペクトル方向の支配力が弱まっていることを示唆している。
スペクトルエントロピーの増加: スペクトルエントロピーの上昇は、固有値分布が時間とともに、より一様かつ集中度の低いものになることを示している。
共分散構造の進化: 共分散行列は漸進的に対角行列へと近づく。非対角成分の相関は弱まり、最終的なCLS表現は、分散が対角線上に集中した、ほぼ非相関な特徴次元を示すようになる。
層固有のダイナミクス:
- パッチおよび位置埋め込み: 学習を通じてランクと幾何学において相対的な安定性を示す。
- トランスフォーマーブロック: 実効次元数の漸進的な増加と異方性の減少を示す。
- CLSトークン: 最終的なCLS表現は最も顕著な影響を示し、ネットワーク内で最高の有効次元数、最高のスペクトルエントロピー、および最低の異方性を達成する。
スペクトルの平坦化: 固有値スペクトルおよび特異値スペクトルは漸進的に平坦になり、残りのスペクトルに対する主要な固有値の支配力が低下する。

意義および主張

本論文は、TGO-Iを、なぜこれらの幾何学的変化が起こるのかという「原因」を説明する因果的研究としてではなく、トランスフォーマーの学習ダイナミクスの再現可能な測定を確立するための基礎的な 観測的フレームワーク として位置付けている。

実証的貢献: 本研究は、学習が情報を少数の支配的な方向に集中させるという一般的な直感に反する実証的証拠を提供する。むしろ、ViTの表現は、漸進的にスペクトル的な集中度が低くなり、より分散していく。
フレームワークの有用性: TGO-Iは、幾何学的進化を追跡するための体系的なパイプラインを確立し、将来の調査のためのベースラインとして機能する。
仮説の生成: 本論文は根本的なメカニズムを決定的に証明するものではないが、観察されたデータは、将来の調査に向けた3つの妥当な仮説を動機づけている：
1. トークンの多様化 (Token Diversification): トークンがますます区別可能になり、より多くのスペクトル方向を占有するようになる。
2. 意味的拡張 (Semantic Expansion): モデルが、より多くの意味のある特徴方向を発見し、符号化する。
3. 冗長性の削減 (Redundancy Reduction): 学習によって、既存の情報がより効率的で、統計的な依存関係の少ない基底へと再編成される。

著者らは、これらの仮説を区別するには、トークンのダイナミクス、表現の類似性、アテンションの幾何学、および最適化ランドスケープを分析できる将来の観測所（TGO-IIからTGO-V）が必要であると結論づけている。TGO-Iの主な価値は、体系的かつ再現可能な測定を生成することで、予期せぬ現象を特定し、メカニズム的な探究を動機づける能力にある。