Are You Measuring the Failure Subspace, or Its Ceiling?

技術要約：「失敗部分空間を測定しているのか、それともその天井を測定しているのか？」

問題提起
テスト時適応（TTA）および低ランク適応（LRA）の文献における支配的な経験的主張は、モデルの適応に関連する部分空間（各サンプル勾配、フィッシャー方向、または「失敗方向」の張る空間によって定義される）が、驚くほど低次元であるというものである。GOLD [7] や様々な LRA 手法は、少数の固有ベクトルがこれらの勾配のようなベクトル（「デマンド（要求）」）のエネルギーの大部分を捉えるという観察に基づいている。

しかし、本論文は、一般的なデマンドの定義（クロスエントロピー勾配、エントロピー勾配、および平均勾配外積（AGOP））に対しては、この「低ランク」という観察は、データや失敗モードに関する経験的な発見ではなく、代数的な恒等式であると主張している。これらのデマンドは、数学的に最終層の分類器の重み行列 $W$ の行空間に限定されている。したがって、それらの共分散ランクは、クラス数 $C$（またはゼロ和のデマンドの場合は $C-1$）を超えることはできない。本論文は、報告されている低ランク構造は、コンパクトで本質的な失敗次元の証拠ではなく、単にこの代数的な天井を再発見したものである可能性があると断じている。

手法
代数的な天井と真の低次元構造を区別するために、著者らは制御された実験設計を用いている：

1. 代数的証明: 論文では、一般的なデマンドのランクの天井を証明する3つの命題を確立している：
   • クロスエントロピー（CE）およびエントロピー勾配: ロジット空間におけるゼロ和の性質により、最大でも $C-1$ 次元のハイパープレーンに限定される。
   • AGOP: $W$ の行空間に限定され、ランクの天井は最大で $C$ である。
2. 天井のないデマンド: これらの天井を超えて何が存在するかを測定するために、著者らは活性化空間のシェア（$A \odot -\nabla_A L$）に基づく「自由な」デマンド（$d_{act}$）を構築した。このデマンドは $W^\top$ の像ではなく、理論的には全環境特徴次元 $D$ を占有し得る。
3. 制御されたスイープ: アーキテクチャ、特徴幅（$D$）、クラスごとのサンプル数、および最適化プロトコルを一定に保ったまま、CIFAR-100の入れ子状のサブセットを用いて、クラス数 $C$ を2から100まで変化させて実験を行った。
4. 幅への感度テスト: 固定された $C=100$ において、最終表現の幅（$D$ を256から512へ）を倍増させ、測定されたランクがタスクの特性なのか、あるいは測定装置の特性なのかをテストした。
5. 分解: 自由なデマンドを $row(W)$（$P_{row(W)}d$）とその直交補空間に投影し、「天井」成分と「テイル（裾）」の間でのエネルギー分布を分析した。

主な結果

• 上限のあるデマンドは天井に固定される: CE、エントロピー、およびAGOPのデマンドにおいて、実効ランク（$r_{90}$）は代数的な天井を密接に追跡している。$C=100$ のとき、これらのデマンドは最大可能ランク（$C$ または $C-1$）の55〜65%を占める。$C$ が増加するにつれて、占有される天井の「割合」は実際に減少しており、これは大きな $C$ における見かけ上の低ランク構造が、新しい構造の出現ではなく、天井が「空洞化」した結果であることを示している。
• 自由なデマンドは天井を超え、幅に敏感である: 自由なデマンドは、$C$ を超える実効ランク（例：$C=20$ で41.7）を示し、$C$ に対して上限のあるデマンドの約2倍の速度で増加する。決定的なことに、特徴幅 $D$ を2倍にすると、自由なデマンドの実効ランクは大幅に増加したが（111から191へ）、上限のあるデマンドは比較的安定していた。これは、自由なデマンドのランクが、単なるタスクの難易度ではなく、環境空間のサイズに依存する関数であることを示唆している。
• 分解により広範なテイルが明らかになった: 自由なデマンドを $row(W)$に投影すると、エネルギーの約74$C$ でのスペクトルの崖を再現した。残りの約26%のエネルギーは、数百の次元にわたる「広範で、弱い構造を持ち、ニー（膝）のないテイル」を形成している。このテイルのランクは、コンパクトな本質的次元ではなく、環境空間のサイズを追跡している。
• GOLDの再評価: 本論文はGOLDの手法を再分析し、その「強い低ランク集中」（CIFAR-100-Cにおいて上位64〜128個の固有ベクトルが99%以上のエネルギーを捉えるという主張）が、$C=100$ という代数的な天井を考慮すれば自明（トートロジー）であることを指摘している。報告された数値は、全特徴空間における隠れた低次元多様体の発見ではなく、分類器に起因する部分空間の占有率を反映している。

意義と主張
本論文は、「適応部分空間は驚くほど低ランクである」という記述は、2つの異なる対象を混同していると結論付けている：

1. 代数的な事実: ロジット由来のデマンドは $row(W)$に限定されており、$C$ を超えることはできない。これは発見ではなく定理である。
2. 仮説的なデータ特性: 本質的でコンパクトな失敗次元。著者らは実験においてそのような次元の証拠を見出せなかった。代わりに、代数的な天井を取り除くと、幅に敏感な広範なテイルが現れる。

報告に関する提案の転換:
著者らは、「実効ランク」のみを報告することは不十分であり、上限のあるデマンドに対しては誤解を招く可能性があると主張している。今後、この分野の研究では以下を報告すべきであると提案している：

• 天井正規化実効ランク ($\rho_{ceil}$): 実効ランクと代数的天井の比率であり、経験的なスペクトル減衰と代数的な制約を分離する。
• 行空間エネルギーシェア ($\rho$): デマンドのエネルギーが $row(W)$ 内に存在する割合。この指標は幅に対して安定しており、分類器の行空間に制限されたあらゆる手法（現在のほとんどのTTA/LRA手法を含む）がアクセス可能な最大エネルギーを直接定量化する。

本論文は、低ランク手法が無効であると主張しているのではなく、その成功をデータの「隠れた低次元構造」に帰するのではなく、それらが分類器の代数的な制約内で動作している事実に帰すべきであると述べている。「テイル」（$row(W)$ の外側のエネルギー）の有用性は、依然として未解決の課題である。