技術要約：制御可能性–可観測性テストによる深層ニューラルネットワークの経験的最小実現圧縮

1. 問題提起

深層ニューラルネットワーク（DNN）は、しばしば隠れ状態に実質的な冗長性を有しているが、既存の圧縮技術の多くは、内部状態の動的な役割を明示的に特徴付けることなく、重み、ニューロン、または数値精度に対して直接的に作用する。プルーニング、量子化、低ランク分解といった標準的な手法は、「どの隠れ状態の方向がデータ分布によって実際に励起されているのか、そしてそれらの方向のうちどれが出力に関連しているのか？」という、状態空間に関する根本的な問いに答えることができない。その結果、これらの手法はパラメータ数やストレージ容量を削減することはできても、実効的な隠れ状態の次数や、幅の広い層に伴う高密度な推論レイテンシを必ずしも削減できるわけではない。

2. 手法

本論文は、学習済みフィードフォワードDNNを、深さ方向にインデックス付けされた非線形動的システムとして扱う、経験的な状態次数削減のための制御理論的フレームワークを提案する。

2.1 状態空間定式化

ネットワークは、一連の非線形遷移としてモデル化される：
$$h_{\ell+1} = f_\ell(h_\ell), \quad z = g(h_L)$$
ここで、$h_\ell$ は第 $\ell$ 層における隠れ状態を表し、$z$ は出力ロジットを表す。入力 $x$ は初期状態 $h_0$ として扱われる。目的は、「有用な隠れ状態の次数」——すなわち、データから到達可能であり、かつ出力から可観測である隠れ状態の方向の数——を推定することである。

2.2 経験的 A/B/C テスト

著者らは、隠れ状態のスナップショットと出力ヤコビアンから導出された経験的グラミアンに基づく、3つの層ごとのテストを導入している：

• テスト A (到達可能性/Reachability): 入力データによってどの隠れ方向が励起されるかを測定する。中心化された隠れ状態スナップショットの共分散として、経験的到達可能性グラミアン ($G_{c,\ell}$) を計算する。ランクは、データ誘発型の分散を捉えるために必要なスペクトルエネルギーによって決定される。
• テスト B (可観測性/Observability): どの隠れ方向が出力ロジットに影響を与えるかを測定する。隠れ状態に関する出力ヤコビアン ($J_\ell = \partial z / \partial h_\ell$) を用いて、経験的可観測性グラミアン ($G_{o,\ell}$) を計算する。ランクは、分類器の出力に有意な影響を与える方向を反映する。
• テスト C (均衡された到達可能–可観測/Balanced Reachable–Observable): 両方の基準を組み合わせ、データ分布から同時に到達可能であり、かつ出力を通じて可観測である方向を特定する。均衡行列 $B_\ell = G_{c,\ell}^{1/2} G_{o,\ell} G_{c,\ell}^{1/2}$ を構築する。得られる C-均衡ランク ($r_\ell$) は、入出力挙動を保持するために必要な最小限の隠れ状態の数を推定する。

2.3 実現化された圧縮 vs 投影による削減

2つの削減モードについて重要な区別がなされている：

1. 投影による削減 (Projected Reduction): 学習された基底を用いて隠れ状態を低次元の座標に写像する。これは冗長性を診断するが、元の完全なネットワークの重みと投影基底を保持するため、ストレージの削減や高密度推論レイテンシの削減には至らない。
2. 実現化された圧縮 (Realised Compression): C-均衡ランク ($r_\ell$) を、新しいコンパクトなDNNアーキテクチャの実際の隠れ層の幅として直接使用する。この新しいネットワークは、ゼロからの学習または知識蒸留を介して訓練され、パラメータ数と状態次数の真の削減をもたらす。

3. 主な貢献

• 状態ベースの定式化: フィードフォワードDNNを深さ方向にインデックス付けされた非線形状態空間システムとして定式化し、「隠れ状態の次数」をパラメータ数とは異なる、圧縮に関連する独自の量として定義した。
• 経験的制御可能性–可観測性フレームワーク: 経験的グラミアンとヤコビアンを用いて、層ごとの有用な隠れ状態次元を推定するデータ駆動型のA/B/Cテストを提案した。
• 実現化されたC-均衡圧縮: 推定されたC-均衡ランクを新しいコンパクトなネットワークの物理的な幅に変換する手法を導入し、理論的なモデル削減とデプロイ可能なアーキテクチャ設計の間の溝を埋めた。
• 包括的な評価: 本手法を、MNISTおよびCIFAR-10における、投影ベースの削減、非構造化/構造化プルーニング、低ランクSVD、動的INT8量子化、および線形ベースラインと比較検証した。

4. 実験結果

本フレームワークは、MNISTおよびCIFAR-10で訓練された完全結合SiLU DNNに対して評価された。

4.1 MNISTの結果

• 圧縮: 全状態次数が1024である4層DNNが、状態次数277へと削減された（72.95%の状態圧縮）。
• パラメータ: パラメータ数は400,906から106,323へと減少した（73.48%の圧縮、約3.77倍の削減）。
• 精度: 実現化されたC-均衡モデルは、フルモデルの96.60%に対し、95.45% の精度を達成した（1.15パーセントポイントの低下）。
• レイテンシ: 高密度行列の次元削減により、推論レイテンシはフルモデルと同等レベルに維持された。

4.2 CIFAR-10の結果

• 圧縮: 全状態次数が4608であるより大きなDNNが、1339へと削減された（70.94%の状態圧縮）。
• パラメータ: パラメータ数は9.97Mから1.69Mへと減少した（83.09%の圧縮、約5.91倍の削減）。
• 精度: 実現化されたモデルは、フルモデルの54.45%とほぼ同一の 54.44% の精度を保持した。
• レイテンシ: CUDA推論レイテンシは約 3.0倍 減少した（0.001582 ms/sample から 0.000525 ms/sample へ）。

4.3 ベースラインとの比較

• プルーニング: 非構造化プルーニング（50%）は精度を維持したが、状態次数や高密度レイテンシを削減できなかった。C-均衡ランクを用いた構造化プルーニングをファインチューニングなしで行った場合は失敗したが（精度34.50%）、ファインチューニングを伴うことで、MNISTでは91.75%、CIFAR-10では55.22%まで回復した。これは、C-均衡ランクが妥当な目標次元を提供していることを示唆している。
• SVD: 低ランクSVD（0.5の割合）は、大幅な精度の低下を招いた（MNISTで85.50%、CIFAR-10で39.06%）。これは、層局所的な重みの因子分解が、状態ベースのC-均衡アプローチほど非線形な入出力幾何学を効果的に保持できないことを示している。
• 量子化: INT8量子化はストレージを削減したが、状態次数やアーキテクチャの幅は変化させなかった。

5. 意義と主張

本論文は、均衡された到達可能–可観測ランクが、コンパクトなニューラルアーキテクチャを設計するための原理的な経験的最小実現基準を提供すると主張している。

• 理論的架け橋: 本研究は、制御理論的なモデル削減（特にバランス・トローネーション）とニューラルネットワークの圧縮を結びつけ、非線形かつデータ駆動型のシステムのために経験的グラミアンを適応させた。
• 実用的有用性: 投影ベースの手法が単に冗長性を診断するだけであるのに対し、提案された「実現化」アプローチは、これらの診断を、より少ないパラメータと減少したレイテンシを持つデプロイ可能な小型ネットワークへと変換する。
• 状態次数への焦点: 結果は、単なる重みのカウントではなく、隠れ状態の次数（内部表現の次元）をターゲットにすることで、精度をほとんど損なうことなく大幅な圧縮が可能であることを示している。
• 限界に関する謙虚な姿勢: 著者らは、これらのランクは経験的であり、データに依存しており、非線形システムに対する最悪ケースの理論的誤差境界を欠いていることを認めている。また、可観測性グラミアンを推定するための計算コストと、圧縮されたアーキテクチャの再訓練の必要性についても述べている。現在の実験は、制御された設定を提供するために完全結合ネットワークに焦点を当てており、CNNやTransformerへの拡張については今後の課題として挙げられている。

要約すれば、本論文は、DNNを制御可能性と可観測性の観点から捉えることで、データによって励起されていない、あるいは出力に関連していない冗長な隠れ状態の方向を特定し、それによって効率的で高性能なニューラルネットワークの構築を可能にできると論じている。