The Maximum von Neumann Entropy Principle: Theory and Applications in Machine Learning

技術要約：最大フォン・ノイマン・エントロピー原理

問題提起
フォン・ノイマン・エントロピー（VNE）は、カーネル行列や共分散作用素における多様性と有効次元数のスペクトル尺度として、機械学習において台頭している。古典的な情報理論（シャノン・エントロピー）や量子統計力学において、制約下での最大エントロピー原理は確立されているが、データ駆動型の文脈においてVNEを最大化することに対する、原理に基づいた決定論的およびゲーム理論的な正当化は欠けていた。具体的には、欠損したエントリー、ノイズの多い測定、または限定的なデータによって密度行列（あるいはカーネル誘起密度行列）が部分的にしか特定されていない場合、最大VNE解を選択することが「最小のコミットメント（least committed）」であるという推論を正当化するための明示的な枠組みが存在しない。本論文は、最大VNEの変分定式化と、部分的な情報を含む設定における操作的な解釈との間の乖離に対処するものである。

手法
著者らは、GrünwaldとDawidによって古典的な確率分布に対して開発された最大エントロピー原理のミニマックス定式化を、密度行列上のフォン・ノイマン・エントロピーの設定へと拡張する。

1. ゲーム理論的枠組み: 本論文では、「自然（Nature）」（既知の、凸かつコンパクトな集合 $\Gamma$ から未知の状態 $\rho$ を選択する）と「意思決定者（Decision Maker）」（行動 $q$ を選択する）の間のミニマックス・ゲームを定式化する。損失関数は、量子対数損失 $L(\rho, \sigma) = -\text{Tr}(\rho \log \sigma)$ として定義される。
2. ミニマックス等価性: 線形的な状態に関するミニマックス定理を適用することで、著者らは、最大化された一般化エントロピー（ベイズ・リスク）に対応する状態 $\rho^*$ が、自然の均衡戦略に対応することを証明する。極めて重要な点として、量子対数損失において、一般化エントロピーがフォン・ノイマン・エントロピー $S(\rho) = -\text{Tr}(\rho \log \rho)$ と正確に一致することを示す。
3. 一般化: トレース・エントロピーとブレグマン型の分解を利用することで、標準的なVNEを超えて、他のスペクトル・エントロピー関数（二次レニー・エントロピーやオーダー無限大エントロピーを含む行列ベースのレニー・エントロピー）へとフレームワークを拡張する。
4. 応用: この理論的枠組みを、2つの特定の機械学習問題に適用する。
   • カーネル混合選択（Kernel Mixture Selection）: 複数の正規化されたカーネル行列（埋め込み）の凸結合を選択してVNEを最大化し、スペクトルの多様性を促進する「最小のコミットメント」となる混合を特定する。
   • カーネル行列補完（Kernel Matrix Completion）: 観測されたエントリーのサブセットから完全なカーネル行列を再構成する際、観測された制約を超えて追加のスペクトル構造を課さないように、VNEを最大化する正定値補完を選択する。

主な貢献

• 理論的正当化: 本論文は、最大VNE原理に対する初の明示的なゲーム理論的正当化を提供する。VNEを密度行列上で最大化することは、ミニマックス最適戦略であることを証明しており、これは古典的な最大エントロピー原理と直接的に並行するものである。
• ロバストな推論: 最大VNE解が部分情報下におけるロバストな均衡状態を表すことを確立し、VNEベースの手法をスペクトル領域における「最小のコミットメント」としての推論として厳密に解釈する。
• 統一された枠組み: 様々なスペクトル・エントロピー尺度（VNE、レニー・エントロピー）を、単一のミニマックス決定論的アンブレラの下に統合し、条件付き設定や教師あり学習の文脈への適用可能性を拡張する。

結果
著者らは、標準的な画像データセットを用いた数値実験を通じて提案されたフレームワークを検証している。

• カーネル混合選択: 4つのベンチマーク（ImageNet, CIFAR-100, DTD, FGVC Aircraft）において、Max-VNEによって選択された埋め込みの混合（DINOv2, SigLIP, UNICOM, OpenCLIPなどのモデルを組み合わせたもの）は、線形プロービング・タスクにおいて個々の埋め込みを一貫して上回った。例えば、ImageNetにおいて、Max-VNE混合は85.1%の精度を達成し、次に優れた個別モデル（SigLIPの81.8%）を上回った。
• カーネル行列補完: 観測されたエントリーのわずか10%からカーネル行列を復元する実験（AFHQ, MNIST, ImageNet-Dogs）において、Max-VNE補完法は高品質なスペクトルクラスタリング結果をもたらした。AFHQデータセットでは、復元されたカーネルは精度（ACC）0.98、NMI 0.93、ARI 0.95を達成した。MNISTでは、ACC 0.74を達成した。

意義と主張
本論文は、カーネル学習におけるVNEベースの手法に対して「統一的な情報理論的基礎」を提供すると主張している。最大VNE原理をミニマックス・ゲーム理論の枠組みに根付かせることで、本研究は、VNEを単なる正則化技術としてではなく、曖昧性下での最悪ケースの損失を最小化するロバストな推論戦略として扱う。これにより、VNEを最大化することは、単なるヒューリスティックな適用を超え、情報の不完全性に関する未観測のスペクトル構造に対して、可能な限り非コミットなモデルを保証する原理的なアプローチとなる。著者らは、この視点が、カーネル表現の選択やデータ構造の補完を行う際の、原理に基づいたアプローチを提供すると断言している。