The Maximum von Neumann Entropy Principle: Theory and Applications in Machine Learning

Résumé Technique : Le Principe de l'Entropie de von Neumann Maximale

Énoncé du Problème
L'entropie de von Neumann (VNE) est apparue comme une mesure spectrale de la diversité et de la dimensionnalité effective en apprentissage automatique, particulièrement pour les matrices de noyaux (kernels) et les opérateurs de covariance. Bien que le principe de maximisation de l'entropie sous contraintes soit bien établi dans la théorie de l'information classique (entropie de Shannon) et la mécanique statistique quantique, une justification décisionnelle et de la théorie des jeux rigoureuse pour la maximisation de la VNE dans des contextes pilotés par les données faisait défaut. Plus précisément, lorsqu'une matrice de densité (ou une matrice de noyau induite) n'est que partiellement spécifiée en raison d'entrées manquantes, de mesures bruitées ou de données limitées, il n'existe pas de cadre explicite pour justifier la sélection de la solution à VNE maximale comme étant l'inférence « la moins engagée ». Cet article comble la lacune entre la formulation variationnelle de la VNE maximale et son interprétation opérationnelle dans des contextes impliquant une information partielle.

Méthodologie
Les auteurs étendent la formulation minimax du principe de l'entropie maximale, initialement développée par Grünwald et Dawid pour les distributions de probabilité classiques, au cadre de l'entropie de von Neumann sur les matrices de densité.

1. Cadre de la Théorie des Jeux : L'article formule un jeu minimax entre « la Nature » (qui sélectionne un état inconnu $\rho$ parmi un ensemble convexe, compact et réalisable $\Gamma$) et un « Décideur » (qui sélectionne une action $q$). La fonction de perte est définie comme la perte logarithmique quantique, $L(\rho, \sigma) = -\text{Tr}(\rho \log \sigma)$.
2. Équivalence Minimax : En appliquant un théorème minimax linéaire par rapport à l'état, les auteurs démontrent que l'état $\rho^*$ maximisant l'entropie généralisée (risque bayésien) correspond à la stratégie d'équilibre de la Nature. Crucialement, ils montrent que pour la perte logarithmique quantique, l'entropie généralisée coïncide exactement avec l'entropie de von Neumann $S(\rho) = -\text{Tr}(\rho \log \rho)$.
3. Généralisation : Le cadre est étendu au-delà de la VNE standard pour inclure d'autres fonctionnelles d'entropie spectrale, telles que les entropies de Rényi matricielles (incluant l'entropie de Rényi quadratique et l'entropie d'ordre infini), en utilisant des entropies de trace et des décompositions de type Bregman.
4. Applications : Le cadre théorique est appliqué à deux problèmes spécifiques d'apprentissage automatique :
   • Sélection de Mélange de Noyaux : Sélectionner une combinaison convexe de plusieurs matrices de noyaux normalisées (embeddings) qui maximise la VNE, identifiant ainsi un mélange « le moins engagé » qui favorise la diversité spectrale.
   • Complétion de Matrice de Noyau : Reconstruire une matrice de noyau complète à partir d'un sous-ensemble d'entrées observées en sélectionnant la complétion semi-définie positive qui maximise la VNE, garantissant qu'aucune structure spectrale supplémentaire n'est imposée au-delà des contraintes observées.

Contributions Clés

• Justification Théorique : L'article fournit la première justification explicite par la théorie des jeux du principe de la VNE maximale. Il prouve que la maximisation de la VNE sur un ensemble de matrices de densité est une stratégie minimax-optimale, faisant directement écho au principe classique de l'entropie maximale.
• Inférence Robuste : Il établit que la solution de VNE maximale représente un état d'équilibre robuste sous information partielle, offrant une interprétation rigoureuse des méthodes basées sur la VNE comme des inférences « les moins engagées » dans les domaines spectraux.
• Cadre Unifié : Ce travail unifie diverses mesures d'entropie spectrale (VNE, entropies de Rényi) sous un unique parapluie décisionnel minimax, étendant l'applicabilité de ces mesures aux contextes conditionnels et à l'apprentissage supervisé.

Résultats
Les auteurs valident le cadre proposé via des expériences numériques sur des jeux de données d'images standards :

• Sélection de Mélange de Noyaux : Sur quatre benchmarks (ImageNet, CIFAR-100, DTD et FGVC Aircraft), le mélange d'embeddings sélectionné par Max-VNE (combinant des modèles comme DINOv2, SigLIP, UNICOM et OpenCLIP) a systématiquement surpassé les embeddings individuels dans les tâches de sondage linéaire (linear probing). Par exemple, sur ImageNet, le mélange Max-VNE a atteint une précision de 85,1 % contre 81,8 % pour le modèle individuel suivant (SigLIP).
• Complétion de Matrice de Noyau : Dans les expériences impliquant la récupération de matrices de noyaux à partir de seulement 10 % des entrées observées (sur AFHQ, MNIST et ImageNet-Dogs), la méthode de complétion Max-VNE a produit des résultats de clustering spectral de haute qualité. Sur le jeu de données AFHQ, le noyau récupéré a atteint une précision (ACC) de 0,98, un NMI de 0,93 et un ARI de 0,95. Sur MNIST, il a atteint un ACC de 0,74.

Signification et Revendications
L'article prétend fournir un « fondement informationnel unificateur » pour les méthodes basées sur la VNE dans l'apprentissage de noyaux. En ancrant le principe de la VNE maximale dans un cadre de jeu minimax, ce travail dépasse les applications heuristiques des mesures de diversité spectrale. Il clarifie que la maximisation de la VNE n'est pas simplement une technique de régularisation, mais une stratégie d'inférence robuste qui minimise la perte dans le pire des cas sous ambiguïté. Les auteurs affirment que cette perspective offre une approche fondée sur les principes pour sélectionner des représentations de noyaux et compléter des structures de données lorsque l'information est incomplète, garantissant que les modèles résultants sont aussi peu engagés que possible vis-à-vis des structures spectrales non observées.