Expressivity of congruence-based architectures for DNNs on positive-definite matrices

Résumé technique : Expressivité des architectures basées sur la congruence pour les DNN sur les matrices définies positives

Formulation du problème
Les matrices symétriques définies positives (SPD) sont omniprésentes dans les applications scientifiques et d'ingénierie, encodant des informations de second ordre telles que les corrélations de signaux et les covariances. Bien que l'ensemble des matrices SPD forme naturellement une variété riemannienne, permettant l'utilisation de techniques d'apprentissage automatique riemannien, l'expressivité des réseaux de neurones profonds (DNN) conçus pour ces données reste mal comprise. Plus précisément, l'article étudie l'architecture SPDNet, qui repose sur des couches de type « congruence » (couches BiMap) où une matrice d'entrée $X$ est transformée selon $X \mapsto WXW^\top$. Une contrainte critique dans SPDNet est l'imposition de la semi-orthogonalité sur les matrices de poids (c'est-à-dire $WW^\top = I_p$) pour assurer la stabilité de l'optimisation. Le problème central abordé est de savoir si cette contrainte, combinée à des fonctions d'activation spécifiques (comme ReEig), limite le pouvoir de représentation (expressivité) des architectures profondes, les rendant potentiellement équivalentes à des réseaux peu profonds.

Méthodologie
Les auteurs analysent une classe générale d'architectures définie par l'équation de propagation du signal :
$$X_\ell = g(W_\ell X_{\ell-1} W_\ell^\top)$$
où $g$ est une fonction d'activation matricielle (par exemple, ReEig) agissant sur les valeurs propres, et $W_\ell$ sont les matrices de poids. L'étude se déroule en deux phases théoriques principales :

1. Poids orthogonaux ($W \in O(n)$) : Les auteurs prouvent que si toutes les matrices de poids sont carrées et orthogonales, la profondeur du réseau n'augmente pas l'expressivité. Ils utilisent la propriété selon laquelle les fonctions matricielles sont invariantes sous congruence avec des matrices orthogonales.
2. Poids semi-orthogonaux ($W \in St(n, p)$) : Les auteurs étendent l'analyse aux matrices semi-orthogonales rectangulaires. Ils exploitent le théorème de séparation de Poincaré, qui dicte que les valeurs propres de $W^\top A W$ sont bornées par les valeurs propres de $A$. Cette inclusion spectrale implique que l'étendue des valeurs propres ne peut pas s'étendre au-delà du spectre initial de l'entrée.

L'article examine également l'interaction entre ces extracteurs de caractéristiques et les classifieurs finaux. Il évalue la compatibilité de l'extraction de caractéristiques par congruence avec diverses distances riemanniennes (Affine-Invariant, Log-Euclidean, Stein, Bures-Wasserstein et Euclidienne) en testant leurs propriétés d'invariance sous les transformations de congruence.

Contributions clés et résultats

• Effondrement des architectures profondes : L'article démontre que pour certaines fonctions d'activation, l'imposition de contraintes de (semi-)orthogonalité sur les matrices de poids provoque l'effondrement des réseaux profonds en équivalents à une seule couche cachée, quelle que soit la profondeur du réseau.
  • Cas orthogonal : Si $W$ est orthogonale, le réseau est équivalent à une seule couche avec une fonction d'activation composée $L$ fois. Si la fonction d'activation scalaire $\sigma$ est idempotente (par exemple, ReLU, hard tanh), la composition $g^{(L)}$ se simplifie en $g$, ce qui signifie que le réseau profond est strictement équivalent à une seule couche cachée.
  • Cas semi-orthogonal : Si $W$ est semi-orthogonale et que la fonction d'activation $\sigma$ agit comme l'identité sur l'intervalle contenant le spectre d'entrée (ou projette le spectre dans un tel intervalle), le réseau s'effondre à nouveau en une seule transformation de congruence. Ceci est une conséquence directe du théorème de séparation de Poincaré, qui empêche l'expansion de la diversité spectrale nécessaire à l'apprentissage hiérarchique de caractéristiques profond dans ce cadre spécifique.
• Perte de diversité spectrale : L'absence d'expressivité est attribuée à une « perte de diversité spectrale ». Les transformations de congruence semi-orthogonales contraignent les valeurs propres de la sortie à se situer à l'intérieur de l'intervalle des valeurs propres de l'entrée. Par conséquent, pour les fonctions d'activation qui reposent sur l'expansion ou la modification spectrale, la profondeur n'apporte aucun pouvoir discriminant supplémentaire.
• Incompatibilité des classifieurs : L'étude révèle que plusieurs distances célèbres entre matrices SPD (Affine-Invariant, Stein et Euclidienne) sont invariantes sous la congruence avec des matrices orthogonales ou inversibles.
  • Si un classifieur repose sur ces distances invariantes (par exemple, la Distance Riemannienne Minimale à la Moyenne), et que l'extracteur de caractéristiques utilise des couches de congruence avec des poids orthogonaux, la distance entre deux points de données reste inchangée tout au long du réseau.
  • Cela implique que de tels classifieurs ne peuvent pas séparer les données de différentes classes si l'extraction de caractéristiques repose uniquement sur ces transformations invariantes, car la géométrie relative des données est préservée plutôt que transformée pour améliorer la séparabilité.

Signification et revendications
L'article affirme que les choix de conception standards dans SPDNet — spécifiquement la contrainte de semi-orthogonalité sur les couches BiMap — limitent fondamentalement l'expressivité de l'architecture pour certaines fonctions d'activation. Les auteurs soutiennent que cette contrainte conduit à une dégénérescence où les réseaux profonds n'offrent aucun avantage par rapport aux réseaux peu profonds, un phénomène piloté par les contraintes spectrales du théorème de séparation de Poincaré.

De plus, ce travail souligne un décalage critique entre l'extraction de caractéristiques par congruence et les classifieurs reposant sur des métriques invariantes. Si l'extracteur de caractéristiques préserve la structure spectrale et géométrique des données (en raison des contraintes orthogonales), les classifieurs basés sur des distances invariantes ne bénéficient pas du processus d'extraction de caractéristiques. L'article conclut que les conceptions futures de SPD DNN doivent reconsidérer ces contraintes, en explorant potentiellement de nouvelles fonctions d'activation ou en assouplissant les exigences d'orthogonalité pour restaurer l'expressivité des architectures profondes.