Expressivity of congruence-based architectures for DNNs on positive-definite matrices

Technische Samenvatting: Expressiviteit van Congruentie-gebaseerde Architecturen voor DNN's op Positief-Definiete Matrices

Probleemformulering
Symmetrische positief-definiete (SPD) matrices zijn alomtegenwoordig in wetenschappelijke en technische toepassingen, waarbij ze tweede-orde informatie coderen zoals signaalcorrelaties en covarianties. Hoewel de verzameling SPD-matrices van nature een Riemanniaanse variëteit vormt, wat het gebruik van Riemanniaanse machine learning-technieken mogelijk maakt, blijft de expressiviteit van Deep Neural Networks (DNN's) die voor deze data zijn ontworpen, slecht begrepen. Specifiek onderzoekt het artikel de SPDNet-architectuur, die steunt op "congruentie-achtige" lagen (BiMap-lagen) waarbij een invoermatrix $X$ wordt getransformeerd als $X \mapsto WXW^\top$. Een cruciale beperking in SPDNet is het afdwingen van semi-orthogonaliteit op de gewichtsmatrices $W$ (d.w.z. $WW^\top = I_p$) om de optimalisatiestabiliteit te waarborgen. De kern van het probleem is of deze beperking, gecombineerd met specifieke activatiefuncties (zoals ReEig), de representatieve kracht (expressiviteit) van diepe architecturen beperkt, wat hen potentieel gelijkwaardig maakt aan ondiepe netwerken.

Methodologie
De auteurs analyseren een algemene klasse van architecturen gedefinieerd door de signaalpropagatievergelijking:
$$X_\ell = g(W_\ell X_{\ell-1} W_\ell^\top)$$
waarbij $g$ een matrix-activatiefunctie is (bijv. ReEig) die werkt op eigenwaarden, en $W_\ell$ gewichtsmatrices zijn. De studie verloopt via twee belangrijke theoretische fasen:

1. Orthogonale Gewichten ($W \in O(n)$): De auteurs bewijzen dat als alle gewichtsmatrices vierkant en orthogonaal zijn, de diepte van het netwerk de expressiviteit niet vergroot. Zij maken gebruik van de eigenschap dat matrixfuncties invariant zijn onder congruentie met orthogonale matrices.
2. Semi-Orthogonale Gewichten ($W \in St(n, p)$): De auteurs breiden de analyse uit naar rechthoekige semi-orthogonale matrices. Zij maken gebruik van de Poincaré-scheidingstelling, die bepaalt dat de eigenwaarden van $W^\top A W$ begrensd worden door de eigenwaarden van $A$. Deze spectrale inkapseling impliceert dat het bereik van de eigenwaarden niet kan uitbreiden buiten het initiële spectrum van de invoer.

Het artikel onderzoekt verder de interactie tussen deze feature extractors en uiteindelijke classifiers. Het evalueert de compatibiliteit van congruentie-gebaseerde feature extractie met diverse Riemanniaanse afstanden (Affine-Invariant, Log-Euclidean, Stein, Bures-Wasserstein, en Euclidisch) door hun invariantie-eigenschappen onder congruentie-transformaties te testen.

Belangrijkste Bijdragen en Resultaten

• Ineenstorting van Diepe Architecturen: Het artikel demonstreert dat voor bepaalde activatiefuncties, het opleggen van (semi-)orthogonaliteitsbeperkingen op gewichtsmatrices ervoor zorgt dat diepe netwerken instorten tot equivalenten met één verborgen laag, ongeacht de diepte van het netwerk.
  • Orthogonale Casus: Als $W$ orthogonaal is, is het netwerk equivalent aan een enkele laag met een $L$-voudige compositie van een activatiefunctie. Als de scalaire activatiefunctie $\sigma$ idempotent is (bijv. ReLU, hard tanh), vereenvoudigt de compositie $g^{(L)}$ tot $g$, wat betekent dat het diepe netwerk strikt equivalent is aan een enkel verborgen laag.
  • Semi-Orthogonale Casus: Als $W$ semi-orthogonaal is en de activatiefunctie $\sigma$ de identiteit is op het interval dat het invoerspectrum bevat (of het spectrum naar een dergelijk interval mapt), stort het netwerk ook in tot een enkele congruentie-transformatie. Dit is een direct gevolg van de Poincaré-scheidingstelling, die voorkomt dat het spectrum zich uitbreidt, wat noodzakelijk is voor diepe hiërarchische feature learning in deze specifieke setting.
• Verlies van Spectrale Diversiteit: Het gebrek aan expressiviteit wordt toegeschreven aan een "verlies van spectrale diversiteit". Semi-orthogonale congruentie-transformaties beperken de eigenwaarden van de uitvoer tot binnen het eigenwaarde-interval van de invoer. Bijgevolg kunnen activatiefuncties die afhankelijk zijn van spectrale expansie of modificatie, de diepte geen extra discriminerend vermogen bieden.
• Incompatibiliteit van Classifiers: De studie onthult dat verschillende beroemde afstanden tussen SPD-matrices (Affine-Invariant, Stein, en Euclidisch) invariant zijn onder congruentie met orthogonale of inverteerbare matrices.
  • Als een classifier afhankelijk is van deze invariante afstanden (bijv. Minimum Riemannian Distance to Mean), en de feature extractor gebruik maakt van congruentie-lagen met orthogonale gewichten, dan blijft de afstand tussen twee datapunten ongewijwd gedurende het netwerk.
  • Dit impliceert dat dergelijke classifiers gegevens van verschillende klassen niet kunnen scheiden als de feature extractie uitsluitend steunt op deze invariante transformaties, aangezien de relatieve geometrie van de data behouden blijft in plaats van getransformeerd te worden om scheidbaarheid te vergroten.

Betekenis en Claims
Het artikel claimt dat de standaard ontwerpkeuzes in SPDNet — specifiek de semi-orthogonaliteitsbeperking op BiMap-lagen — de expressiviteit van de architectuur fundamenteel beperken voor bepaalde activatiefuncties. De auteurs stellen dat deze beperking leidt tot een degeneratie waarbij diepe netwerken geen voordeel bieden ten opzien van ondiepe netwerken, een fenomeen dat wordt gedreven door de spectrale beperkingen van de Poincaré-scheidingstelling.

Verder benadrukt het werk een kritieke mismatch tussen congruentie-gebaseerde feature extractie en classifiers die steunen op invariante metrieken. Als de feature extractor de spectrale en geometrische structuur van de data behoudt (door orthogonale beperkingen), falen classifiers gebaseerd op invariante afstanden om te profiteren van het proces van feature extractie. Het artikel concludeert dat toekomstige ontwerpen voor SPD DNN's deze beperkingen moeten heroverwegen, waarbij mogelijk nieuwe activatiefuncties worden verkend of de orthogonaliteitsvereisten worden versoepeld om de expressiviteit van diepe architecturen te herstellen.