Expressivity of congruence-based architectures for DNNs on positive-definite matrices

Sintesi Tecnica: Espressività delle Architetture Basate su Congruenza per DNN su Matrici Definite Positive

Formulazione del Problema
Le matrici simmetriche definite positive (SPD) sono onnipresenti nelle applicazioni scientifiche e ingegneristiche, poiché codificano informazioni di secondo ordine come correlazioni di segnale e covarianze. Sebbene l'insieme delle matrici SPD formi naturalmente una varietà riemanniana, consentendo l'uso di tecniche di machine learning riemanniano, l'espressività delle Reti Neurali Profonde (DNN) progettate per questi dati rimane scarsamente compresa. Nello specifico, il documento indaga l'architettura SPDNet, che si basa su strati "di tipo congruenza" (strati BiMap) in cui una matrice di input $X$ viene trasformata come $X \mapsto WXW^\top$. Un vincolo critico in SPDNet è l'imposizione della semi-ortogonalità sulle matrici di peso (ovvero $WW^\top = I_p$) per garantire la stabilità dell'ottimizzazione. Il problema centrale affrontato è se questo vincolo, combinato con specifiche funzioni di attivazione (come ReEig), limiti il potere rappresentativo (espressività) di architetture profonde, rendendole potenzialmente equivalenti a reti superficiali.

Metodologia
Gli autori analizzano una classe generale di architetture definite dall'equazione di propagazione del segnale:
$$X_\ell = g(W_\ell X_{\ell-1} W_\ell^\top)$$
dove $g$ è una funzione di attivazione matriciale (ad esempio, ReEig) che agisce sugli autovalori, e $W_\ell$ sono matrici di peso. Lo studio procede attraverso due fasi teoriche principali:

1. Pesi Ortogonali ($W \in O(n)$): Gli autori dimostrano che se tutte le matrici di peso sono quadrate e ortogonali, la profondità della rete non aumenta l'espressività. Essi utilizzano la proprietà per cui le funzioni matriciali sono invarianti sotto congruenza con matrici ortogonali.
2. Pesi Semi-Ortogonali ($W \in St(n, p)$): Gli autori estendono l'analisi a matrici semi-ortogonali rettangolari. Essi sfruttano il Teorema di Separazione di Poincaré, il quale stabilisce che gli autovalori di $W^\top A W$ sono limitati dagli autovalori di $A$. Questa inclusione spettrale implica che l'intervallo degli autovalori non può espandersi oltre lo spettro iniziale dell'input.

Il documento esamina inoltre l'interazione tra questi estrattori di caratteristiche e i classificatori finali. Valuta la compatibilità dell'estrazione di caratteristiche basata su congruenza con varie distanze riemanniane (Affine-Invariant, Log-Euclidean, Stein, Bures-Wasserstein e Euclidea) testando le loro proprietà di invarianza sotto trasformazioni di congruenza.

Contributi Chiave e Risultati

• Collasso delle Architetture Profonde: Il documento dimostra che, per determinate funzioni di attivazione, l'imposizione di vincoli di (semi-)ortogonalità sulle matrici di peso causa il collasso di reti profonde in equivalenti a un singolo strato nascosto, indipendentemente dalla profondità della rete.
  • Caso Ortogonale: Se $W$ è ortogonale, la rete è equivalente a uno strato singolo con una funzione di attivazione composta $L$ volte. Se la funzione di attivazione scalare $\sigma$ è idempotente (ad esempio, ReLU, hard tanh), la composizione $g^{(L)}$ si semplifica in $g$, il che significa che la rete profonda è strettamente equivalente a un singolo strato nascosto.
  • Caso Semi-Ortogonale: Se $W$ è semi-ortogonale e la funzione di attivazione $\sigma$ agisce come l'identità sull'intervallo contenente lo spettro di input (o mappa lo spettro in tale intervallo), la rete collassa nuovamente in una singola trasformazione di congruenza. Questo è una diretta conseguenza del Teorema di Separazione di Poincaré, che impedisce l'espansione della diversità spettrale necessaria per l'apprendimento gerarchico di caratteristiche profonde in questo specifico contesto.
• Perdita di Diversità Spettrale: La mancanza di espressività è attribuita a una "perdita di diversità spettrale". Le trasformazioni di congruenza semi-ortogonali vincolano gli autovalori dell'output affinché ricadano nell'intervallo di autovalori dell'input. Di conseguenza, per le funzioni di attivazione che si basano sull'espansione o modifica spettrale, la profondità non fornisce alcun potere discriminativo aggiuntivo.
• Incompatibilità del Classificatore: Lo studio rivela che diverse distanze celebri tra matrici SPD (Affine-Invariant, Stein e Euclidea) sono invarianti sotto congruenza con matrici ortogonali o invertibili.
  • Se un classificatore si affida a queste distanze invarianti (ad esempio, la Distanza Riemanniana Minima dalla Media), e l'estrattore di caratteristiche utilizza strati di congruenza con pesi ortogonali, la distanza tra due punti dati rimane invariata durante tutto il percorso della rete.
  • Ciò implica che tali classificatori non possono separare i dati appartenenti a classi diverse se l'estrazione delle caratteristiche si basa esclusivamente su queste trasformazioni invarianti, poiché la geometria relativa dei dati viene preservata anziché trasformata per migliorarne la separabilità.

Significatività e Rivendicazioni
Il documento sostiene che le scelte di progettazione standard in SPDNet — specificamente il vincolo di semi-ortogonalità sui BiMap layer — limitano fondamentalmente l'espressività dell'architettura per certe funzioni di attivazione. Gli autori argomentano che tale vincolo porta a una degenerazione in cui le reti profonde non offrono alcun vantaggio rispetto a quelle superficiali, un fenomeno guidato dai vincoli spettrali del Teorema di Separazione di Poincaré.

Inoltre, il lavoro evidenzia un disallineamento critico tra l'estrazione di caratteristiche basata su congruenza e i classificatori che si affidano a metriche invarianti. Se l'estrattore di caratteristiche preserva la struttura spettrale e geometrica dei dati (a causa dei vincoli ortogonali), i classificatori basati su distanze invarianti non beneficiano del processo di estrazione delle caratteristiche. Il documento conclude che i futuri design per le DNN SPD devono riconsiderare questi vincoli, esplorando potenzialmente nuove funzioni di attivazione o allentando i requisiti di ortogonalità per ripristinare l'espressività delle architetture profonde.