The Geometry of Polynomial Group Convolutional Neural Networks

1. Problema e Contesto

Il lavoro si inserisce nel campo dell'Apprendimento Profondo Geometrico (Geometric Deep Learning), che studia architetture neurali equivarianti rispetto a un gruppo di simmetria $G$. Mentre le reti neurali convoluzionali (CNN) classiche sono equivarianti rispetto alle traslazioni discrete ($G = \mathbb{Z}$), l'obiettivo qui è generalizzare l'analisi a gruppi finiti arbitrari $G$.

L'articolo si concentra sulla Geometria Neuroalgebrica, un campo emergente che analizza le proprietà geometriche degli spazi delle funzioni realizzabili da una rete neurale (chiamati neuromanifold). Il problema specifico affrontato è la comprensione della struttura geometrica, della dimensione e dell'identificabilità dei Polynomial Group Convolutional Neural Networks (PGCNN).
Le PGCNN sono reti con strati convoluzionali $G$-equivarianti e funzioni di attivazione polinomiali. L'uso di attivazioni polinomiali è giustificato dal fatto che:

1. I polinomi sono approssimatori universali (Teorema di Weierstrass).
2. Rendono lo spazio delle funzioni realizzabili un insieme semi-algebrico, analizzabile con strumenti di geometria algebrica.
3. Hanno dimostrato efficacia in vari campi applicativi.

L'obiettivo è generalizzare i risultati noti per le CNN polinomiali (caso $G=\mathbb{Z}_n$) a gruppi finiti arbitrari, calcolando la dimensione del neuromanifold e classificando le fibre della mappa di parametrizzazione.

2. Metodologia

Gli autori introducono un nuovo quadro matematico basato sulle algebre di gruppo graduate (graded group algebras).

• Formalizzazione delle PGCNN:
  Una PGCNN è definita come una composizione di convoluzioni con filtri $\theta_l \in K[G]$ e funzioni di attivazione polinomiali di grado $r$ (potenze di Hadamard). La rete mappa un filtro di input $x$ a un output in uno spazio di polinomi omogenei.
• Due Parametrizzazioni:
  Viene introdotta una distinzione cruciale tra due modi di descrivere l'attivazione polinomiale di grado $r$:
  1. Prodotto di Hadamard ($\Phi$): L'attivazione agisce componente per componente sul filtro nello spazio originale $K[G]$.
  2. Prodotto di Kronecker ($\varphi$): L'attivazione viene reinterpretata come un prodotto tensoriale che eleva il filtro allo spazio $K[G^r]$.
     Le due mappe di parametrizzazione $\Phi$ e $\varphi$ sono legate da una mappa lineare $\Lambda$ (che coinvolge la convoluzione e la restrizione al sottogruppo diagonale), tale che $\Phi = \Lambda \circ \varphi$.
• Analisi Algebrica:
  Per calcolare la dimensione del neuromanifold, gli autori studiano il rango delle matrici Jacobiane delle mappe di parametrizzazione in punti generici. Utilizzano il concetto di rango simbolico per determinare le condizioni generali (generiche) su cui il rango è massimo.
  Vengono analizzate le proprietà di invertibilità dei filtri nell'algebra di gruppo e l'interazione tra prodotti di Kronecker, Hadamard e convoluzione.

3. Contributi Chiave

1. Quadro Matematico Unificato: Sviluppo di un framework basato su algebre di gruppo graduate per descrivere le PGCNN, permettendo di trattare gruppi finiti arbitrari in modo coerente.
2. Dualità di Parametrizzazione: Dimostrazione che le PGCNN ammettono due parametrizzazioni naturali (Hadamard e Kronecker) collegate linearmente, offrendo due prospettive diverse per l'analisi geometrica.
3. Calcolo della Dimensione: Determinazione esatta della dimensione del neuromanifold associato a una PGCNN di profondità $L$ e grado di attivazione $r \ge 2$.
4. Classificazione delle Fibre: Descrizione precisa della fibra generale della mappa di parametrizzazione (l'insieme dei parametri che producono la stessa funzione), fino all'azione del gruppo regolare e al ridimensionamento.
5. Strumento Computazionale: Sviluppo del pacchetto software PGCNNGeometry (in Sage e Macaulay2) per calcolare dimensioni e dimensioni delle fibre per gruppi e reti di piccole dimensioni, validando i risultati teorici.

4. Risultati Principali

• Dimensione del Neuromanifold:
  Il risultato centrale (Teoremi 4.1 e 4.3) stabilisce che la dimensione del neuromanifold $M_\Phi$ (e del suo omologo $M_\varphi$) per una PGCNN con gruppo $G$ di ordine $n = |G|$ e profondità $L$ è:
  $$\dim(M) = L(|G| - 1) + 1$$
  Punti salienti:

  • La dimensione non dipende dal grado del polinomio di attivazione $r$ (purché $r \ge 2$).
  • La dimensione non dipende dalla struttura specifica del gruppo (es. se è abeliano o no), ma solo dalla sua cardinalità $|G|$.
  • Questo risultato è sorprendente perché, sebbene una PGCNN possa essere vista come una rete completamente connessa (PNN) con vincoli di condivisione dei pesi, i vincoli di equivarianza non riducono la dimensione "attesa" in modo defectivo per gradi di attivazione sufficientemente alti.

• Fibra Generale (Identificabilità):

  • Per la parametrizzazione Kronecker ($\varphi$), il Teorema 4.7 dimostra che la fibra generale è finita (a meno di ridimensionamento). Due insiemi di parametri $\theta$ e $\psi$ producono la stessa funzione se e solo se sono correlati da un'azione di traslazione interna (con elementi del gruppo $G$) tra gli strati:
    $$\psi = (\theta_1 * g_1, g_1^{-1} * \theta_2 * g_2, \dots, g_{L-1}^{-1} * \theta_L)$$
  • Per la parametrizzazione Hadamard ($\Phi$), viene formulata la Congettura 4.8 (basata sull'intersezione di varietà di potenze di polinomi con le loro linee secanti). Se la congettura è vera, la struttura della fibra generale è identica a quella del caso Kronecker (Teorema 4.9). La congettura è stata verificata computazionalmente per gruppi piccoli e reti poco profonde.

• Invertibilità Generale:
  È stato dimostrato che, per parametri generici, i filtri e le loro potenze (Hadamard e Kronecker) sono invertibili nell'algebra di gruppo, il che è fondamentale per la prova dell'identificabilità.

5. Significato e Prospettive Future

Questo lavoro fornisce una comprensione teorica rigorosa delle proprietà geometriche delle reti neurali equivarianti polinomiali.

• Implicazioni Statistiche: La dimensione calcolata si traduce direttamente nella complessità del campione necessaria per l'apprendimento. Il fatto che la dimensione dipenda solo da $|G|$ e $L$ semplifica la previsione della capacità del modello.
• Identificabilità: La descrizione delle fibre implica che, a meno di simmetrie interne (azioni del gruppo tra gli strati) e ridimensionamenti, i parametri della rete sono identificabili. Questo è cruciale per l'analisi della dinamica di addestramento.
• Limiti e Sviluppi:
  • I risultati attuali si applicano a gruppi finiti e attivazioni puramente polinomiali.
  • Il lavoro futuro mira a dimostrare la Congettura 4.8, calcolare il grado algebrico del neuromanifold (generalizzando i risultati per le CNN) e estendere il framework a gruppi compatti (usando algebre di gruppo infinite dimensionali o discretizzazioni).
  • L'analisi del luogo singolare del neuromanifold è suggerita come area di ricerca, dato che i punti singolari sono spesso associati a massimi o minimi nel paesaggio di perdita.

In sintesi, il paper stabilisce un ponte solido tra la teoria delle rappresentazioni dei gruppi, l'algebra commutativa e l'apprendimento profondo, fornendo risultati esatti sulla complessità geometrica delle architetture equivarianti polinomiali.