Identifiable Equivariant Networks are Layerwise Equivariant

Sintesi Tecnica: Le reti equivarianti identificabili sono equivarianti per strato

Problematica
Nel deep learning geometrico, un paradigma dominante consiste nel progettare reti neurali con un'equivarianza esplicita per ogni strato, al fine di garantire che l'intera rete rispetti le simmetrie dei dati. Tuttavia, rimane un quesito teorico fondamentale: l'equivarianza per strato è una condizione necessaria affinché una rete sia equivariante end-to-end? Empiricamente, le reti addestrate su dati simmetrici sviluppano spesso strutture approssimativamente equivarianti nei loro strati intermedi, eppure la giustificazione teorica del perché l'equivarianza end-to-end implichi l'equivarianza per strato è rimasta poco chiara. Questo lavoro affronta il divario tra simmetria globale (end-to-end) e simmetria locale (per strato), investigando specificamente se una funzione equivariante end-to-end debba necessariamente essere costruita partendo da strati equivarianti.

Metodologia e Formalismo
Gli autori sviluppano un formalismo altamente astratto, indipendente dall'architettura, basato sulla teoria delle categorie e sulla geometria algebrica per analizzare le reti neurali profonde.

1. Definizione del Modello Astratto: Un modello profondo è definito come una composizione sequenziale di mappe parametriche $f_i: V_{i-1} \times \Theta_i \to V_i$, che rappresentano gli strati operanti sugli spazi latenti $V_i$.
2. Simmetrie e Azioni di Gruppo: Le simmetrie sono formalizzate tramite azioni di gruppo. Gli spazi di input e di output sono agiti da un gruppo $G$. Fondamentalmente, gli spazi latenti $V_i$ sono dotati dei propri gruppi di simmetria $K_i$.
3. Assunzione di Identificabilità: Il nucleo teorico è l'identificabilità dei parametri. Gli autori definiscono un parametro $\theta$ come "debolmente identificabile" se è l'immagine di un parametro identificabile all'interno di un "sottomodello". Un sottomodello rappresenta un caso degenero in cui i neuroni sono inattivi o ridondanti (clonati).
   • Identificabilità implica che se due set di parametri producono la stessa funzione, essi devono essere correlati dalle simmetrie degli spazi latenti (specificamente, trasformazioni inter-strato che si annullano).
   • Questa proprietà è nota per essere valida per varie architetture (ad esempio, MLP con attivazioni Sigmoide, Tanh o polinomi di alto grado), ma rimane una congettura per altre (ad esempio, reti ReLU, sebbene esistano risultati parziali).
4. Sottomodelli e Degenerazione: Il framework gestisce esplicitamente i neuroni "inattivi" (quelli che non partecipano nel passaggio in avanti) trattandoli come sottomodelli. La teoria postula che qualsiasi parametro non identificabile derivi da tali strutture degenerate.

Risultato Teorico Principale
Il teorema centrale (Teorema 4.1) stabilisce un legame diretto tra l'equivarianza globale e quella locale:

• Premessa: Si consideri una rete profonda che sia equivariante end-to-end rispetto a un gruppo $G$ che agisce sull'input e sull'output. Si assuma che i parametri della rete siano debolmente identificabili.
• Conclusione: Esistono azioni di gruppo di $G$ sugli spazi latenti intermedi $V_1, \dots, V_{L-1}$ tali che ogni strato $f_i$ sia equivariante rispetto a tali azioni.
• Implicazione: Progettare strati equivarianti non è un semplice euristicismo; è l'unico modo per costruire una rete end-to-end equivariante (al netto dello scarto dei neuroni inattivi). Se una rete converge a una soluzione equivariante durante l'addestramento, l'equivarianza deve emergere automaticamente nelle parti attive dei suoi strati.

Contributi Chiave

1. Formalizzazione Astratta: Il documento formula l'identificabilità, l'equivarianza e i sottomodelli in un linguaggio astratto unificato che si applica a diverse architetture di rete e gruppi di simmetria.
2. Dimostrazione della Necessità: Dimostra che, sotto l'assunzione di debole identificabilità, l'equivarianza end-to-end necessita dell'equivarianza per strato. Ciò risolve la questione aperta se reti non equivarianti per strato possano raggiungere l'equivarianza globale.
3. Applicazione ad Architetture Specifiche:
   • MLP: La teoria viene applicata ai Multi-Layer Perceptrons, mostrando come le simmetrie latenti corrispondano a permutazioni di neuroni e ricalibrature (rescaling). Discute lo stato dell'identificabilità per varie funzioni di attivazione (Sigmoide, Tanh, Polinomi, ReLU).
   • Reti di Attenzione: Il framework viene esteso alle reti Multi-Head Attention, dove le simmetrie latenti includono permutazioni di teste e trasformazioni lineari degli spazi dei token.
4. Illustrazione Empirica: Gli autori conducono esperimenti su CIFAR10 utilizzando piccoli MLP (autoencoder e classificatori) addestrati con una perdita di equivarianza. Sebbene la teoria assuma l'equivarianza esatta, gli esperimenti dimostrano che le strutture per strato previste (ad esempio, filtri simmetrici o antisimmetrici) emergono in contesti pratici di approssimativa equivarianza.

Significato e Rivendicazioni
Il documento rivendica di fornire una spiegazione matematica del fenomeno osservato costantemente nella pratica: che le reti neurali addestrate su dati simmetrici codificano tali simmetrie linearmente nei loro spazi latenti.

• Il lavoro chiarisce la relazione tra data augmentation basata sulla simmetria e progettazione di strati equivarianti, suggerendo che se una rete apprende una funzione equivariante, essa "scopre" efficacemente la struttura equivariante per strato necessaria per sostenerla.
• I risultati sono radicati nell'assunzione di identificabilità. Gli autori riconoscono che, sebbene ciò sia stabilito per molte architetture, rimane una congettura per altre (in particolare le reti ReLU), e i loro risultati si applicano immediatamente a quelle prime e condizionalmente alle seconde.
• La teoria è presentata come indipendente dall'architettura, basandosi sulle proprietà strutturali delle mappe parametriche piuttosto che su specifiche configurazioni di pesi, offrendo così un principio generale per il deep learning geometrico.

Limiti e Ambito
Gli autori notano che la loro dimostrazione si basa su specifiche proprietà di adgiunzione tra l'azione del gruppo e i parametri dello strato. Sebbene discutano generalizzazioni per reti di attenzione e convoluzionali, certe architetture come i Deep Sets o specifici Graph Neural Networks equivarianti, dove gli strati lineari assorbono specifiche azioni di gruppo ma non trasformazioni arbitrarie, cadono fuori dall'ambito diretto della loro attuale dimostrazione. Inoltre, la dipendenza dalla debole identificabilità significa che i loro risultati sono contingenti sul fatto che il modello non rimanga intrappolato in configurazioni di parametri degenerate che non derivano da sottomodelli.