Drawback of Enforcing Equivariance and its Compensation via the Lens of Expressive Power

Sintesi Tecnica: Svantaggio dell'Imposizione dell'Equivarianza e sua Compensazione attraverso la Lente del Potere Espressivo

Enunciato del Problema
Le reti neurali equivarianti (ENN) sono diventate un approccio dominante per sfruttare le simmetrie intrinseche dei dati, ottenendo prestazioni elevate in ambiti che vanno dall'elaborazione di nuvole di punti alle reti neurali su grafi. Queste reti impongono tipicamente l'equivarianza sia attraverso la progettazione architetturale (Reti Equivarianti a Livello, o LEN) sia tramite vincoli di ottimizzazione (Reti Equivarianti Generali, o GEN). Sebbene i benefici dell'equivarianza in termini di generalizzazione ed efficienza del campione siano ben documentati, il compromesso relativo al potere espressivo rimane teoricamente poco esplorato. Nello specifico, non è chiaro se la restrizione dello spazio delle ipotesi ai modelli equivarianti riduca intrinsecamente la capacità della rete di approssimare le funzioni target rispetto alle reti generali (GN) della stessa dimensione, e se l'imposizione dell'equivarianza a ogni livello (LEN) imponga limitazioni più severe rispetto all'equivarianza globale (GEN).

Metodologia
Il documento investiga questo compromesso concentrandosi su reti ReLU a due livelli. Gli autori impiegano un'analisi geometrica della struttura interna della rete, esaminando specificamente gli iperpiani di confine (dove la funzione lineare a tratti cambia pendenza) e i vettori canale (i vettori di peso che definiscono i confini di attivazione).

1. Caratterizzazione Geometrica: Gli autori definiscono gli iperpiani di confine e dimostrano che, per una GEN, l'insieme di tali iperpiani deve essere simmetrico rispetto alla rappresentazione del gruppo. Per le LEN, derivano una condizione più rigorosa: i vettori canale stessi devono formare un insieme simmetrico sotto l'azione del gruppo.
2. Controesempi Costruttivi: Per dimostrare le limitazioni, gli autori costruiscono specifiche funzioni target invarianti su $\mathbb{R}^2$ e analizzano le capacità di approssimazione di GN, GEN e LEN sotto un numero fisso di neuroni (in particolare configurazioni da 1 neurone e da 3 neuroni).
3. Analisi della Compensazione: Il documento investiga se l'aumento della dimensione del modello (numero di neuroni) possa compensare la perdita di potere espressivo. Ciò comporta la costruzione di specifiche architetture LEN che replicano le funzioni di GN o GEN più piccoli e l'analisi della dimensionalità risultante dello spazio delle ipotesi.

Contributi e Risultati Chiave

• Deficit di Potere Espressivo: Il documento dimostra che l'imposizione rigorosa dell'equivarianza riduce il potere espressivo per una dimensione del modello fissa.

  • GN vs GEN: Per una specifica funzione target invariante, una GN a 1 neurone può approssimare la funzione con un errore non nullo, mentre l'unica GEN a 1 neurone è la funzione zero, risultando in una perdita attesa strettamente superiore.
  • GEN vs LEN: Per una funzione target che richiede tre neuroni per essere rappresentata perfettamente da una GN o una GEN, una LEN richiede almeno sei neuroni. Questo perché i vincoli di simmetria sui vettori canale nelle LEN costringono la rete a includere vettori paralleli (ad esempio, $\alpha$ e $-\alpha$) come canali distinti per soddisfare l'equivarianza a livello di strato, raddoppiando di fatto la capacità necessaria per certe simmetrie.

• Compensazione tramite Ingrandimento del Modello: Gli autori dimostrano che la perdita di potere espressivo può essere completamente compensata ingrandendo la dimensione del modello.

  • Limiti Superiori: Dimostrano che ingrandire una GEN a una LEN di un fattore $|G|$ (la dimensione del gruppo di simmetria) permette alla LEN di rappresentare qualsiasi funzione invariante rappresentabile dalla GEN.
  • Limiti più Stringenti: Ulteriori analisi mostrano che, per funzioni invarianti, una LEN richiede al massimo il doppio della dimensione del modello di una GEN per rappresentare lo stesso insieme di funzioni. Ciò è ottenuto costruendo una LEN in cui i vettori canale sono raggruppati in base alle loro orbite e fusi dove possibile.

• Ridotta Complessità dello Spazio delle Ipotesi: Una scoperta sorprendente è che, sebbene le LEN ingrandite abbiano più neuroni (dimensione del modello più grande), possiedono uno spazio delle ipotesi a dimensionalità inferiore rispetto alle GN di potere espressivo equivalente.

  • Nell'esempio costruito, una LEN a 6 neuroni che rappresenta una specifica funzione ha uno spazio dei parametri di $\mathbb{R}^5$, mentre una GN a 3 neuroni che rappresenta la stessa funzione ha uno spazio dei parametri di $\mathbb{R}^9$.
  • Questa riduzione della dimensionalità deriva dal fatto che i vincoli strutturali dell'equivarianza costringono i parametri a giacere in sottospazi specifici, riducendo il numero di parametri apprendibili indipendenti nonostante l'aumento del numero di neuroni.

Significato e Affermazioni
Il documento afferma di fornire il primo esame teorico approfondito del potere espressivo delle reti neurali equivarianti a livello di strato. Il suo significato primario risiede in:

1. Identificazione di uno Svantaggio: Dimostrare esplicitamente che i vincoli di equivarianza, in particolare a livello di strato, possono limitare intrinsecamente la capacità di un modello di approssimare funzioni se la dimensione del modello non viene adeguata.
2. Quantificazione della Compensazione: Fornire limiti superiori formali (specificamente un fattore di $|G|$ o un fattore di 2) sull'ingrandimento della dimensione del modello richiesto per recuperare il potere espressivo perso.
3. Riconciliazione della Generalizzazione: Sostenere che il "costo" dell'aumento della dimensione del modello è compensato da una riduzione della dimensionalità dello spazio delle ipotesi. Ciò suggerisce che LEN di dimensioni appropriate possano offrire una generalizzabilità superiore rispetto alle GN standard, non solo grazie al bias induttivo, ma perché operano in uno spazio dei parametri a dimensionalità inferiore mantenendo capacità di approssimazione comparabili.

Gli autori concludono che, sebbene l'imposizione dell'equivarianza abbia uno svantaggio nel potere espressivo grezzo per dimensioni fisse, questo è un compromesso gestibile. Scalando adeguatamente il modello, le LEN diventano una soluzione competitiva che bilancia la capacità di approssimazione con un potenziale di generalizzazione migliorato attraverso una ridotta complessità dello spazio delle ipotesi.