On the Expressive Power of Permutation-Equivariant Weight-Space Networks

Problematica
L'apprendimento nello spazio dei pesi (weight-space learning) investiga architetture neurali che operano direttamente sui parametri di altre reti neurali, trattando i pesi come dati strutturati per compiti quali la predizione dell'accuratezza, la meta-ottimizzazione e l'editing di modelli. Una proprietà chiave degli spazi dei pesi dei Perceptron Multistrato (MLP) è la loro intrinseca simmetria: permutare i neuroni all'interno di uno strato nascosto altera i parametri grezzi ma lascia invariata la funzione realizzata. Di conseguenza, le reti allo stato dell'arte (SOTA) nello spazio dei pesi impiegano design permutazione-equivarianti per rispettare tale simmetria. Tuttavia, tali vincoli di simmetria possono restringere lo spazio delle ipotesi, potenzialmente limitando il potere espressivo di queste reti. Sebbene lavori precedenti abbiano stabilito capacità specifiche (ad esempio, la simulazione del passaggio in avanti), una caratterizzazione teorica completa del potere espressivo delle reti nello spazio dei pesi permutazione-equivarianti rimane mancante. Inoltre, a differenza di altri domini del deep learning geometrico, l'apprendimento nello spazio dei pesi coinvolge mappe che operano sia sullo spazio dei pesi che sullo spazio delle funzioni, rendendo l'analisi dell'espressività particolarmente sottile.

Metodologia
Gli autori sviluppano un quadro teorico sistematico per analizzare l'espressività delle reti nello spazio dei pesi permutazione-equivarianti che operano su pesi MLP. La metodologia procede attraverso quattro fasi principali:

1. Equivalenza Architetturale: Il documento stabilisce innanzitutto che le prominenti architetture permutazione-equivarianti — inclusi Deep Weight Space (DWS), Neural Functional Networks (NFN), Graph Meta-Networks (GMN) e Neural Graph GNNs (NG-GNN) — sono equivalenti in potere espressivo. Ciò è dimostrato provando che ogni architettura può approssimare gli strati base delle altre, formando un ciclo di contenimento espressivo. I Neural Functional Transformers (NFT) sono inizialmente identificati come un'eccezione a causa dei loro meccanismi di attenzione non standard, ma si dimostra che corrispondono al potere espressivo degli altri sotto un'ipotesi di "posizione generale" (GP).
2. Quadro di Approssimazione: Gli autori definiscono quattro impostazioni di approssimazione fondamentali per categorizzare le mappe target:
   • Funzionali dello spazio delle funzioni: Mappe da funzioni a vettori (ad esempio, predizione dell'accuratezza).
   • Funzionali permutazione-invarianti: Mappe da pesi a vettori che sono invarianti alle permutazioni dei neuroni ma possono dipendere da parametrizzazioni specifiche (ad esempio, norma $\ell_2$ dei pesi).
   • Operatori dello spazio delle funzioni: Mappe da funzioni a funzioni (ad esempio, editing del modello).
   • Operatori permutazione-equivarianti: Mappe da pesi a pesi che rispettano le simmetrie ma non sono determinate unicamente dalla funzione realizzata (ad esempio, maschere di pruning).
3. Analisi della Universalità: Per ogni impostazione, il documento analizza le condizioni in cui l'approssimazione universale è raggiungibile. Una componente critica di questa analisi è l'ipotesi di "posizione generale" (GP), che richiede che i termini di bias all'interno di ogni strato nascosto siano pairwise distinti. Questa ipotesi esclude un insieme di misura zero di configurazioni degenerate.
4. Dimostrazioni Teoriche: Gli autori utilizzano strumenti del deep learning geometrico, tra cui proprietà di separazione, mappe di canonizzazione e il teorema di Stone-Weierstrass, per dimostrare i risultati di universalità. Dimostrano che, sebbene l'universalità fallisca in piena generalità per certe impostazioni (specificamente funzionali permutazione-invarianti e operatori su architetture fisse), essa viene recuperata sotto l'ipotesi GP o permettendo all'architettura di output di essere sufficientemente grande.

Contributi Chiave

1. Equivalenza Espressiva: Il documento prova che tutte le prominenti reti nello spazio dei pesi permutazione-equivarianti per MLP (DWS, NFN, GMN, NG-GNN) possiedono un potere espressivo identico. Gli NFT sono mostrati essere equivalenti a questa classe sotto l'ipotesi GP.
2. Quadro di Approssimazione Unificato: Gli autori identificano e formalizzano quattro naturali impostazioni di approssimazione, fornendo una lente strutturata attraverso cui valutare le reti nello spazio dei pesi.
3. Caratterizzazione della Universalità:
   • Funzionali dello spazio delle funzioni: Dimostrati essere universalmente approssimabili da reti invarianti nello spazio dei pesi su qualsiasi insieme compatto.
   • Funzionali permutazione-invarianti: Mostrati non essere universalmente approssimabili in piena generalità (a causa delle limitazioni nel distinguere configurazioni di pesi non equivalenti con grafi computazionali identici). Tuttavia, l'universalità è raggiunta sotto l'ipotesi GP.
   • Operatori dello spazio delle funzioni: Dimostrati non universali quando vincolati a reti di output della stessa architettura fissa (a causa della capacità rappresentativa limitata). L'universalità è raggiunta se l'architettura di output è consentita di essere sufficientemente grande per accomodare la complessità della funzione target.
   • Operatori permutazione-equivarianti: Similmente ai funzionali invarianti, l'universalità fallisce in piena generalità ma si tiene sotto l'ipotesi GP.
4. Validazione Empirica tramite Espansione della Capacità di Output (OCE): Guidati dal risultato teorico che gli operatori dello spazio delle funzioni richiedono capacità di output maggiori, gli autori propongono una semplice modifica: predire un ensemble di $k$ reti di output e mediarle. Ciò aumenta la capacità di output effettiva senza aggiungere parametri al modello stesso.

Risultati

• Teorici: Il documento fornisce una mappa completa del panorama dell'espressività, chiarendo esattamente quando e perché le reti nello spazio dei pesi hanno successo o falliscono nell'approssimare specifici tipi di mappe. Identifica l' "insieme di esclusione" (configurazioni di bias degenerate) come la barriera primaria all'universalità nelle impostazioni invarianti.
• Empirici: Sul benchmark MNIST Implicit Neural Representation (INR) dilation (un compito standard di operatore dello spazio delle funzioni), la modifica proposta OCE produce miglioramenti significativi. Nello specifico, applicare OCE alle architetture DWS e GMN ottiene un miglioramento del 34% rispetto allo SOTA precedente (ScaleGMN + GradMetaNet++). I risultati dimostrano che l'aumento della capacità di output effettiva affronta direttamente le limitazioni teoriche identificate nell'impostazione dell'operatore dello spazio delle funzioni.

Significatività
Il documento sostiene di fornire la prima base teorica completa per il potere espressivo delle reti permutazione-equivarianti nello spazio dei pesi. Unificando diverse famiglie di architetture in una singola classe di espressività e caratterizzando precisamente le condizioni per l'universalità, il lavoro offre una guida principiata per la progettazione di modelli nello spazio dei pesi. L'identificazione della capacità di output come un collo di bottiglia per gli operatori dello spazio delle funzioni porta a un miglioramento pratico, guidato dalla teoria (OCE), che raggiunge prestazioni SOTA. Gli autori posizionano questo lavoro come un passo necessario per passare da risultati empirici specifici per task verso una comprensione matematica più profonda dell'apprendimento negli spazi dei pesi, distinguendolo dai lavori precedenti che stabilivano solo capacità parziali come la simulazione del passaggio in avanti.