🤖 machine learning

Parameter-Level Attribution of Symmetry in Trained Networks Though Parameter-Wise Functional Sensitivity

Questo articolo stabilisce che un'azione liscia nello spazio dei parametri che realizza la simmetria di una funzione esiste se e solo se l'orbita tangente della simmetria giace all'interno dell'immagine delle sensibilità funzionali della rete, fornendo un quadro per identificare le direzioni locali dei parametri che seguono l'orbita della simmetria o scendono verso lo spazio sottostante equivariante nelle reti addestrate.

Autori originali: Alan Muriithi, Vedanta Thapar, Torben Berndt

Pubblicato 2026-08-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Alan Muriithi, Vedanta Thapar, Torben Berndt

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel vasto panorama dell'intelligenza artificiale moderna, le reti neurali sono spesso trattate come scatole nere: sistemi complessi che ricevono dati e producono risposte, ma che offrono scarsi indizi su come arrivino a tali conclusioni. Questi sistemi sono costruiti da strati di connessioni matematiche, ognuna delle quali possiede un valore numerico specifico, o parametro, che la macchina regola durante l'addestramento. Una domanda centrale per gli scienziati che studiano questi sistemi è se la struttura interna di una rete addestrata rifletta le regole che governano il mondo che ha appreso. Se una rete apprende un compito che implica una simmetria — come riconoscere che una forma appare identica dopo essere stata ruotata — la sua struttura interna contiene effettivamente un meccanismo che rispecchia tale rotazione? I ricercatori sospettano da tempo che la risposta sia sì, ma dimostrare esattamente quali parti della rete siano responsabili di questo comportamento è rimasto elusivo. Questa incertezza è importante perché comprendere la geometria interna di questi modelli potrebbe rivelare come generalizzano la conoscenza e se comprendano davvero le leggi fisiche che sono state addestrate a imitare.

Un team di ricercatori dell'Università di Oxford e dell'Istituto di Studi Teorici di Heidelberg ha sviluppato un nuovo modo per guardare dentro queste reti, andando oltre la semplice statistica per esaminare la precisa geometria locale di come i parametri influenzano l'output di una rete. Si sono concentrati su un concetto che chiamano sensibilità funzionale, che misura quanto la risposta finale di una rete cambi quando un singolo numero interno viene leggermente modificato. Mappando queste minuscole variazioni, i ricercatori hanno creato un quadro dettagliato delle direzioni in cui la rete può spostare il proprio output. Si sono posti una domanda specifica: se una rete ha appreso una funzione con una nota simmetria, tale simmetria può essere ricondotta a un movimento specifico all'interno dei parametri della rete? In altre parole, esiste un percorso attraverso le impostazioni interne della rete che corrisponde esattamente alla rotazione o allo spostamento della funzione che essa svolge?

I ricercatori hanno formulato questo problema come un problema di "lifting" (sollevamento), chiedendosi se le trasformazioni fluide osservate nell'output finale possano essere "sollevate" nuovamente a una trasformazione fluida nelle impostazioni interne della rete. Hanno scoperto che, affinché un tale movimento esista, le direzioni in cui la funzione può cambiare a causa della simmetria devono essere raggiungibili dai parametri attuali della rete. Se le impostazioni interne della rete sono troppo rigide o scarsamente allineate, la simmetia nell'output non può essere pienamente realizzata muovendo i parametri. Per testare ciò, il team ha sviluppato un metodo per calcolare la migliore direzione possibile per muovere i parametri, al fine di seguire una simmetria o correggere una mancanza di simmetria. Hanno identificato due percorsi distinti: uno che sposta la rete lungo l'orbita della simmetria, ruotando efficacementamente la funzione appresa senza cambiarne la natura fondamentale, e un altro che sposta la rete verso uno stato di perfetta simmetria, riducendo eventuali errori in cui la funzione non rispetta la simmetria.

Per vedere se queste direzioni teoriche funzionassero nella pratica, i ricercatori hanno addestrato reti neurali su due compiti differenti. Per prima cosa, hanno utilizzato un semplice classificatore di immagini progettato per distinguere tra un cerchio completo e una fetta a forma di cuneo. Successivamente, hanno applicato le direzioni calcolate alla rete addestrata. Quando hanno mosso i parametri della rete lungo il percorso di simmetria, il confine decisionale della rete ruotava esattamente come previsto, preservando la propria accuratezza pur cambiando l'orientamento. Quando hanno mosso i parametri lungo il percorso verso la simmetria, l'output della rete diventava più coerente con le regole della rotazione, riducendo l'errore nel suo comportamento. Fondamentalmente, hanno scoperto che queste direzioni funzionavano in modo affidabile solo quando venivano ricalcolate ad ogni passo del movimento. Se avevano calcolato la direzione una sola volta all'inizio e l'avevano mantenuta fissa, la rete deviava rapidamente dalla rotta, fallendo nel mantenere la simmetria o la correzione. Ciò ha dimostrato che la relazione tra i parametri e la simmetria è altamente locale e cambia man mano che la rete si muove.

Il team ha ripetuto questo processo con un sistema più complesso progettato per apprendere la fisica di un potenziale rotante, noto come sistema Hamiltoniano. Anche se l'architettura della rete non la costringeva esplicitamente a rispettare la simmetria rotazionale, la rete addestrata ha comunque appreso la fisica sottostante. Quando i ricercatori hanno applicato il loro metodo anche qui, hanno osservato lo stesso schema: ricalcolare la direzione a ogni passo permetteva alla rete di ruotare il proprio potenziale appreso o di renderlo più simmetrico, mentre mantenere la direzione fissa portava a una graduale deriva dal comportamento corretto. Lo studio dimostra che, sebbene le reti neurali possano apprendere a codificare le simmetrie, i parametri specifici responsabili di questo comportamento non sono statici. La capacità di ricondurre queste simmetrie alla struttura interna della rete dipende dal costante ricalcolo della geometria locale dei parametri. I risultati suggeriscono che la rappresentazione interna della simmetria è una caratteristica dinamica, una che richiede un continuo aggiustamento per rimanere allineata con le regole matematiche che la rete ha imparato a seguire.

Sintesi Tecnica: Attribuzione a Livello di Parametro della Simmetria in Reti Addestrate

Problema
Il documento affronta una domanda fondamentale nello studio delle classi di funzioni parametrizzate: quando una rete neurale ha appreso una funzione che possiede una simmetria nota, tale simmetria può essere "sollevata" (lifted) attraverso la parametrizzazione della rete? Nello specifico, gli autori indagano se esista un moto nello spazio dei parametri che realizzi un'azione di gruppo nello spazio delle funzioni. Sebbene il sollevamento globale (un'azione regolare sull'intero manifold dei parametri) possa non sempre esistere, il documento si concentra sul problema del sollevamento infinitesimale: determinare se lo spazio tangente all'orbita di simmetria di una funzione giaccia nell'immagine del differenziale della mappa di realizzazione della rete. Se questa condizione è soddisfatta, la rete può muoversi localmente lungo la direzione di simmetria tramite aggiornamenti dei parametri.

Metodologia
Gli autori introducono un framework basato sulla sensibilità funzionale, definita come la risposta locale dell'output della rete a perturbazioni nei singoli parametri.

Sensibilità Funzionale: Per una rete $f_\theta$ parametrizzata da $\theta$ , la sensibilità funzionale puntuale del $i$ -esimo parametro è $S^*_i(x; \theta) = \frac{\partial f_\theta}{\partial \theta_i}(x)$ . La sensibilità aggregata $S_i(\theta)$ è la radice quadrata della media dei quadrati di queste sensibilità su una distribuzione di sonde.
Criterio di Sollevamento Differenziale: Il documento formula il problema del sollevamento utilizzando la mappa di realizzazione $\Phi: \Theta \to \mathcal{B}$ , dove $\mathcal{B}$ è lo spazio delle funzioni. Il differenziale $J_\theta = d\Phi_\theta$ mappa le velocità dei parametri nelle variazioni dello spazio funzionale. Le colonne di $J_\theta$ corrispondono alle sensibilità funzionali. Una condizione necessaria per sollevare un generatore di simmetria $\xi$ è che la direzione indotta nello spazio delle funzioni $\eta_\xi$ giaccia nell'immagine di $J_\theta$ (ovvero, $\text{Im}(J_\theta)$ ).
Rilassamento ai Minimi Quadrati: Poiché il sollevamento esatto è spesso impossibile in reti sovraparametrizzate o imperfettamente addestrate, gli autori propongono un approccio ai minimi quadrati per trovare la migliore direzione locale dei parametri. Ciò produce due direzioni distinte:
1. Direzione dell'Orbita di Simmetria ( $c^\star$ ): La direzione dei parametri a norma minima che approssima il movimento lungo l'orbita di simmetria ( $\eta_\xi$ ). Il residuo misura la componente della direzione di simmetria inaccessibile alla parametrizzazione corrente.
2. Direzione del Difetto di Equivarianza ( $b^\star$ ): La direzione dei parametri a norma minima che muove la funzione verso lo spazio sottostante equivariante (riducendo il "difetto di equivarianza" $\delta_\theta = f_\theta - P_E f_\theta$ ).
Attribuzione: I coefficienti di queste soluzioni ai minimi quadrati forniscono un'attribuzione per parametro dei generatori di simmetria, identificando quali specifici pesi e bias contribuiscono alla simmetria o alla mancanza di essa.

Contributi Chiave

Framework di Sensibilità Funzionale: Gli autori definiscono un framework differenziale a livello di parametro che mette in relazione i singoli parametri con le variazioni locali della mappa appresa, spostando l'attenzione dalle correlazioni statistiche nello spazio dei parametri (come nel lavoro precedente di Maiti et al.) alla geometria differenziale locale della mappa appresa.
Proiezione dei Generatori di Simmetria: Sviluppano un metodo per proiettare i generatori infinitesimali di simmetria sullo spazio tangente dei parametri, ottenendo attribuzioni per singolo parametro e un diagnostico per l'equivarianza.
Validazione Empirica: Confrontano empiricamente queste quantità in due setting: un classificatore rotazionalmente invariante e Reti Neurali Hamiltoniane (HNN) addestrate su un potenziale con simmetria rotazionale.

Risultati Sperimentali
Gli autori valutano se le direzioni locali dei parametri calcolate inducano i cambiamenti finiti previsti nello spazio delle funzioni.

Classificatore di Anello: È stato testato un MLP addestrato per distinguere un disco interno da un anello esterno. Lo studio ha confrontato le traiettorie "Risolte" (ricomputando il Jacobiano e la direzione ad ogni passo) con le traiettorie "Fisse" (utilizzando la direzione calcolata all'inizializzazione).
- Traiettorie Risolte: Il flusso diretto dalla simmetria ( $c^\star$ ) ha spostato con successo la funzione lungo l'orbita di simmetria rotazionale preservando la distanza dallo spazio equivariante. Il flusso diretto dall'equivarianza ( $b^\star$ ) ha ridotto con successo la componente non invariante (difetto di equivarianza).
- Traiettorie Fisse: Le direzioni mantenute fisse hanno deviato sostanzialmente dalle orbite previste dopo l'addestramento, evidenziando la necessità di ricalcolare le direzioni per traiettorie finite.
Reti Neurali Hamiltoniane: Utilizzando Reti Neurali Hamiltoniane Adattabili (ASRNN) addestrate su un potenziale a cappello mexicano, gli autori hanno osservato risultati simili. La ricalcolazione delle direzioni ha permesso alla rete di ruotare efficacemente il potenziale (flusso di simmetria) o di rendere il potenziale appreso "più" equivariante (flusso di equivarianza). Le direzioni fisse hanno mostrato un successo iniziale ma hanno accumulato deriva nel tempo.
Indipendenza dall'Architettura: Notevolmente, questi risultati sono rimasti validi anche per le reti hamiltoniane dove l'architettura non imponeva esplicitamente la simmetria, dimostrando che il metodo può identificare la codifica della simmetria in architetture standard.

Significato e Rivendicazioni
Il documento sostiene che la sensibilità funzionale fornisce uno strumento rigoroso per identificare i parametri specifici che codificano le simmetrie in una mappa appresa. Formulando il problema come un compito di sollevamento (lifting), gli autori stabiliscono una condizione necessaria e sufficiente per il sollevamento puntuale del primo ordine. La significatività risiede nella capacità di:

Diagnosticare il "difetto di equivarianza" di una rete addestrata.
Identificare direzioni ortogonali nello spazio dei parametri che corrispondono al movimento lungo un'orbita di simmetria rispetto al movimento verso lo spazio equivariante.
Dimostrare che, sebbene il sollevamento locale sia affidabile, il sollevamento globale richiede la ricalcolazione continua di queste direzioni, poiché le direzioni fisse falliscono nel tracciare l'orbita su traiettorie finite.

Il lavoro non pretende di imporre simmetrie durante l'addestramento, ma fornisce piuttosto un metodo diagnostico e di attribuzione post-hoc per comprendere come le simmetrie siano rappresentate nello spazio dei parametri di reti addestrate.

Sintesi Tecnica: Attribuzione a Livello di Parametro della Simmetria in Reti Addestrate

Articoli simili