Sintesi Tecnica: Simmetrie nell'Apprendimento PAC-Bayesiano

Definizione del Problema

Le simmetrie nel machine learning, come l'invarianza rotazionale o traslazionale, sono empiricamente note per migliorare le prestazioni dei modelli. Tuttavia, le attuali garanzie teoriche che spiegano questi guadagni sono limitate da assunzioni restrittive. I precedenti framework teorici, in particolare nell'ambito PAC-Bayesiano, tipicamente si basano su due vincoli chiave:

1. Compattezza: Il gruppo di simmetria deve essere compatto (ad esempio, gruppi finiti o rotazioni), escludendo gruppi non compatti come traslazioni o scalamenti, che sono centrali in architetture come le Reti Neurali Convoluzionali (CNN).
2. Invarianza dei Dati: La distribuzione dei dati stessi è assunta essere invariante rispetto all'azione del gruppo. Negli scenari reali, ciò è raramente vero (ad esempio, una tazza d'acqua capovolta è improbabile che si verifichi nei dati naturali, violando l'invarianza per traslazione).

Questo lavoro affronta il divario nella comprensione teorica estendendo le garanzie di generalizzazione a scenari che coinvolgono simmetrie non compatte e distribuzioni di dati non invarianti.

Metodologia

Gli autori utilizzano il framework PAC-Bayesiano, che permette prior e posterior dipendenti dai dati sulle classi di ipotesi. La metodologia procede in tre fasi:

1. Formulazione del Problema e Assunzioni

Il paper formalizza il processo di generazione dei dati in cui gli output $Y$ sono generati dagli input $X$ tramite una funzione equivariante $f^*$ perturbata da rumore indipendente $\Xi$ (Assunzione 2.1).

• Azione del Gruppo: Un gruppo topologico $G$ agisce sullo spazio di input $X$ e sullo spazio di output $Y$.
• Equivarianza: Un'ipotesi $f$ è equivariante se $f(g \cdot x) = g \cdot f(x)$.
• Funzione di Perdita: Si assume che la perdita $\ell$ sia convessa nel suo primo argomento e $G$-invariante (Assunzione 4.1), ovvero $\ell(g \cdot y, g \cdot \hat{y}) = \ell(y, \hat{y})$.

Fondamentalmente, gli autori rilassano il requisito che $G$ sia compatto e che la distribuzione dei dati sia invariante. Assumono che l'azione del gruppo sullo spazio di input sia libera (Assunzione 3.1) per facilitare la costruzione di un operatore di media.

2. L'Operatore di Media e la Decomposizione KL

Per gestire gruppi non compatti e distribuzioni non invarianti, gli autori introducono un operatore di media generalizzato $Q$. A differenza dei lavori precedenti che si affidano alla misura di Haar (che richiede la compattezza), questo operatore integra sull'orbita del gruppo utilizzando un kernel di probabilità derivato dal Teorema di Disintegrazione (Teorema 1.1).

• Definizione: $Q(f)(x) = \pi_G(x) \cdot \int_G g^{-1} \cdot f(g \cdot \pi_{X_\phi}(x)) \kappa(\pi_{X_\phi}(x), dg)$, dove $\kappa$ è la distribuzione condizionale del gruppo dato il rappresentante dell'orbita.
• Proprietà: $Q$ mappa funzioni misurabili arbitrarie in funzioni equivarianti e agisce come una proiezione ($Q^2 = Q$).

Utilizzando questo operatore, gli autori derivano una decomposizione della divergenza KL (Lemma 3.4). Per due misure qualsiasi $\mu$ e $\nu$ sulla classe delle ipotesi:
$$D_{KL}(\mu \| \nu) = D_{KL}(Q_*\mu \| Q_*\nu) + \text{Resto}$$
Ciò mostra che la divergenza KL tra le misure originali è strettamente maggiore o uguale alla divergenza KL tra le loro proiezioni equivarianti ($Q_*\mu$ e $Q_*\nu$). Il termine di resto cattura l'informazione "non equivariante" scartata dalla proiezione.

3. Bound di Generalizzazione

Gli autori applicano questa decomposizione al bound di McAllester di tipo PAC-Bayes.

• Riduzione della Complessità: Limitando il prior e il posterior alle funzioni equivarianti (tramite la pushforward $Q_*$), il termine di complessità (che coinvolge $D_{KL}$) viene ridotto (Corollario 3.6).
• Riduzione del Rischio: Gli autori dimostrano che la simmetrizzazione dell'ipotesi non aumenta il rischio reale e che i rischi possono essere calcolati interamente sui rappresentanti delle orbite senza perdita di informazione (Teorema 4.3).
• Risultato Principale: Il bound derivato (Equazione 14) è valido per gruppi non compatti e dati non invarianti, fornendo una garanzia di generalizzazione più stretta per i modelli equivarianti rispetto ai bound standard applicati alla classe completa delle ipotesi.

Contributi Chiave

1. Estensione alle Simmetrie Non Compatte: Il paper fornisce la prima analisi di generalizzazione PAC-Bayesiana che accoglie gruppi di simmetria non compatti (ad esempio, traslazioni, scalamenti, trasformazioni di Lorentz), coprendo le architetture invarianti per traslazione all'interno di un framework unificato.
2. Rilassamento dell'Invarianza dei Dati: Le garanzie teoriche non richiedono che la distribuzione dei dati sia invariante rispetto all'azione del gruppo, affrontando una limitazione maggiore dei lavori precedenti dove i dati del mondo reale spesso violano tale assunzione.
3. Operatore di Media Generalizzato: L'introduzione di un operatore di media basato sul Teorema di Disintegrazione permette di proiettare le ipotesi su sottospazi equivarianti senza fare affidamento sull'esistenza di una misura uniforme (di Haar), che non è disponibile per gruppi non compatti.
4. Bound Più Stretti: Il lavoro dimostra che imporre l'equivarianza porta a una divergenza KL strettamente minore nel bound PAC-Bayes, spiegando teoricamente le migliori prestazioni di generalizzazione dei modelli simmetrici.

Risultati Sperimentali

Gli autori validano la loro teoria attraverso esperimenti numerici su diversi dataset (Esempio Toy, MNIST, CIFAR-10/100, ModelNet, Top Tagging) con sia gruppi compatti (SO(2), SO(3)) che non compatti (SE(2), $\mathbb{R}^+$, $SO^+(1,3)$).

• Setup: Confrontano reti neurali di base (non equivarianti) con controparti equivarianti (utilizzando librerie come e2cnn e e3nn). Gli esperimenti utilizzano esplicitamente un campionamento non uniforme delle trasformazioni per violare le assunzioni di invarianza dei dati.
• Risultati:
  • Riduzione KL: I posterior simmetrici hanno costantemente raggiunto una divergenza KL significativamente inferiore rispetto ai baseline (una riduzione dal 14,5% all'89,2% tra i vari dataset).
  • Restringimento del Bound: I bound di generalizzazione PAC-Bayes erano sostanzialmente più stretti per i modelli equivarianti (riduzioni dal 10% al 34%).
  • Performance: I modelli equivarianti hanno eguagliato o migliorato il rischio di test dei baseline (riduzione del rischio dal 5,3% al 41,5% in casi specifici), confermando che il restringimento teorico si traduce in guadagni empirici anche quando le distribuzioni dei dati non sono invarianti.

Significato e Rivendicazioni

Il paper sostiene di fornire una prova teorica che i modelli simmetrici sono preferibili oltre il ristretto ambito dei gruppi compatti e delle distribizioni invarianti. Rimuovendo queste assunzioni restrittive, il lavoro amplia le fondamenta teoriche della simmetria nel machine learning.

Gli autori affermano che le loro scoperte offrono una spiegazione fondata per il successo empirico delle architetture consapevoli della simmetria (come le CNN) in scenari pratici in cui i dati non sono né perfettamente invarianti né governati da gruppi compatti. Enfatizzano che il loro framework si applica a classi di ipotesi generali e segue le formulazioni standard PAC-Bayesiane, rendendo i risultati applicabili a una vasta gamma di problemi di apprendimento che coinvolgono simmetrie non compatte. Il lavoro non pretende di risolvere tutti i problemi di generalizzazione, ma mira specificamente a colmare il divario teorico riguardante il ruolo delle simmetrie nelle distribuzioni di dati reali e non ideali.