Riepilogo Tecnico: Equivarianza Approssimata tramite Regolarizzazione Basata su Proiezione

Enunciato del Problema

L'equivarianza funge da potente bias induttivo nell'apprendimento automatico, migliorando la generalizzazione e la coerenza fisica in domini quali chimica, fisica e robotica. Tuttavia, l'equivarianza rigorosa impone vincoli significativi e costi computazionali. Le tendenze recenti, esemplificate da modelli come AlphaFold-3, si sono spostate verso architetture non equivarianti per sfruttare parametrizzazioni di caratteristiche più flessibili e spazi di ricerca più ampi, che talvolta possono produrre minimi migliori. Inoltre, i dati del mondo reale spesso presentano simmetrie imperfette o rotte che i modelli equivarianti rigorosi non riescono a catturare.

Gli approcci esistenti all'"equivarianza approssimata" rientrano generalmente in due categorie:

1. Metodi basati su campioni: Questi penalizzano le deviazioni dall'equivarianza utilizzando trasformazioni di gruppo campionate casualmente (ad esempio, aumento dei dati o penalità punto per punto). Sebbene flessibili, comportano un'alta complessità di campionamento e un sovraccarico computazionale dovuto alla necessità di passaggi in avanti aggiuntivi per campione.
2. Parametrizzazione esplicita: Questi modelli strutturano esplicitamente la rete come una somma di componenti equivarianti e non equivarianti (ad esempio, percorsi residui). Ciò porta spesso a una doppia parametrizzazione della parte equivariante e a una maggiore complessità del modello.

Vi è la necessità di un metodo che trovi un punto di equilibrio: mantenere i benefici dell'equivarianza senza incorrere nei suoi vincoli completi o nei costi di runtime dei regolarizzatori basati su campioni, gestendo al contempo efficacemente le simmetrie imperfette.

Metodologia

Gli autori propongono la Regolarizzazione Basata su Proiezione, un quadro che regolarizza le reti neurali verso l'equivarianza a livello di operatore piuttosto che a livello di campione. L'idea centrale si basa sulla decomposizione ortogonale dei livelli lineari di una rete in componenti equivarianti e non equivarianti.

Quadro Teorico

Sia $H$ una classe di ipotesi di mappe lineari tra moduli-$G$. Gli autori utilizzano l'operatore di lisciamento G (operatore di Reynolds), indicato come $P(T)$, che proietta una mappa lineare $T$ sullo spazio sottomesso delle mappe $G$-equivarianti:
$$P(T) = \int_G \pi'(g)^* T \pi(g) \, d\lambda(g)$$
dove $\lambda$ è la misura di Haar del gruppo compatto $G$.

Secondo il Lemma 2.1, qualsiasi mappa $T$ può essere decomposta in modo unico in una componente equivariante $P(T)$ e in una componente non equivariante (antisimmetrica) $T - P(T)$. Gli autori definiscono il difetto di equivarianza $E(T)$ come la deviazione nel caso peggiore dall'equivarianza. Dimostrano (Lemma 3.2) che la distanza dallo spazio sottomesso equivariante, $\|T - P(T)\|_\mu$, è quantitativamente equivalente al difetto di equivarianza $E(T)$, limitata da costanti.

L'Obiettivo di Regolarizzazione

L'obiettivo di apprendimento per una perdita specifica del compito $L_{task}$ viene modificato in:
$$L = L_{task}(T) + \lambda_G \|P(T)\|_\mu^2 + \lambda_\perp \|T - P(T)\|_\mu^2$$
Qui, $\lambda_\perp$ penalizza la componente non equivariante, incoraggiando il modello ad allinearsi con lo spazio sottomesso equivariante. $\lambda_G$ controlla la regolarizzazione della parte equivariante.

Calcolo Efficiente tramite Spazio di Fourier

Una sfida chiave è calcolare $P(T)$ in modo efficiente, specialmente per gruppi continui (ad esempio, $SO(n)$) dove l'integrale nel dominio spaziale è intrattabile. Gli autori sfruttano il teorema di Peter-Weyl per eseguire questa proiezione nel dominio spettrale (di Fourier):

1. Decomposizione: Gli operatori lineari sono decomposti in blocchi di frequenza corrispondenti alle rappresentazioni irriducibili (irreps) del gruppo.
2. Block-Diagonalizzazione: Per il Lemma di Schur, le mappe equivarianti sono a blocchi diagonali nel dominio della frequenza (mescolando solo irreps equivalenti).
3. Proiezione: La proiezione $P(T)$ è calcolata:
   • Azzerando tutti i blocchi fuori diagonale (dove $\pi \neq \sigma$).
   • Mediando all'interno dei blocchi diagonali per proiettare sullo spazio degli intertwiner.
4. Ricostruzione: La trasformata di Fourier inversa produce i pesi proiettati nel dominio spaziale.

Questo approccio consente una proiezione esatta e in forma chiusa senza campionamento, applicabile sia a gruppi finiti (tramite media diretta) che a gruppi continui (tramite mascheramento spettrale).

Contributi Chiave

1. Regolarizzazione Teorica: Un approccio teoricamente fondato per regolarizzare modelli generali di apprendimento automatico verso l'equivarianza esatta penalizzando la componente non equivariante degli operatori lineari.
2. Penalità a Livello di Operatore: A differenza dei metodi basati su campioni che penalizzano le deviazioni punto per punto, questo metodo penalizza la non equivarianza su tutta l'orbita del gruppo a livello di operatore.
3. Efficienza Spettrale: Un quadro per calcolare la proiezione in modo esatto ed efficiente nel dominio di Fourier, consentendo l'applicazione a gruppi continui come $SO(n)$ senza il sovraccarico del campionamento.
4. Validazione Empirica: Dimostrazione che il metodo ottiene prestazioni nel compito competitive rispetto agli approcci esistenti di equivarianza approssimata, offrendo al contempo guadagni sostanziali nel runtime.

Risultati Sperimentali

Gli autori hanno valutato il metodo in tre distinti contesti sperimentali:

1. Invarianza SO(2) Appresa (Problema Fittizio):

   • In un compito di classificazione binaria con nuvole di punti, la sintonizzazione di $\lambda_\perp$ ha controllato con successo il grado di invarianza appresa.
   • Quando la funzione target includeva perturbazioni angolari (rompendo la simmetria), il modello regolarizzato si è adattato per adattarsi ai dati mantenendo l'invarianza nelle regioni in cui la simmetria valeva, dimostrando un bias sintonizzabile.

2. Sistemi Dinamici con Simmetrie Imperfette:

   • Applicato a simulazioni di advezione-diffusione del fumo con simmetrie di traslazione, rotazione e scala rotte.
   • Il regolarizzatore basato su proiezione (+Reg) ha migliorato costantemente la generalizzazione (impostazioni Future e Domain) rispetto alle baseline (CNN Standard, CNN Equivariante, RPP, Lift) nei regimi di rotazione e scala, preservando le prestazioni dove le simmetrie erano già ben allineate.

3. Riduzione degli Artefatti Metallici nelle TAC (MAR):

   • Confrontato con regolarizzatori basati su campioni (Bai et al., 2025) e Priori di Percorsi Residui (RPP) sul dataset AAPM CT-MAR.
   • Prestazioni: Il metodo basato su proiezione ha raggiunto una qualità di ricostruzione competitiva o superiore (PSNR/SSIM) su tutte le architetture testate (ACDNet, DICDNet, OSCNet).
   • Efficienza: Il metodo ha superato significativamente i regolarizzatori basati su campioni nel throughput. Poiché evita passaggi in avanti aggiuntivi per il campionamento di gruppo, ha consentito batch size più grandi (12 contro 4 per i metodi basati su campioni) e ha ridotto i tempi per epoca del 42–61%. Ha inoltre richiesto meno parametri e meno memoria rispetto agli RPP.

4. MedMNIST (Classificazione Biomedica 3D):

   • Valutato su compiti 3D (Nodule, Synapse, Organ) con diversi gradi di simmetria rotazionale.
   • Il metodo ha raggiunto un'alta accuratezza, spesso uguagliando o superando le SCNN Parzialmente Equivarianti (P-SCNN) e gli RPP.
   • Efficienza: Ha dimostrato il throughput di addestramento e inferenza più alto e il tempo per epoca più basso tra tutti i modelli confrontati, con significativamente meno parametri rispetto agli RPP.

Significato e Affermazioni

Il documento afferma che la regolarizzazione basata su proiezione offre un favorevole compromesso tra accuratezza ed efficienza. Spostando la regolarizzazione dal livello di campione al livello di operatore tramite proiezione spettrale, il metodo:

• Elimina la Varianza dell'Estimatore: Calcola la penalità in modo esatto senza rumore di campionamento.
• Riduce il Sovraccarico Computazionale: Evita i passaggi in avanti aggiuntivi richiesti dai metodi basati su campioni, consentendo batch size più grandi e addestramento/inferenza più rapidi.
• Rimane Agnostico all'Architettura: La ricetta generale può essere applicata a qualsiasi modello con livelli lineari, a condizione che la proiezione possa essere derivata (il che è diretto per gli operatori lineari).
• Gestisce Simmetrie Imperfette: Consente ai modelli di apprendere il grado appropriato di equivarianza, rilassando i vincoli rigorosi quando la distribuzione dei dati lo richiede, senza sacrificare il bias induttivo dove è benefico.

Gli autori concludono che questo approccio fornisce un'alternativa robusta e scalabile sia alle architetture equivarianti rigorose che alla regolarizzazione basata su campioni computazionalmente costosa, in particolare per i gruppi di simmetria continui.