Technische Samenvatting: Benaderende Equivariantie via Projectie-gebaseerde Regularisatie

Probleemstelling

Equivariantie fungeert als een krachtige inductieve bias in machine learning, wat de generalisatie en fysieke consistentie verbetert in domeinen zoals chemie, natuurkunde en robotica. Echter, strikte equivariantie legt aanzienlijke beperkingen op en brengt hoge rekenkosten met zich mee. Recente trends, geïllustreerd door modellen zoals AlphaFold-3, zijn verschoven naar niet-equivariante architecturen om gebruik te maken van flexibeler feature-parametrisaties en bredere zoekruimten, wat soms kan leiden tot betere minima. Bovendien vertoont real-world data vaak imperfecte of gebroken symmetrieën die strikte equivariante modellen niet kunnen vastleggen.

Bestaande benaderingen voor "benaderende equivariantie" vallen over het algemeen in twee categorieën:

1. Staal-gebaseerde methoden: Deze straffen afwijkingen van equivariantie af met behulp van willekeurig gesamplede groepstransformaties (bijvoorbeeld data-augmentatie of puntsgewijze straffen). Hoewel ze flexibel zijn, leiden ze tot hoge steekproefcomplexiteit en rekenkundige overhead vanwege de noodzaak van extra forward passes per steekproef.
2. Expliciete parametrisatie: Deze modellen structureren het netwerk expliciet als een som van equivariante en niet-equivariante componenten (bijvoorbeeld residuale paden). Dit leidt vaak tot dubbele parametrisatie van het equivariante deel en verhoogde modelcomplexiteit.

Er is behoefte aan een methode die een middenweg biedt: het behouden van de voordelen van equivariantie zonder de volledige beperkingen ervan of de runtime-kosten van staal-gebaseerde regularisatoren, terwijl imperfecte symmetrieën effectief worden aangepakt.

Methodologie

De auteurs stellen Projectie-gebaseerde Regularisatie voor, een raamwerk dat neurale netwerken regulariseert naar equivariantie op het operator-niveau in plaats van op het steekproefniveau. Het kernidee berust op de orthogonale decompositie van lineaire lagen van een netwerk in equivariante en niet-equivariante componenten.

Theoretisch Kader

Laat $H$ een hypotheseklasse zijn van lineaire afbeeldingen tussen $G$-modulen. De auteurs maken gebruik van de G-gladmakende operator (Reynolds-operator), aangeduid als $P(T)$, die een lineaire afbeelding $T$ projecteert op de deelruimte van $G$-equivariante afbeeldingen:
$$P(T) = \int_G \pi'(g)^* T \pi(g) \, d\lambda(g)$$
waarbij $\lambda$ het Haar-maat is van de compacte groep $G$.

Volgens Lemma 2.1 kan elke afbeelding $T$ uniek worden ontbonden in een equivariante component $P(T)$ en een niet-equivariante (antisymmetrische) component $T - P(T)$. De auteurs definiëren de equivariantiedefect $E(T)$ als de worst-case afwijking van equivariantie. Zij bewijzen (Lemma 3.2) dat de afstand tot de equivariante deelruimte, $\|T - P(T)\|_\mu$, kwantitatief equivalent is aan de equivariantiedefect $E(T)$, begrensd door constanten.

Het Regularisatie-Doel

Het leerdoel voor een taakspecifieke verliesfunctie $L_{task}$ wordt gemodificeerd tot:
$$L = L_{task}(T) + \lambda_G \|P(T)\|_\mu^2 + \lambda_\perp \|T - P(T)\|_\mu^2$$
Hierbij straft $\lambda_\perp$ de niet-equivariante component af, waardoor het model wordt aangemoedigd om zich te aligneren met de equivariante deelruimte. $\lambda_G$ regelt de regularisatie van het equivariante deel.

Efficiënte Berekening via Fourier-ruimte

Een belangrijke uitdaging is het efficiënt berekenen van $P(T)$, vooral voor continue groepen (bijvoorbeeld $SO(n)$) waarbij de integraal in de ruimtelijke domein onberekenbaar is. De auteurs maken gebruik van de Peter-Weyl-stelling om deze projectie uit te voeren in het spectrale (Fourier) domein:

1. Decompositie: Lineaire operatoren worden ontbonden in frequentieblokken die overeenkomen met irreducibele representaties (irreps) van de groep.
2. Block-diagonalisatie: Volgens Schurs Lemma zijn equivariante afbeeldingen block-diagonaal in het frequentiedomein (ze mengen alleen equivalente irreps).
3. Projectie: De projectie $P(T)$ wordt berekend door:
   • Alle niet-diagonale blokken op nul te zetten (waar $\pi \neq \sigma$).
   • Gemiddelden te nemen binnen de diagonale blokken om te projecteren op de intertwiner-ruimte.
4. Reconstructie: De inverse Fourier-transformatie levert de geprojecteerde gewichten op in het ruimtelijke domein.

Deze aanpak maakt exacte, gesloten-vorm projectie mogelijk zonder sampling, toepasbaar op zowel eindige groepen (via directe middeling) als continue groepen (via spectrale masking).

Belangrijkste Bijdragen

1. Theoretische Regularisatie: Een theoretisch onderbouwde aanpak om algemene machine learning-modellen te regulariseren naar exacte equivariantie door de niet-equivariante component van lineaire operatoren te straffen.
2. Operator-niveau Straf: In tegenstelling tot staal-gebaseerde methoden die puntsgewijze afwijkingen straffen, straft deze methode niet-equivariantie af over de volledige groep-orbit op het operator-niveau.
3. Spectrale Efficiëntie: Een raamwerk voor het exact en efficiënt berekenen van de projectie in het Fourier-domein, waardoor toepassing mogelijk is op continue groepen zoals $SO(n)$ zonder de overhead van sampling.
4. Empirische Validatie: Aantonen dat de methode concurrerende taakprestaties bereikt met bestaande benaderende-equivariantie-benaderingen, terwijl het aanzienlijke runtime-winst biedt.

Experimentele Resultaten

De auteurs evalueerden de methode in drie verschillende experimentele settings:

1. Gestudeerde SO(2) Invariantie (Toy-probleem):

   • Op een binaire classificatietaken met point clouds, slaagde het afstemmen van $\lambda_\perp$ erin het niveau van geleerde invariantie te controleren.
   • Wanneer de doelwitfunctie hoekstoringen bevatte (symmetriebreking), paste het geregulariseerde model zich aan om de data te passen terwijl het invariantie behield in gebieden waar de symmetrie gold, wat een instelbare bias demonstreerde.

2. Imperfect Symmetrische Dynamische Systemen:

   • Toegepast op rook-advectie-diffusiesimulaties met gebroken translatie-, rotatie- en schaal-symmetrieën.
   • De projectie-gebaseerde regularisator (+Reg) verbeterde consistent de generalisatie (Future en Domain settings) ten opzichte van baselines (Standaard CNN, Equivariante CNN, RPP, Lift) in rotatie- en schaalregimes, terwijl de prestaties behouden bleven waar symmetrieën al goed waren uitgelijnd.

3. CT-Scan Metaalartefactreductie (MAR):

   • Vergelijken met staal-gebaseerde regularisatoren (Bai et al., 2025) en Residuale Pad Priori's (RPP) op het AAPM CT-MAR dataset.
   • Prestaties: De projectie-gebaseerde methode bereikte concurrerende of superieure reconstructiekwaliteit (PSNR/SSIM) over alle geteste architecturen (ACDNet, DICDNet, OSCNet).
   • Efficiëntie: De methode presteerde aanzienlijk beter qua throughput dan staal-gebaseerde regularisatoren. Omdat het extra forward passes voor groepssampling vermijdt, werden grotere batchgroottes mogelijk (12 versus 4 voor staal-gebaseerd) en werden epoch-tijden met 42–61% verkort. Het vereiste ook minder parameters en minder geheugen dan RPP's.

4. MedMNIST (3D Biomedische Classificatie):

   • Geëvalueerd op 3D-taken (Nodule, Synapse, Organ) met variërende gradaties van rotatiesymmetrie.
   • De methode behaalde hoge nauwkeurigheid, vaak gelijkend aan of beter dan Gedeeltelijk Equivariante SCNN's (P-SCNN) en RPP's.
   • Efficiëntie: Het demonstreerde de hoogste trainings- en inferentie-throughput en de laagste epoch-tijd onder alle vergeleken modellen, met aanzienlijk minder parameters dan RPP's.

Betekenis en Claims

Het artikel claimt dat projectie-gebaseerde regularisatie een gunstige nauwkeurigheids-efficiëntie afweging biedt. Door de regularisatie te verschuiven van het steekproefniveau naar het operator-niveau via spectrale projectie, doet de methode het volgende:

• Elimineert Schattingvariatie: Het berekent de straf exact zonder samplingruis.
• Verlaagt Rekenkundige Overhead: Het vermijdt de extra forward passes die nodig zijn bij staal-gebaseerde methoden, waardoor grotere batchgroottes en snellere training/inferentie mogelijk zijn.
• Blijft Architectuur-agnostisch: Het algemene recept kan worden toegepast op elk model met lineaire lagen, mits de projectie kan worden afgeleid (wat rechttoe rechtaan is voor lineaire operatoren).
• Hanteert Imperfecte Symmetrieën: Het stelt modellen in staat om de juiste graad van equivariantie te leren, waardoor strikte beperkingen worden versoepeld wanneer de data-distributie dit vereist, zonder inductieve bias op te offeren waar deze voordelig is.

De auteurs concluderen dat deze aanpak een robuust, schaalbaar alternatief biedt voor zowel strikte equivariante architecturen als rekenkundig dure staal-gebaseerde regularisatie, met name voor continue symmetriegroepen.