Technische Samenvatting: Groep-Algebraïsche Tensors voor Bewezen-Optimale Equivariante Leerprocessen

Probleemstelling

Wetenschappelijke data, zoals moleculaire configuraties en kwantumtoestanden, is van nature multidimensionaal en wordt beheerst door fysische symmetrieën (bijvoorbeeld rotatie, permutatie). Traditionele machine learning-benaderingen vectoriseren deze tensor-data doorgaans, waardoor de natuurlijke geometrische structuur wordt samengevouwen tot platte feature-vectoren. Dit proces vernietigt de structurele informatie die de data betekenis geeft, en dwingt daaropvolgende modellen om deze structuur impliciet te herstellen tegen hoge computatiekosten.

Hoewel Equivariante Neuronale Netwerken (ENN's) symmetrie succesvol hebben geïntegreerd door specifieke architecturale beperkingen te ontwerpen (bijvoorbeeld rotatie-equivariante lagen), staan ze voor aanzienlijke beperkingen:

1. Combinatorische Complexiteit: Wanneer meerdere symmetrieën gelijktijdig optreden, moet de netwerkarchitectuur voor elke nieuwe combinatie volledig opnieuw worden ontworpen.
2. Gebrek aan Optimaliteit: Bestaande tensor-decompositiemethoden (Tucker, CP, Tensor-Train) die worden gebruikt voor compressie of benadering, missen garanties voor globale optimaliteit of zijn NP-moeilijk te berekenen.
3. Interpreteerbaarheid: ENN's functioneren als black boxes; ze bieden geen gesloten-vorm decompositie van voorspellingen naar specifieke symmetrie-kanalen (irreducibele representaties).
4. Ontdekking: Huidige kaders kunnen de onderliggende symmetriegroep van een dataset niet uitsluitend uit data ontdekken; de groep moet handmatig worden gespecificeerd.

Methodologie: De $\star_G$ Tensor-Algebra

De auteurs stellen een paradigmaverschuiving voor: in plaats van de architectuur te beperken om aan de symmetrie te voldoen, veranderen ze de wiskunde om te passen bij de geometrie van de data. Ze introduceren de $\star_G$ tensor-algebra, waarbij een eindige groep $G$ de vermenigvuldigingsregel definieert, waardoor equivariantie een intrinsiek algebraïsch eigenschap wordt in plaats van een architecturale beperking.

Kerncomponenten

1. Algebraïsche Definitie:

   • Voor een eindige groep $G$ van orde $n$ wordt een convolutietensor $T \in \mathbb{R}^{n \times n \times n}$ gedefinieerd op basis van de groepvermenigvuldigings tabel ($T(a,b,c) = 1$ als $ab=c$, anders 0).
   • Het $\star_G$-product van twee tensors wordt gedefinieerd via groepconvolutie langs de groepsdimensies. Dit product generaliseert klassieke matrixalgebra en integreert de symmetriegroep direct in de multiplicatieve structuur.
   • De algebra ondersteunt standaard matrix-imiterende bewerkingen (inversen, transposities, normen) die equivariantie inherent behouden.

2. Spectrale Decompositie (Peter-Weyl-stelling):

   • De convolutietensor staat een spectrale decompositie toe $T(a,b,c) = \sum C(i,j,k) F_G(a,i) F_G(b,j) F_G^{-1}(c,k)$, waarbij $F_G$ een gegeneraliseerde Groep-Fourier-transformatiematrix is, opgebouwd uit de irreducibele unitaire representaties (irreps) van $G$.
   • In het Fourier-domein wordt groepconvolutie blokdiagonale matrixvermenigvuldiging, wat efficiënte berekening mogelijk maakt: transformatie naar Fourier-domein $\to$ parallelle matrixproducten per irrep $\to$ inverse transformatie.

3. $\star_G$-SVD en Optimaliteit:

   • Elke tensor in deze algebra staat een Singuliere Waarde Decompositie (SVD) toe: $A = U \star_G S \star_G V^H$.
   • Stelling 2.1 (Eckart–Young voor $\star_G$): De rang-$k$ truncatie $A_k$ minimaliseert de Frobenius-normfout $\|A - B\|_F$ over alle tensoren $B$ met $\star_G$-rang ten hoogste $k$. Dit biedt de eerste bewezen optimale symmetriebehoudende tensorbenadering.
   • In tegenstelling tot Tucker (quasi-optimaal met een $\sqrt{d}$-factor), CP (NP-moeilijk) of Tensor-Train (geen globale optimaliteit), is $\star_G$-SVD exact en polynomiaal in tijd.

4. Compositie van Symmetrieën:

   • Stelling 2.2 (Productgroepen): Voor een productgroep $G = G_1 \times \dots \times G_d$ factoriseren de convolutietensor en Fourier-matrix als Kronecker-producten ($T_G = T_{G_1} \otimes \dots \otimes T_{G_d}$). Dit maakt het mogelijk om meerdere symmetrieën samen te stellen zonder architecturale herontwerp, simpelweg door de Fourier-transformatiematrix bij te werken.

Belangrijkste Bijdragen

1. Bewezen Optimale Compressie: Het artikel vestigt de eerste Eckart–Young-optimaliteitsgarantie voor symmetriebehoudende tensorbenadering, wat een principiële rangselectie mogelijk maakt met gesloten-vorm foutgrenzen.
2. Machine-Verifieerde Equivariantie: De kernresultaten van de algebra (associativiteit, distributiviteit, SVD-optimaliteit, compositie van productgroepen) zijn geformaliseerd in Lean 4 (600 regels code) met nul onopgeloste bewijsverplichtingen, wat een certificaat van wiskundige correctheid biedt.
3. Datagestuurde Symmetrieontdekking: Het kader maakt het mogelijk om de optimale symmetriegroep en haar factorisatiestructuur direct uit data te ontdekken, zonder voorafgaande kennis.
4. Per-Irrep Interpreteerbaarheid: De algebraïsche decompositie staat een gesloten-vorm ontleding van voorspellingskracht per irreducibele representatiekanaal toe, waardoor de symmetrie-inhoud van fysische observabelen wordt onthuld.

Experimentele Resultaten

1. Synthetische Validatie

Op synthetische data met exacte $Z_{12}$-rotatiesymmetrie:

• $\star_G$-SVD + Ridge-regressie bereikte perfecte voorspelling ($R^2 = 1.000$) en exacte invariantie (rotatievariantie $\approx 10^{-31}$) met slechts 101 parameters.
• Neuronale baselines (Standaard MLP, Augmented MLP, Invariant MLP) vereisten 5.000–14.000 parameters, bereikten lagere nauwkeurigheid en vertoonden aanzienlijk hogere rotatievariantie (tot $10^{-5}$ voor Augmented MLP).

2. QM9 Moleculaire Eigendomsvoorspelling

Op de QM9-benchmark (130.831 moleculen) bij het voorspellen van de HOMO–LUMO-gap:

• $\star_G$-SVD + Ridge bereikte $R^2 = 0.556$ met slechts 107 parameters, en presteerde beter dan neuronale baselines in het parameter-efficiënte regime.
• Standaard en Invariante MLP's stortten in ($R^2 < 0$) bij kleine steekproefgroottes (1.000 moleculen), terwijl $\star_G$ positieve $R^2$ behield vanaf slechts 100 moleculen.
• Analyse binnen Isomeren: Bij controle voor molecuulgrootte (een grote verstorende factor in QM9) verdween het prestatieverschil tussen $\star_G$ en MLP's, wat aangeeft dat de gepoolde $R^2$-voordelen van grotere modellen grotendeels te wijten waren aan groottevoorspelling in plaats van superieur chemisch leren.

3. Compositie van Productgroepen

In een taak met twee commuterende symmetrieën ($Z_6 \times Z_4$):

• Het productgroepmodel bereikte perfecte voorspelling ($R^2 = 1.000$) met 186 parameters.
• Single-factor-modellen ($Z_6$ of $Z_4$ alleen) vingen slechts $\le 23\%$ van de variantie op.
• Een naïeve cyclische benadering ($Z_{24}$) bereikte $R^2 = 0.986$, en slaagde er niet in de gekoppelde frequentiemodi op te lossen die de productstructuur uniek vastlegt.

4. Symmetrie- en Factorisatieontdekking

• Groepontdekking: Het scannen van kandidaat-groepen op QM9-data identificeerde $Z_4$ als de beste fit, consistent met de $C_4$-rotatiesymmetrie van veel organische moleculen, zonder enige kristallografische input.
• Factorisatieontdekking: Voor data op een groep met 24 elementen identificeerde het algoritme $Z_3 \times Z_8$ als de optimale decompositie ($R^2 = 1.000$), wat beter presteerde dan de cyclische $Z_{24}$ ($R^2 = 0.985$) en latente productstructuren onthulde.

5. Empirisch Herstellen van Wigner–Eckart Selectieregels

Het decomponeren van moleculaire geometrie over de chirale octaëdrische groep ($O$):

• Scalair eigenschappen (bijvoorbeeld HOMO-LUMO-gap) werden gedomineerd door het $A_1$ ($l=0$)-kanaal.
• Vectorcomponenten (dipoolmomenten) werden gedomineerd door het $T_1$ ($l=1$)-kanaal, met een $T_1/A_1$-ratio van voorspellingskracht van $\sim 2.8$ (tegenover $\sim 0.5$ voor scalairen).
• Rang-2 tensoren (isotrope polariseerbaarheid) vertoonden een bijna-nul afhankelijkheid van het $l=1$-kanaal, consistent met de theoretische decompositie $l=0 \oplus l=2$.
• Deze fysische selectieregels werden uitsluitend uit data herwonnen, zonder enige kwantummechanische input.

6. Vergelijking met Equivariante Neuronale Netwerken (ENN's)

• Gepoolde $R^2$: State-of-the-art ENN's (MACE, SchNet) bereiken een hogere gepoolde $R^2$ op QM9, maar vereisen $\sim 10^6$ parameters en consumeren volledige atomaire grafieken.
• Invoercontract: $\star_G$ werkt op molecuulniveau samenvattingen. Bij vergelijking met MLP's die dezelfde molecuulniveau-invoer gebruiken, is $\star_G$ concurrerend of superieur bij ordes van grootte minder parameters.
• Cross-Selectiviteit: Op polariseerbaarheidscomponenten bereikten $\star_G$-modellen beperkt tot enkele irreps ($E$ of $T_2$) $\sim 96\%$ cross-selectiviteit (het voorspellen van één component terwijl de andere wordt genegeerd), terwijl ENN's beide componenten symmetrisch behandelden ($< 1\%$ selectiviteit), wat de unieke capaciteit van $\star_G$ demonstreert om representatietheoretische structuren te ontkoppelen.

Betekenis en Claims

Het artikel claimt dat het $\star_G$-kader een verschillende wiskundige affordantie biedt in plaats van simpelweg een "sneller-beter-goedkoper" alternatief voor ENN's. De betekenis ligt in:

1. Bewezen Optimale Symmetriebehoudende Compressie: Het bieden van de eerste globale optimaliteitsgarantie voor symmetrie-bewuste tensorbenadering.
2. Machine-Verifieerde Equivariantie: Het waarborgen van wiskundige correctheid door formele verificatie.
3. Per-Irrep Interpreteerbaarheid: Het bieden van een gesloten-vorm decompositie van voorspellingen die de onderliggende symmetriestructuur van fysische observabelen onthult.
4. Datagestuurde Fysische Ontdekking: Het mogelijk maken van het herwinnen van fysische wetten (zoals Wigner–Eckart selectieregels) en symmetriegroepen direct uit empirische data.

De auteurs concluderen dat in wetenschappelijke situaties met een tekort aan data, algebraïsche structuur dient als een sterkere inductieve bias dan architecturale expressiviteit, waardoor diepe algebra big data-benaderingen kan overtreffen.