Geometric Algebra Meets Cartesian Tensors: Higher-Order Equivariance for Interatomic Potentials

Technische Samenvatting: Geometrische Algebra ontmoet Cartesiaanse Tensoren: Hogere-orde Equivariantie voor Interatomaire Potentialen

Probleemstelling
Machine learning interatomaire potentialen (MLIP's) moeten fysieke symmetrieën coderen, specifiek door te waarborgen dat voorspelde krachten equivariant zijn onder rotaties en translaties. Hoewel de krachtgrootte vaak accuraat wordt voorspeld, faalt de krachtrichting regelmatig, wat leidt tot trajecten die afwijken van de correcte potentiaal-energie-basin. De auteurs identificeren een structurele beperking in bestaande Clifford (geometrische) algebra-gebaseerde architecturen: het geometrische product van twee vectoren in $\mathbb{R}^3$ (binnen de algebra $Cl(3,0)$) realiseert alleen de $L=0$ (scalar) en $L=1$ (vector/bivector) irreducibele representaties (irrep's) van $SO(3)$. De symmetrisch-traceless rang-2 component ($L=2$), die essentieel is voor het vastleggen van quadrupolaire ladingverdelingen, d-orbitaal interacties en anisotrope spanning, is afwezig in de per-edge bilaterale operaties die de message-passing lagen aansturen. Bijgevolg vertrouwen standaard Clifford-modellen op het stapelen van lagen om indirect $L \ge 2$ inhoud te reconstrueren, wat resulteert in een slechte directionele getrouwheid (geaggregeerde kracht-cosinusgelijkenis $< 0,25$ op rMD17) vergeleken met met bolvormige harmonieken gebaseerde modellen.

Methodologie: CliffordSTF
Het artikel stelt CliffordSTF voor, een hybride architectuur die de Clifford multivector-substraat koppelt aan gesloten-vorm symmetrisch-traceless tensor (STF) tracks. De kerninnovatie is een "dual-track" ontwerp dat Clebsch–Gordan (CG) tabellen, Wigner-D matrices of externe bibliotheken zoals $e3nn$ vermijdt.

1. Theoretisch Fundament (Stelling 1): De auteurs vestigen een constructieve equivalentie tussen de $Cl(3,0)$ geometrische product en STF-operaties. Ze demonstreren dat de tensorproduct $1 \otimes 1$ (twee vectoren) kan worden gedecomposeerd in $L=0, 1, 2$ componenten met behulp van enkel:

   • Het scalaire deel van het geometrische product ($L=0$).
   • De Hodge-duaal van het bivector-deel ($L=1$).
   • Een gesloten-vorm symmetrisch-traceless projectiector ($L=2$).
     Deze constructie beslaat de volledige $SO(3)$ irrep-inhoud tot $L=3$ bij de per-edge bilaterale operatie zonder geleerde CG-coëfficiënten.

2. Architectuur:

   • Substraten: Het model behoudt twee parallelle feature tracks per atoom: een Clifford multivector (dimensie 8, dekkend $2 \cdot L=0 \oplus 2 \cdot L=1$) en optionele STF-kanalen op rang 2 en 3.
   • Message Passing: Berichten worden gegenereerd via het geometrische product op het Clifford-track en gesloten-vorm STF-contracties op het tensor-track.
   • Cross-Track Koppeling: Een cruciaal onderdeel is de bidirectionele koppeling tussen de tracks. STF-features worden gegenereerd uit Clifford-vectoren, en omgekeerd contracteren STF-features met Clifford-vectoren (via $S \cdot v$) om $L=2$ informatie terug in het vectorkanaal te injecteren; deze koppeling wordt geleerd via een enkele bilaterale operatie.
   • Readout: Krachten worden voorspeld met behulp van een combinatie van vectorkanalen (graad-1) en Hodge-dualen van bivectoren (graad-2), aangevuld met expliciete $L=2 \otimes L=1 \to L=1$ contracties ($S \cdot \hat{r}$) die hoek-krachtcomponenten vastleggen die ontoegankelijk zijn voor $L \le 1$ architecturen.

Belangrijkste Bijdragen

• Diagnose: Het artikel isoleert de ontbrekende $L \ge 2$ substraat, in plaats van modelcapaciteit of diepte, als de primaire oorzaak van directionele fouten in $L \le 1$ Clifford-baselines.
• Architectuur: Een gesloten-vorm constructie die bolvormige harmoniek-inhoud tot $L=3$ beslaat via een enkele geleerde bilaterale operatie en klassieke STF-operaties, geverifieerd tegen Wigner-3j symbolen.
• Empirische Validatie: Een elf-variant ablatie-studie bevestigt dat het hybride scaffold noodzakelijk is; noch het Clifford-track alleen, noch het STF-track alleen (zonder koppeling) benadert de prestaties van het gecombineerde systeem.

Resultaten
Geëvalueerd op de rMD17, OC20 en OC22 benchmarks met een vast parameterbudget ($\sim 10^6$ parameters):

• rMD17 (Kracht Directionaliteit): CliffordSTF bereikt een geaggregeerde kracht-cosinusgelijkenis van 0,551, een tienvoudige verbetering ten opzichte van het basis Clifford-model (0,055) en presteert beter dan alle andere CG-vrije of body-ordered baselines (allemaal $\le 0,17$). Het nadert de prestaties van volledige bolvormige harmoniek-modellen (EquiformerV2 $\approx 0,96$) zonder gebruik te maken van bolvormige harmonieken.
• Grootte Accuraatheid: De directionele winsten gaan niet ten koste van de grootte-accuraatheid. CliffordSTF reduceert de kracht MAE met 15,8% en de energie MAE met 10,9% vergeleken met het basis Clifford-model.
• Katalyse (OC22):
  • IS2RE: Behaalt de beste in-distributie energie MAE onder $L \ge 2$ methoden (4,09 eV) en concurrerende out-of-distribution prestaties.
  • S2EF: Bereikt de beste out-of-distribution energie MAE in de studie en evenaart de beste in-distributie energie MAE onder $L \ge 2$ methoden.
• Efficiëntie: Bij inferentie is CliffordSTF (0,352 s/stap) competitief met tragere bolvormige harmoniek-baselines en sneller dan Cartesiaanse tensor-baselines zoals ICTP. Training is ongeveer 2–3x trager dan de snelste bolvormige harmoniek-baselines (MACE, EquiformerV2) vanwege de autograd graph overhead van het dual-track scaffold, maar blijft competitief met andere tensor-veld methoden.

Betekenis en Claims
Het artikel claimt dat de keuze voor een representatie in equivariante architecturen gedreven moet worden door de specifieke hoekinhoud die vereist is ($L$-waarden) in plaats van loyaliteit aan een enkel algebraïsch formalisme. Door aan te tonen dat het geometrische product en gesloten-vorm STF-operaties samen dezelfde $SO(3)$-irrep-inhoud beslaan als bolvormige harmonieken tot $L=3$, tonen de auteurs aan dat een hybride benadering de ontbrekende structurele expressiviteit van pure geometrische algebra kan herstellen.

De auteurs merken bescheiden op dat hoewel CliffordSTF de kloof aanzienlijk verkleint, het nog niet de absolute directionele getrouwheid van volledig bolvormige harmoniek-architecturen (EquiformerV2) evenaart. Zij identificeren de cross-track koppeling als een "stabiliteitshendel" die essentieel is voor training, in plaats van enkel een drijver voor accuratesse, en suggereren dat toekomstig werk de cross-track koppeling kan uitbreiden naar hogere $L_{max}$, de trainingskosten kan optimaliseren via gefuseerde kernels, en volledige $O(3)$ equivariantie kan bereiken door expliciete pariteit-tracking.