Numerical exploration of the range of shape functionals using neural networks

Technische Samenvatting: Numerieke Verkenning van het Bereik van Vormfunctionalen met Behulp van Neuronale Netwerken

Probleemstelling
Het artikel behandelt de numerieke verkenning van Blaschke–Santaló-diagrammen, welke geometrische voorstellingen zijn van het bereik van vectorwaardige vormfunctionalen. Deze diagrammen karakteriseren de mogelijke ongelijkheden die betrekking hebben op voorgeschreven vormfunctionalen (bijvoorbeeld volume, omtrek, eigenwaarden) binnen een specifieke klasse van verzamelingen, doorgaans convexe lichamen. Hoewel theoretische resultaten bestaan voor puur geometrische functionalen, blijft het verkrijgen van expliciete beschrijvingen of kwalitatieve eigenschappen voor diagrammen die spectrale of met partiële differentiaalvergelijkingen (PDE's) verband houdende grootheden betreffen, uiterst uitdagend. Eerdere numerieke benaderingen, zoals willekeurige steekproeven van convexe veelhoeken of methoden die vertrouwen op Voronoi-tessellatie, lijden onder niet-uniforme steekproeven, het niet kunnen vastleggen van rand-extrema, of afhankelijkheid van a priori kennis van de convexiteit van het diagram (bijvoorbeeld verticale convexiteit), wat moeilijk vast te stellen is voor algemene gevallen.

Methodologie
De auteurs stellen een nieuw numeriek raamwerk voor dat een specifieke architectuur van neuronale netwerken voor vormparametrisatie combineert met een interactief deeltjessysteem voor uniforme steekproeven.

1. Inverteerbare Parametrisatie met Neuronale Netwerken:

   • Sublineaire Architectuur: De methode parametriseert convexe lichamen in $\mathbb{R}^d$ als het beeld van de eenheidsbol $B$ onder een homeomorfisme $\phi_\theta$. Deze afbeelding wordt geconstrueerd met behulp van een maatfunctie $p_\theta$, die wordt voorgesteld door een neuronale net.
   • Behoud van Convexiteit: Om te waarborgen dat de resulterende verzamelingen inherent convex zijn, is de netwerkarchitectuur ontworpen om aan sublineariteitsbeperkingen te voldoen. Specifiek wordt de maatfunctie gedefinieerd als $p_\theta(x) = \beta \|x\| \text{LSE}(W^T x / \|x\|)$, waarbij LSE de LogSumExp-functie is. Deze gladde benadering van het maximum van lineaire vormen zorgt ervoor dat $p_\theta$ continu, sublineair en $C^\infty$ is, behalve in de oorsprong.
   • Universele Benadering: De auteurs vertrouwen op een "Stelling van Universele Benadering" (bewezen in eerder werk [44]) die stelt dat de verzameling van convexe lichamen die met deze architectuur kunnen worden voorgesteld, dicht ligt in de ruimte van alle convexe lichamen met betrekking tot de Hausdorff-afstand.
   • Codering van Symmetrie: Het raamwerk staat toe om symmetrieën (bijvoorbeeld spiegelingsymmetrie) op te leggen door de maatfunctie te middelen over een eindige groep van isometrieën, waardoor wordt gewaarborgd dat de resulterende vorm invariant is onder die groep.

2. Uniforme Steekproeven via Interagerende Deeltjes:

   • Om een uniforme verdeling van punten binnen het Blaschke–Santaló-diagram te genereren, minimaliseren de auteurs een Riesz-energiefunctionaal. Dit wordt geformuleerd als een optimalisatieprobleem waarbij $N$ vormen $\Omega_1, \dots, \Omega_N$ worden geoptimaliseerd om hun onderlinge afstanden in de functionale ruimte te maximaliseren:
     $$\min_{\theta_1, \dots, \theta_N} \sum_{1 \le i \neq j \le N} |F(\Omega_{\theta_i}) - F(\Omega_{\theta_j})|^{-s}$$
   • Deze aanpak wordt gemotiveerd door de "Poppy-seed Bagel Theorem", die garandeert dat het minimaliseren van dergelijke energie leidt tot een uniforme verdeling op het manifold naarmate $N$ toeneemt.
   • De optimalisatie wordt uitgevoerd met behulp van automatische differentiatie in PyTorch (via l-BFGS), waardoor gradiënten door het volledige computationele graf kunnen stromen, inclusief de oplossing van PDE's en integraalberekeningen.

3. Berekening van Vormfunctionalen:

   • Integraal-Grootheden: Volume, omtrek en traagheidsmoment worden berekend door integralen van het vormdomein $\Omega_\theta$ terug te trekken naar de referentie-eenheidsbol $B met behulp van veranderingsvariabeleformules die de Jacobiaan van de neurale afbeelding betrekken.
   • Met PDE's Verband Houdende Grootheden:
     • Torsiestijfheid: Opgelost met behulp van een methode van fundamentele oplossingen (MFS), waarbij de oplossing wordt benaderd door een lineaire combinatie van fundamentele oplossingen. De randvoorwaarde wordt aangepast via kleinste-kwadraten, een proces dat volledig differentieerbaar is in PyTorch.
     • Neumann-eigenwaarden: Berekend met behulp van een mesh-vrije RBF-Galerkin-methode. De zwakke formulering wordt teruggetrokken naar het referentiedomein, gediskretiseerd met behulp van Radiale Basisfuncties, en opgelost als een gegeneraliseerd eigenwaardeprobleem. Om differentiatie mogelijk te maken, wordt het probleem omgezet in een standaard eigenwaardeprobleem via Cholesky-decompositie van de massamatrix.
   • Regularisatie: Om te voorkomen dat de optimalisatie instort tot platte, gedegenereerde vormen (wat numerieke instabiliteit veroorzaakt), wordt een regularisator gebaseerd op het voorwaardegetal van de Jacobiaan toegevoegd aan de verliesfunctie.

Belangrijkste Bijdragen

• Onbeperkte Convexe Optimalisatie: De introductie van een gladde, inverteerbare parametrisatie met neuronale netwerken die inherent convexiteit behoudt zonder expliciete ongelijkheidsbeperkingen of straftermen te vereisen.
• Uniforme Diagramsteekproeven: De toepassing van interactieve deeltjessystemen om Riesz-energie te minimaliseren, waardoor een methode wordt geboden om Blaschke–Santaló-diagrammen uniform te bemonsteren zonder te vertrouwen op a priori kennis van de convexiteitseigenschappen van het diagram.
• Differentieerbare PDE-oplossers: De succesvolle integratie van automatische differentiatie met mesh-vrije methoden (MFS en RBF-Galerkin) om spectrale en torsiefunctionalen te berekenen en te differentiëren met betrekking tot vormparameters.
• Open-Source Implementatie: De release van een uitgebreid PyTorch-pakket (ConvexShapeOpt) en notitieboeken om reproduceerbaarheid te faciliteren.

Resultaten
De methode werd getest op diverse diagrammen in $\mathbb{R}^2$ en $\mathbb{R}^3$, waarbij effectiviteit werd aangetoond voor zowel geometrische als PDE-gebaseerde functionalen:

• Geometrische Diagrammen (Volume, Omtrek, Traagheidsmoment): De methode slaagde erin bekende theoretische grenzen en extremale vormen (bijvoorbeeld stadionvormen, driehoeken, ruiten) te herstellen voor zowel algemene als symmetrische convexe lichamen in 2D en 3D.
• Diagrammen van Torsiestijfheid: De aanpak bracht de relatie tussen volume, omtrek en torsiestijfheid nauwkeurig in kaart, herstelde bekende ongelijkheden (bijvoorbeeld Saint-Venant, Polya, Makai) en visualiseerde de bijbehorende optimale vormen.
• Spectrale Diagrammen (Volume, Eerste Twee Neumann-eigenwaarden): De methode verkende het diagram voor $\mu_1$ en $\mu_2$. Hoewel het de algemene vorm van het domein herstelde, merken de auteurs beperkingen op in de precisie voor de bovengrens vanwege geheugenbeperkingen die gepaard gaan met differentiatie door de eigenwaardeassemblage.
• Willmore-energiediagrammen: Het raamwerk slaagde erin hogere-orde randtermen te verwerken, waarbij de trade-offs tussen volume, omtrek en Willmore-energie voor planaire en 3D-convexe verzamelingen werden gevisualiseerd.
• Vergelijking: Vergelijkingen met naïeve willekeurige steekproeven van convexe veelhoeken toonden aan dat de voorgestelde methode gebieden van het diagram vastlegt die willekeurige steekproeven missen, met name in de buurt van de randen.

Betekenis en Claims
Het artikel claimt een "nieuw numeriek raamwerk" te bieden dat de beperkingen van eerdere methoden overwint door een "volledig onbeperkte" aanpak voor vormoptimalisatie te bieden. De betekenis ligt in:

1. Flexibiliteit: Het vermogen om diverse functionalen (geometrisch, spectraal, PDE-gebaseerd) te hanteren binnen één enkel, verenigd differentieerbaar raamwerk.
2. Robuustheid: De methode biedt een "bevredigende beschrijving" van diagrammen in zowel 2D als 3D zonder a priori aannames over de geometrie van het diagram (zoals verticale convexiteit) te vereisen.
3. Schaalbaarheid: Hoewel de rekenkosten in 3D toenemen door kwadratuurvereisten, blijft de methode robuust en vereist geen extra implementatiecomplexiteit in vergelijking met 2D.
4. Toegankelijkheid: Door gebruik te maken van de automatische differentiatie van PyTorch verlaagt het raamwerk de drempel voor het verkennen van nieuwe functionalen en is het beschikbaar gesteld aan de onderzoeksgemeenschap.

De auteurs handhaven een bescheiden toon met betrekking tot beperkingen, waarbij zij erkennen dat de geheugenefficiëntie van de methode wordt beperkt door de grootte van het computationele graf dat vereist is voor differentiatie met hoge precisie, met name voor spectrale problemen. Zij merken ook op dat hoewel de parametrisatie met maatfuncties krachtig is, het bepaalde geometrische grootheden (zoals minimale breedte) moeilijker maakt om te berekenen dan met steunfuncties, hoewel de twee theoretisch uitwisselbaar zijn.