Deep Reinforcement Learning for Fano Hypersurfaces

Titel: Deep Reinforcement Learning voor Fano-hypervlakken

Auteur: Marc Truter

---

1. Het Probleem

Het artikel richt zich op een fundamenteel probleem in de algebraïsche meetkunde: de classificatie van Fano-varieteiten met terminale singulariteiten.

• Context: Fano-varieteiten zijn essentiële bouwstenen in de classificatie van algebraïsche variëteiten. In dimensie 3 is een volledige lijst bekend (95 families), maar in dimensie 4 is de zoekruimte enorm complex.
• De Uitdaging: De zoekruimte wordt gemodelleerd als een 6-dimensionaal geheelgetallenrooster ($\mathbb{Z}^6$), waarbij elk punt een mogelijke hypervlak voorstelt. De "beloning" (het vinden van een geldig Fano-hypervlak met terminale singulariteiten) is extreem schaars en onbekend a priori.
• Computationele Bottleneck: Traditionele methoden, zoals exhaustieve zoekopdrachten, zijn in dimensie 4 niet meer haalbaar voor hoge graden. De complexiteit groeit polynomsiaal ($O(d^5)$), waardoor het onmogelijk wordt om gebieden te bereiken die ver verwijderd zijn van reeds bekende voorbeelden. Bestaande methoden blijven vaak steken bij lagere graden of missen complexe, niet-quasigladde gevallen.

2. Methodologie

De auteur introduceert twee algoritmen om deze hoge-dimensionale, schaarse zoekruimte te navigeren, beide gebaseerd op het idee dat beloningspunten ruimtelijk geclusterd zijn.

A. Vaste Heuristiek (Fixed Heuristic)

Dit is een deterministisch algoritme dat een prioriteitsqueue gebruikt:

• Start: Begin bij een bekend punt.
• Logica: Verken buren (punten op $L_1$-afstand 1).
• Prioriteit: Een punt krijgt een prioriteitswaarde die afhangt van de nabijheid van eerder gevonden beloningspunten. De prioriteit wordt gedefinieerd als $v(n) = 1$ als het een beloningspunt is, anders $1/(2v(p))$.
• Beperking: Het algoritme blijft dicht bij bekende gebieden hangen en kan moeilijk diep in de zoekruimte doordringen waar de dichtheid van beloningen lager is.

B. Dynamische Heuristiek (Deep Reinforcement Learning)

Dit is een niet-deterministisch algoritme dat een Feedforward Neural Network (MLP) gebruikt als dynamische heuristiek, getraind via Deep Reinforcement Learning (DRL):

• Neuraal Netwerk: Een MLP ($f_\theta$) schat de prioriteit van een punt op basis van zijn coördinaten.
• Training (Temporal Difference Learning):
  • Het netwerk wordt getraind met Temporal Difference (TD) learning.
  • Beloningssysteem: Als een buur een beloningspunt is, wordt er een positieve beloning ($r_{reward}$) gegeven. Anders wordt er een negatieve beloning gegeven die afhangt van het aantal stappen sinds de laatste beloning ($-\sqrt{s_{reward}}$).
  • Update: De parameters $\theta$ worden bijgewerkt om de TD-fout ($\delta$) te minimaliseren, waarbij een "target network" ($\theta'$) wordt gebruikt voor stabiliteit.
• Exploratie: Er wordt een stochastische component ($\epsilon \sim \mathcal{N}(0, \sigma^2)$) toegevoegd aan de prioriteitswaarde. Dit zorgt ervoor dat het algoritme niet lokaal optimaal blijft, maar ook minder waarschijnlijke gebieden verkent.
• Doel: Het netwerk leert een gladde heuristiek die de zoektocht leidt naar gebieden met een hoge dichtheid aan beloningen, zelfs als deze ver weg liggen van de startpunten.

3. Belangrijkste Bijdragen

1. Toepassing van DRL op Zuivere Wiskunde: Het artikel demonstreert hoe deep reinforcement learning succesvol kan worden ingezet voor het ontdekken van wiskundige objecten in een hoge-dimensionale, discrete ruimte waar traditionele zoekalgoritmen falen.
2. Ontdekking van Onbekende Voorbeelden: De methode levert duizenden nieuwe voorbeelden op van Fano 4-voudige hypervlakken met terminale singulariteiten.
3. Overcoming Computational Barriers: Het bewijst dat dynamische heuristieken gebieden kunnen bereiken die computationeel ontoegankelijk zijn voor vaste heuristieken of exhaustieve zoekopdrachten binnen een redelijk tijdsbestek.
4. Open Data en Code: Alle code en datasets zijn beschikbaar gesteld, wat reproduceerbaarheid en verdere studie mogelijk maakt.

4. Resultaten

De auteurs voerden experimenten uit met 10.000.000 zoekstappen, startend vanuit 11.617 bekende quasigladde punten.

• Vaste Heuristiek: Vond 113.996 nieuwe niet-quasigladde voorbeelden. Het is zeer efficiënt in het vinden van grote aantallen punten dicht bij bekende clusters, maar faalt in het bereiken van geïsoleerde gebieden.
• Dynamische Heuristiek (DRL): Vond 85.262 unieke voorbeelden. Hoewel het in totaal minder punten vond dan de vaste heuristiek (vanwege de tijd die wordt besteed aan exploratie), ontdekte het honderden voorbeelden die niet door de vaste heuristiek werden gevonden.
• Analyse van Toegankelijkheid:
  • Er werden 3.106 punten geïdentificeerd die alleen door de DRL-methode werden gevonden ($D \setminus F$).
  • De afstand van deze punten tot de dichtstbijzijnde bekende punten was vaak groot (bijv. $L_1$-afstand 17).
  • Berekening: De auteurs schatten dat het bereiken van deze punten met een vaste heuristiek meer dan 774.912 stappen zou vergen (en in sommige gevallen meer dan 1 miljoen stappen), wat betekent dat ze binnen de beperkte rekentijd van de vaste zoektocht onbereikbaar waren.
  • Een specifiek voorbeeld ($X_{1020} \subset \mathbb{P}(1, 15, 32, 139, 340, 494)$) bleek onbereikbaar voor de vaste heuristiek, zelfs na 10 miljoen stappen, terwijl de DRL-methode het succesvol vond.

5. Betekenis en Impact

• Voor de Algebraïsche Meetkunde: De studie vult een cruciale lacune in de classificatie van Fano-varieteiten in dimensie 4. Het levert een "periodiek systeem" van voorbeelden op dat essentieel is voor het testen en generaliseren van theoretische conjectures.
• Methodologische Doorbraak: Het artikel toont aan dat machine learning niet alleen nuttig is voor het voorspellen van bekende patronen, maar ook als een krachtig instrument voor ontdekking in gebieden waar de zoekruimte te groot is voor brute-force methoden.
• Toekomstperspectief: De aanpak suggereert dat vergelijkbare DRL-methoden kunnen worden toegepast op andere problemen in de wiskunde die te maken hebben met het doorzoeken van discrete, hoge-dimensionale ruimtes met schaarse oplossingen.

Samenvattend bewijst dit werk dat deep reinforcement learning een overtuigend alternatief is voor traditionele zoekalgoritmen in de wiskunde, met name wanneer het gaat om het vinden van zeldzame objecten in complexe, hoge-dimensionale ruimtes.