WF-Bench: A Benchmark for Neural Network WaveFunction Expressivity and Scaling Laws

Dit artikel introduceert WF-Bench, een uitgebreide benchmarkdataset en -protocol dat de uitdrukkingskracht van neurale netwerk-golfvectoren evalueert over diverse kwantumveeldeeltjesystemen, empirische schalingswetten blootlegt en een unifyd kader vaststelt voor het vergelijken van architecturen zoals Psiformer en Ferminet.

De kern

Stel je voor dat je probeert een robot te leren een perfect schilderij te maken van een complexe kwantumwereld. In de wereld van de natuurkunde worden deze "schilderijen" golffuncties genoemd. Ze beschrijven hoe kleine deeltjes zoals elektronen dansen, interageren en zich rangschikken. Al lang gebruiken wetenschappers Neurale Netwerken (een type AI) om te proberen te raden hoe deze schilderijen eruitzien.

Er was echter een probleem: iedereen gebruikte verschillende testschilderijen, verschillende schilderstijlen en verschillende manieren om het werk te beoordelen. Het was onmogelijk om te zeggen of één AI echt beter was dan een andere, of dat het gewoon toevallig goed was in een specifiek type schilderij.

Dit artikel introduceert WF-Bench, een oplossing voor dat probleem. Denk aan WF-Bench als een universeel "rijexamen" voor deze AI-schilders.

Het "Rijexamen" (De Dataset)

Net zoals een rijexamen controleert of je een regenachtige snelweg, een besneeuwde berg en een drukke stad kunt hanteren, test WF-Bench AI-golffuncties op drie zeer verschillende soorten "kwantumterrein":

1. Topologische toestanden (De Verdraaide Knopen): Stel je een stuk touw voor dat in ongelooflijk complexe, geknoopte patronen is gebonden die niet kunnen worden ontward zonder te knippen. Deze vertegenwoordigen exotische toestanden van materie waarbij deeltjes een "verdraaide" relatie hebben.
2. Supergeleiders (De Perfecte Dans): Stel je een balzaal voor waar elke danser in perfecte, gesynchroniseerde paren beweegt. Dit zijn materialen waar elektriciteit stroomt met nul weerstand.
3. Wigner-kristallen (Het Bevroren Rooster): Stel je een menigte mensen voor die, omdat ze elkaar zo erg irriteren, perfect stil staan in een stijf roosterpatroon. Dit gebeurt wanneer elektronen elkaar zo sterk afstoten dat ze op hun plaats bevriezen.

De dataset bevat 31 verschillende "doel-schilderijen" uit deze drie categorieën. Sommige zijn eenvoudig, terwijl andere ongelooflijk complex zijn met vreemde fasen en patronen.

Het "Beoordelingssysteem" (Het Protocol)

Om te zien hoe goed een AI schildert, gebruiken de onderzoekers een maatstaf genaamd Fideliteit.

• De Analogie: Stel je voor dat de AI een student is die een toets maakt. De "Doel-Golffunctie" is het antwoordmodel. Fideliteit is het percentage van het antwoordmodel dat de student goed heeft.
• De Uitdaging: Naarmate het aantal elektronen (de "studenten" in de zaal) toeneemt, wordt de toets exponentieel moeilijker. Het artikel vond dat voor al deze AI-modellen de "score" (fideliteit) daalt naarmate het systeem groter wordt, volgens een voorspelbaar wiskundig patroon (een machtwet).

De "Schildersborstels" (De Architecturen)

De onderzoekers testten twee populaire AI-"schildersborstels" (architecturen) op deze test:

1. Ferminet: Een model dat kijkt naar zowel individuele elektronen als hoe paren elektronen interageren.
2. Psiformer: Een model dat een "zelf-attention" mechanisme gebruikt (soortgelijk aan hoe moderne AI zoals ChatGPT werkt) om naar de hele groep elektronen tegelijk te kijken.

Het Resultaat: Wanneer ze dezelfde hoeveelheid "hersencapaciteit" (aantal parameters) kregen, schilderde Psiformer consequent een beter schilderij dan Ferminet. Het behaalde hogere scores bij bijna elke test, vooral bij de meest complexe, verdraaide "Topologische" knopen.

De "Afnemende Opbrengst" (Schaalwetten)

Het artikel keek ook naar hoe het toevoegen van meer "gereedschap" aan de AI van invloed is op de prestaties:

• Meer Determinanten (Meer Borstels): Het toevoegen van meer "determinanten" (wiskundige bouwstenen) helpt de AI om zich eerst snel te verbeteren. Maar na een bepaald punt (rond de 32) maakt het toevoegen van meer borstels het schilderij niet veel beter. Het is alsof je 100 schildersborstels hebt terwijl je er maar 4 nodig hebt; de extra borstels voegen alleen gewicht toe zonder kleur.
• Meer Lagen (Dieper Denken): Het "dieper" maken van de AI (het toevoegen van meer verwerkingslagen) helpt veel bij het gaan van 1 laag naar 2. Maar het gaan van 2 lagen naar 10 helpt niet veel. De AI stuit op een "plafond" waar het niet veel meer kan leren door alleen maar dieper te zijn.

De Conclusie

Dit artikel bouwde niet alleen een dataset; het bouwde een gestandaardiseerde liniaal.

• Het bewees dat Psiformer momenteel een sterkere "schilder" is dan Ferminet voor deze taken.
• Het liet zien dat groter niet altijd beter is: Het toevoegen van te veel gereedschap of het te diep maken van de AI garandeert geen beter schilderij.
• Het vestigde dat complexiteit snel groeit: Naarmate het aantal deeltjes toeneemt, wordt het wiskundig moeilijker voor elke AI om het perfecte schilderij vast te leggen, maar WF-Bench geeft wetenschappers nu een manier om precies te meten hoe moeilijk het is voor verschillende modellen.

Kortom, WF-Bench is het gereedschap dat wetenschappers in staat stelt te stoppen met raden welke AI het beste is en te beginnen met het eerlijk meten ervan, zodat toekomstige kwantumsimulaties worden gebouwd op solide, vergelijkbare grond.

Technische samenvatting

Technische Samenvatting: WF-Bench

Probleemstelling
Neurale netwerk (NN) golffuncties zijn krachtige variationale ansätze geworden voor het oplossen van kwantumveeldeeltjesproblemen, met schaalbaarheid over taken variërend van grondtoestandsoptimalisatie tot real-time dynamiek. Desondanks, ondanks snelle architecturale vooruitgang (bijv. Ferminet, Psiformer, grafische neurale netwerken), ontbreekt er in het veld een systematisch begrip van hoe de representatieve kracht varieert over verschillende fysische systemen en modelarchitecturen. Specifiek bestaat er geen unified framework om de expressiviteit van NN-golffuncties te evalueren of om empirische schalingswetten te karakteriseren met betrekking tot systeemgrootte en modelcapaciteit. Bestaande studies richten zich vaak op specifieke regimes of modellen, waardoor er een gat blijft in uitgebreide, reproduceerbare benchmarking.

Methodologie
Om dit aan te pakken, introduceren de auteurs WF-Bench, een uitgebreide benchmarkdataset en -protocol ontworpen om de expressiviteit van NN-golffuncties te evalueren.

• Dataset Samenstelling: WF-Bench omvat meer dan 30 doelwitgolffuncties die drie distincte klassen van sterk gecorreleerde kwantummaterie bestrijken:

  1. Topologische Toestanden: Omvat Laughlin- en Moore-Read-toestanden (fractionele kwantum-Hall-systemen) met variërende invulfactoren en quasihole-excitaties. Deze vertonen niet-triviale topologische orde en complexe fasestructuren.
  2. Supergeleidende Toestanden: Een familie van Bardeen-Cooper-Schrieffer (BCS)-golffuncties met diverse paringsymmetrieën (s-, p-, d-, f-golf) en spinconfiguraties (singlet/triplet), gerealiseerd via geantisymmetriseerde geminal power (AGP).
  3. Wigner-kristallen: Toestanden die spontane translatiesymmetriebreking vertonen, gedreven door sterke Coulomb-interacties, geconstrueerd met behulp van gelokaliseerde orbitalen (Gaussisch, gecomprimeerd Gaussisch en moiré-potentialen).

• Benchmarkprotocol: De auteurs stellen een uniform trainings- en evaluatiefraamwerk voor gebaseerd op fideliteitsoptimalisatie.

  • Verliesfunctie: De primaire metriek is de golffunctiefideliteit ($F$), geoptimaliseerd via het verlies $L_F = -\log |\langle \Psi_\theta | \Phi \rangle|^2 / (\langle \Psi_\theta | \Psi_\theta \rangle \langle \Phi | \Phi \rangle)$.
  • Optimalisatie-uitdagingen: Directe fideliteitsoptimalisatie lijdt aan vervagende signalen en hoge variantie in grote systemen door interferentie. Voor topologische toestanden met complexe fasen maken de auteurs gebruik van een pretrainingsstrategie met een hybride verlies ($L_{pre}$) dat probabiliteitsmatching ($L_1$) en stroommatching ($L_2$) combineert. Dit mitigeert "zelfopsluitings"-problemen waarbij netwerken amplitude's matchen op kleine configuratiesets zonder globale verplaatsing van waarschijnlijkheidsmassa.
  • Evaluatie: Het protocol varieert systematisch drie sleutelparameters: elektronenaantal ($N_e$), aantal determinanten ($N_{det}$) en netwerkdiepte ($N_{layer}$).

• Geteste Architecturen: Het protocol wordt toegepast op twee veelgebruikte architecturen: Ferminet (gebruikmakend van streamende permutatie-equivariante één- en tweelichamseigenschappen) en Psiformer (gebruikmakend van self-attention-mechanismen).

Belangrijkste Resultaten
Door WF-Bench toe te passen op Ferminet en Psiformer, leiden de auteurs empirische schalingswetten af voor de maximaal haalbare fideliteit ($F$):

1. Schaalverandering Systeemgrootte ($N_e$):

   • Fideliteitsverval volgt een machtwet: $F \approx 1 - \alpha(N_e - 2)^\beta$.
   • De exponent $\beta$ weerspiegelt de correlatiesterkte en fasecomplexiteit. Topologische toestanden vertonen het snelste verval (hoge $\beta$), gevolgd door supergeleiders, terwijl Wigner-kristallen het langzaamste verval vertonen door sterke elektronenlocalisatie die complexe fase winding onderdrukt.
   • Architecturale Vergelijking: Bij vergelijkbare parameteraantallen bereikt Psiformer consistent hogere fideliteit dan Ferminet over alle doelwitgolffuncties. Bijvoorbeeld, bij $N_e=10$ voor topologische toestanden, presteert Psiformer ($8,3 \times 10^5$ parameters) beter dan Ferminet ($7,3 \times 10^5$ parameters).

2. Schaalverandering Modelcapaciteit ($N_{det}$ en $N_{layer}$):

   • Determinanten ($N_{det}$): Fideliteit toont duidelijke afnemende meeropbrengsten. Snelle verbeteringen worden waargenomen voor kleine $N_{det}$, maar prestaties verzadigen boven $N_{det} \approx 32$.
   • Diepte ($N_{layer}$): Het verhogen van de diepte van 1 naar 2 lagen levert opvallende fideliteitsverbeteringen op, met name voor complexe toestanden zoals Moore-Read. Echter, verdere verhogingen boven $N_{layer}=2$ bieden slechts bescheiden winst, wat suggereert dat diepere architecturen de representatieve kracht voor deze taken niet substantieel verbeteren.

3. Representatieve Moeilijkheid: De moeilijkheid om een staat te representeren wordt gezamenlijk bepaald door de prefactor $\alpha$ (basisfout) en de exponent $\beta$. Bijvoorbeeld, chirale triplet-supergeleiders en Moore-Read-toestanden vormen aanzienlijke uitdagingen door complexe amplitude's en fasestructuren.

Betekenis en Aanspraken
Het artikel beweert dat WF-Bench een unified, dataset-gedreven framework vestigt voor het evalueren en vergelijken van neurale netwerkgolffuncties. De primaire bijdragen zijn:

• Standaardisatie: Het biedt een reproduceerbaar protocol voor eerlijke vergelijking over verschillende architecturen en fysische regimes, voorbijgaand aan ad-hoc-evaluaties.
• Empirische Wetten: Het identificeert specifieke schalingswetten die de representeerbaarheid van NN-golffuncties regeren, waarbij schalingsexponenten worden gekoppeld aan fysische eigenschappen zoals correlatiesterkte en fasecomplexiteit.
• Richting voor Ontwerp: De bevindingen over afnemende meeropbrengsten voor $N_{det}$ en $N_{layer}$ bieden praktische richtlijnen voor het ontwerpen van toekomstige architecturen, wat suggereert dat het vergroten van modelbreedte of -diepte boven bepaalde drempels computatie-efficiënter kan zijn dan andere architecturale innovaties.

De auteurs positioneren WF-Bench als een communitybron bedoeld om het ontwerp van toekomstige architecturen te sturen en theoretische analyse van schalingsveranderingen in expressiviteit te faciliteren. Zij merken op dat hoewel de huidige optimalisatieprotocollen effectief zijn, ze openstaan voor verdere verbetering, wat de waargenomen schalingsgedragingen kan verfijnen.