Connectivity determines the capability of sparse neural network quantum states

Technische Samenvatting: Connectiviteit bepaalt de capaciteit van ijle neurale netwerkkwantumtoestanden

Probleemstelling
Dit werk onderzoekt de toepasbaarheid van de Lottery Ticket Hypothesis (LTH) op de ongesuperviseerde taak van het benaderen van de grondtoestanden van kwantum-veeldeeltjes-Hamiltonianen met behulp van neurale netwerken. In tegenstelling tot typische machine learning-taken (bijv. beeldherkenning) waarbij data schaars is, zijn kwantum-veeldeeltjes-golffuncties over het algemeen volledig dichte representaties met amplitudes die vele grootteordes beslaan. De auteurs pakken de uitdaging aan om ijle subnetwerken te vinden binnen overgeparameteriseerde neurale netwerken die in staat zijn de prestaties van het oorspronkelijke dichte model te evenaren wanneer ze in isolatie worden getraind. Specifiek onderzoeken zij of de "winning ticket" in deze context afhankelijk is van specifieke initiële gewichtswaarden (zoals in de oorspronkelijke LTH) of uitsluitend van de connectiviteitsstructuur van het ijle subnetwerk.

Methodologie
De studie maakt gebruik van Iterative Magnitude Pruning met Weight Rewinding (IMP-WR) om ijle maskers te genereren. Het proces omvat:

1. Pre-training: Het trainen van een willekeurig geïnitialiseerd dicht neuraal netwerk.
2. Pruning (Snoeien): Het iteratief verwijderen van de kleinste magnitude gewichten en het terugdraaien (rewinden) van de resterende gewichten naar hun waarden aan het begin van de pruning-iteratie.
3. Geïsoleerde Training: Het testen van drie verschillende initialisatiestrategieën voor de resulterende ijle subnetwerken ("tickets"):
   • $T(\theta_{init}, m_{imp})$: Oorspronkelijke LTH-test (oorspronkelijke gewichten + geleerd masker).
   • $T(\theta_{rand}, m_{imp})$: Willekeurige gewichten + geleerd masker.
   • $T(\theta_{init}, m_{rand})$: Oorspronkelijke gewichten + willekeurig masker.

De experimenten maken gebruik van twee fysieke modellen:

• Transverse Field Ising Model (TFIM): Een 2D-systeem dat een kwantumfaseovergang vertoont tussen ferromagnetische en paramagnetische fasen.
• Toric Code (TC): Een topologisch geordend model met een exacte grondtoestandoplossing.

De geteste neurale netwerkarchitecturen zijn ondiepe Feed-Forward Neural Networks (FFNNs), ondiepe Convolutional Neural Networks (CNNs) en Residual CNNs (ResCNNs). Training wordt uitgevoerd met behulp van Natural Gradient Descent (Stochastische Reconfiguratie) om de variationele energiekostenfunctie te minimaliseren.

Belangrijkste Bijdragen

1. Herformulering van de LTH voor Kwantumtoestanden: De auteurs tonen aan dat voor neurale netwerkkwantumtoestanden de "winning ticket" uitsluitend wordt gedefinieerd door de ijle connectiviteitsstructuur. De specifieke initialisatie van gewichten is verwaarloosbaar; ijle subnetwerken getraind vanaf willekeurige initialisaties ($T(\theta_{rand}, m_{imp})$) presteren vergelijkbaar met die getraind vanaf de oorspronkelijke initialisatie ($T(\theta_{init}, m_{imp})$). Dit staat in contrast met de oorspronkelijke LTH, waarbij specifieke initiële parameterwaarden cruciaal zijn.
2. Universeel Schalingsgedrag: De paper identificeert universele schalingsregio's in de fout versus de ijtheidscurve die persistent zijn over verschillende netwerkmaten en fysieke modellen. Deze regio's omvatten:
   • Een Low-Error Plateau (LEP) bij hoge parameterdensiteiten.
   • Een Approximate Power-Law (APL) regio.
   • Een High-Error Plateau (HEP) bij lage parameterdensiteiten.
     De grenzen van deze regio's worden bepaald door de onderliggende fysica van de Hamiltonian.
3. Door Sparsity Geïnduceerde Faseovergangen: Door het aantal parameters per spin ($\rho$) te behandelen als een controleparameter analoog aan een fysisch veld, identificeren de auteurs een eerste-orde kwantumfaseovergang in ondiepe netwerken. Deze transitie vindt plaats op de grens tussen de APL en de HEP, gekenmerkt door een discontinuïteit in de afgeleide van de energie en een scherpe daling in de fidelity tussen opeenvolgende geprunte toestanden.
4. Interpretatie via Pruning: Het pruningproces onthult dat de structuur van ijle subnetwerken de fysica van de Hamiltonian direct codeert. Voor de Toric Code onthult pruning een asymptotisch exacte oplossing bestaande uit "odd parity filters" die de plaquette-condities van de grondtoestand afdwingen.

Resultaten

• TFIM Prestaties: IJle netwerken (met 5–20% van de oorspronkelijke parameters) bereiken nauwkeurigheden die vergelijkbaar zijn met dichte modellen. De transitie naar het high-error plateau vindt plaats bij verschillende ijtheidsniveaus afhankelijk van de fase (ferromagnetisch versus paramagnetisch), wat de intrinsieke ijlheid van de ware grondtoestand-eigenvector in elke fase weerspiegelt.
• Faseovergang Signaturen: Op het kritieke punt van de TFIM wordt de transitie van de APL naar de HEP gemarkeerd door een plotselinge verandering in totale magnetisatie ($M_z$ en $M_x$) en een scherpe daling in de fidelity, wat een eerste-orde faseovergang bevestigt die door ijlheid wordt geïnduceerd.
• Toric Code Oplossing: Het prunen van een single-layer FFNN op de Toric Code levert een oplossing op waarbij de fout exponentieel afneemt met de gewichtsmagnitude. De resulterende ijle structuur bestaat uit filters die effectief de exacte grondtoestand-restricties implementeren (superpositie van configuraties die voldoen aan $\lambda_{Bp}(\sigma) = 1$).
• Architectuuronafhankelijkheid: Het fenomeen van door connectiviteit bepaalde prestaties houdt stand bij FFNNs, CNNs en ResCNNs, hoewel ResCNNs een hoge prestatie vertonen zelfs met willekeurige maskers vanwege hun gelokaliseerde kernelstructuur die een sterke initiële prior biedt.

Betekenis
De paper beweert dat pruning dient als een krachtig instrument niet alleen voor modelcompressie, maar ook voor het interpreteren van de fysica van kwantum-veeldeeltjessystemen. Door de structuur van ijle subnetwerken te koppelen aan de onderliggende Hamiltonian, laten de auteurs zien dat:

• Neurale netwerken efficiënte, asymptotisch exacte oplossingen voor complexe kwantumproblemen (zoals de Toric Code) kunnen ontdekken zonder voorafgaande architecturale vormgeving.
• De dynamiek van pruning fundamentele eigenschappen van kwantumfasen onthult, zoals faseovergangen gedreven door representatieve capaciteit (ijlheid).
• De onafhankelijkheid van prestaties van gewichtsinitialisatie wijst op een sterke, intrinsieke verbinding tussen de topologie van het netwerk en de fysica die het vertegenwoordigt, wat het trainen van kwantum-neurale toestanden kan vereenvoudigen door de noodzaak van precieze initialisatie weg te nemen.

De auteurs concluderen dat deze bevindingen het gebruik van gecomprimeerde modellen kunnen vergemakkelijken voor toepassingen zoals tijdsevolutie, kwantumcircuit-simulatie en fine-tuning, waarbij parameter-efficiëntie cruciaal is.