⚛️ quantum physics

Interpretable Activation-Selection Neural Networks for Symbolic Regression of Parameter-Dependent Hamiltonian Eigenvalues

Dit artikel introduceert een interpreteerbaar activatie-selectie neuraal netwerk dat dimensionale homogeniteit afdwingt om expliciete, compacte symbolische expressies voor parameterafhankelijke Hamiltoniaanse eigenwaarden af te leiden, waarbij de effectiviteit ervan bij het vastleggen van perturbatietheorie-structuren voor spin-keten systemen wordt aangetoond, terwijl wordt opgemerkt dat de nauwkeurigheid ervan overeenkomt met, in plaats van deze te overtreffen van, goed gekozen modellen met een vaste basis.

Oorspronkelijke auteurs: Alexander Yu. Kharin, Kirill F. Sheberstov

Gepubliceerd 2026-08-27

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexander Yu. Kharin, Kirill F. Sheberstov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van de natuurkunde vertrouwen wetenschappers vaak op krachtige computers om complexe problemen op te lossen die te moeilijk zijn om met alleen pen en papier te kraken. Wanneer ze kleine deeltjes zoals atomen of moleculen bestuderen, kunnen deze computers exacte antwoorden berekenen door enorme hoeveelheden getallen te verwerken. Deze numerieke antwoorden komen echter vaak in de vorm van een muur van data die moeilijk te interpreteren is. Ze vertellen ons wat er gebeurt, maar leggen zelden uit waarom. Om de regels die de natuur beheersen werkelijk te begrijpen, geven natuurkundigen de voorkeur aan het vinden van eenvoudige, compacte wiskundige formules die beschrijven hoe verschillende factoren met elkaar samenhangen. Deze formules onthullen verborgen patronen, symmetrieën en de fundamentele wetten die het universum aansturen. De uitdaging is altijd geweest om een manier te vinden om de kloof te overbruggen tussen de ruwe, precieze getallen van een computer en de elegante, leesbare vergelijkingen die wetenschappers daadwerkelijk kunnen gebruiken om inzicht te verkrijgen.

Een team van onderzoekers heeft een nieuwe methode ontwikkeld om deze brug te bouwen, waarbij gebruik wordt gemaakt van een type kunstmatige intelligentie dat is ontworpen om te fungeren als een vertaler tussen ruwe data en menselijk leesbare wiskunde. Ze richtten zich op een specifiek probleem met betrekking tot de energieniveaus van kleine ketens van deeltjes, die relevant zijn voor een techniek genaamd kernmagnetische resonantie die wordt gebruikt om moleculen te bestuderen. In deze systemen hangt de energie van de deeltjes af van hoe sterk ze interageren met hun buren. Hoewel de exacte energiewaarden voor elke gegeven set interacties precies door een computer kunnen worden berekend, is het vinden van een eenvoudige formule die deze waarden over alle mogelijke condities beschrijft, berucht moeilijk. De onderzoekers creëerden een speciaal soort neuraal netwerk, een computerprogramma geïnspireerd door het brein, dat niet alleen getallen voorspelt maar actief zoekt naar de beste mogelijke wiskundige uitdrukking om deze te beschrijven.

De kern van hun aanpak omvat een bibliotheek van basis wiskundige bouwstenen, zoals nul, een variabele zelf, en die variabele in het kwadraat. Het netwerk wordt getraind om naar de inputdata te kijken en te beslissen welke van deze bouwstenen het moet gebruiken bij elke stap om het uiteindelijke antwoord te construeren. Het is alsof je een student een set Lego-blokjes geeft en vraagt een structuur te bouwen die perfect overeenkomt met een complexe vorm, maar met de extra beperking dat de student ook de exacte instructies moet opschrijven voor hoe hij de blokjes heeft samengevoegd. De onderzoekers trainden dit systeem op data gegenereerd uit computersimulaties van drie- en vier-deeltjesketens. Ze zetten de ruwe fysieke getallen eerst om in dimensieloze ratio's, een stap die ervoor zorgt dat de resulterende formules zinvol zijn, ongeacht de specifieke eenheden die worden gebruikt. Deze normalisatie hielp het netwerk om zich te concentreren op de onderliggende relaties in plaats van in de war te raken door de schaal van de getallen.

Wanneer de onderzoekers hun systeem testten op de drie-deeltjesketen, slaagde het netwerk erin om compacte formules te produceren die de door de computer gegenereerde data met een hoge nauwkeurigheid matchen. Deze formules waren eenvoudige kwadratische expressies, wat betekent dat ze termen bevatten tot de tweede macht, en ze legden het algemene gedrag van de energieniveaus vast over een breed scala aan condities. Het netwerk slaagde erin om automatisch de juiste combinatie van termen te selecteren, waardoor het de structuur van de oplossing effectief herontdekte zonder precies te worden verteld waar het naar moest zoeken. De onderzoekers ontdekten echter ook een cruciale beperking. Wanneer zij de resultaten van het netwerk vergeleken met een standaard statistische methode die simpelweg een curve aan de data aanpast met behulp van een vooraf gekozen set wiskundige termen, presteerde de standaardmethode net zo goed, of zelfs iets beter. Dit suggereert dat hoewel het netwerk uitstekend is in het vinden van de juiste formule wanneer het antwoord een eenvoudige polynoom is, het niet inherent over een magische gave beschikt om traditionele methoden te overtreffen als het juiste type formule al bekend is.

De studie verkende ook complexere scenario's, zoals de vier-deeltjesketen, waarbij de interacties een meer ingewikkeld web van energieniveaus creëren. Hier slaagde het netwerk er opnieuw in om eenvoudige, leesbare formules te produceren die alle acht verschillende energievertakkingen tegelijkertijd beschreven. Het identificeerde correct dat de energieniveaus zich splitsen in twee duidelijke groepen en legde vast hoe ze krommen naarmate de interacties veranderen. Toch was zelfs in dit complexere geval de prestatie van het netwerk vergelijkbaar met een rechttoe-rechtaan curve-fitting benadering. De onderzoekers merkten op dat het netwerk moeite had met het reproduceren van bepaalde scherpe, niet-gladde kenmerken die verschijnen op de plekken waar energieniveaus elkaar kruisen of raken, omdat de wiskundige instrumenten die het kreeg beperkt waren tot gladde curven. Dit benadrukt dat het netwerk slechts zo goed is als de bibliotheek van functies waaruit het mag kiezen; als het ware antwoord een type wiskunde vereist dat niet in de bibliotheek zit, kan het netwerk het niet uitvinden.

De meest significante bevinding van dit werk is niet dat het nieuwe netwerk een superieure rekenmachine is, maar dat het een andere manier biedt om over het probleem na te denken. Het demonstreert dat een machine getraind kan worden om wiskundige functies te selecteren en te combineren op een manier die resulteert in een duidelijke, expliciete vergelijking, in plaats van alleen een 'black box' die getallen uitspuugt. Dit is bijzonder waardevol wanneer wetenschappers niet van tevoren weten welke wiskundige vorm het antwoord zal aannemen. Het netwerk fungeert als een gids, die suggereert welke termen belangrijk zijn en welke genegeerd kunnen worden, waardoor een zee van data wordt omgezet in een beknopte stelling van een natuurkundige wet. Hoewel het de nauwkeurigheid van traditionele methoden niet overtrof wanneer de juiste wiskundige vorm al bekend was, bewees het dat het mogelijk is om de ontdekking van deze vormen te automatiseren. De onderzoekers concluderen dat deze aanpak een krachtig hulpmiddel is voor het genereren van interpreteerbare modellen, mits de bibliotheek van beschikbare wiskundige functies zorgvuldig wordt gekozen om aan te sluiten bij de fysieke realiteit van het bestudeerde probleem.

Uiteindelijk dient het werk als een bewijs van concept voor een nieuw soort instrument voor wetenschappelijke ontdekking. Het laat zien dat kunstmatige intelligentie kan worden aangestuurd om resultaten te produceren die niet alleen accuraat, maar ook begrijpelijk zijn voor menselijke wetenschappers. Door complexe numerieke simulaties om te zetten in eenvoudige algebraïsche expressies, helupt de methode onderzoekers om het bos door de bomen te zien, waarbij de fundamentele schaalwetten en symmetrieën worden onthuld die anders verborgen zouden blijven in de ruis van de ruwe data. De onderzoekers benadrukken dat dit een stap voorwaarts is in het toegankelijker en bruikbaarder maken van machine learning voor de natuurkunde, en een pad biedt naar de geautomatiseerde ontdekking van de wiskundige regels die de natuurlijke wereld beheersen.

Technische Samenvatting: Interpreteerbare Activation-Selection Neurale Netwerken voor Symbolische Regressie van Parameterafhankelijke Hamiltoniaanse Eigenwaarden

Probleemstelling
Hoewel feedforward neurale netwerken universele benaderaars zijn die fysieke systemen kunnen modelleren, missen ze doorgaans het vermogen om compacte, expliciete analytische expressies te leveren die onderliggende natuurwetten, schalingsgedrag of symmetrieën onthullen. Symbolische regressie beoogt deze kloof te overbruggen door wiskundige expressies te vinden die een balans zoeken tussen nauwkeurigheid en structurele eenvoud. Het afleiden van dergelijke expressies voor parameterafhankelijke Hamiltoniaanse eigenwaarden—met name voor spin-keten systemen die relevant zijn voor zero-quantum kernmagnetische resonantie (NMR)—blijft echter uitdagend. Numerieke diagonalisatie levert exacte data op, maar compacte analytische benaderingen worden steeds moeilijker af te leiden naarmate de systeemgrootte en de parameter-niet-uniformiteit toenemen. Bovendien worstelen standaard regressiebenaderingen vaak met dimensionale consistentie en de specifieke functionele vormen (bijv. polynomiaal versus niet-polynomiaal nabij degeneraties) die vereist zijn door fysieke beperkingen.

Methodologie: Activation-Selection Networks (ASN)
De auteurs introduceren het Activation-Selection Network (ASN), een differentieerbare architectuur ontworpen voor symbolische regressie. In tegenstelling tot Kolmogorov-Arnold Networks (KANs) die univariate functies op randen leren, of Equation Learner (EQL) modellen die sparsity-regularisatie gebruiken op operatoren, werkt een ASN door een enkele functie uit een vooraf gedefinieerde bibliotheek te selecteren voor elke inputnode.

Architectuur: Elke laag bestaat uit een activation-selection sublaag gevolgd door een lineaire transformatie sublaag. Voor een input $x_i$ evalueert het netwerk een verzameling van $k$ kandidaat-activatiefuncties $\phi_j(x_i)$ .
Selectiemechanisme: Het netwerk leert een vector van logits $\alpha_i$ voor elke input. Tijdens de training worden deze via een softmax-transformatie omgezet naar coëfficiënten $a_{ij}$ . Om sparsity af te dwingen (het selecteren van één functie), wordt een $L_{0.5}$ -type regularisatieterm toegepast, die de som van de vierkantswortels van de coëfficiënten minimaliseert, waardoor ze naar een hoekpunt van de simplex worden gedreven (één coëfficiënt $\approx 1$ , de rest $\approx 0$ ).
Sparsemax Transitie: In de laatste fase van de training wordt de softmax vervangen door sparsemax, wat exact nul kan toewijzen aan ongebruikte functies, wat resulteert in een ijle (sparse) analytische representatie.
Functiebibliotheek: De studie maakt gebruik van de bibliotheek $\{0, x, x^2\}$ . Door lagen te stapelen, kan het netwerk polynomen van een willekeurige eindige graad construeren (theoretisch tot $2^L$ voor $L$ lagen), waarbij de compositie van lineaire combinaties en kwadratische termen hogere-orde polynomen genereert.
Dimensionale Normalisatie: Een cruciale voorbewerkingsstap is het uitdrukken van Hamiltoniaanse parameters en eigenwaarden als dimensieloze ratio's (bijv. $r_i = \Delta J_i / J_{intra}$ ). Dit waarborgt dimensionale homogeniteit, vermindert het aantal onafhankelijke variabelen en voorkomt dat de geleerde expressies afhankelijk zijn van willekeurige energie-eenheden.

Benchmarks en Data
Het framework werd toegepast op effectieve spin-keten Hamiltoniaanse die gekoppelde methylen-protonparen beschrijven in zero-quantum NMR.

Drie-site Keten: Zowel uniforme ( $\Delta J_1 = \Delta J_2$ ) als niet-uniforme gevallen werden geanalyseerd. Het doel was de vier eigenenergie-takken. De auteurs leidden een twee-parameter perturbatieve referentie af voor het niet-uniforme geval, waarbij zij opmerkten dat de exacte splitsing nabij degeneratie een radiale term $\sqrt{\Delta J_1^2 + \Delta J_2^2}$ omvat, wat niet-polynomiaal is.
Vier-site Keten: Een uniforme keten met acht eigenenergie-takken werd gebruikt om schaalbaarheid te testen.
Datageneratie: Numerieke diagonalisatie leverde exacte referentiedata op. Voor de drie-site keten werden 100.000 dimensieloze parametheerparen gesampled. Voor de vier-site keten werden datasets gegenereerd via directe diagonalisatie of interpolatie van vooraf berekende oppervlakken.

Belangrijkste Resultaten

Drie-site Keten: De ASN slaagde erin compacte globale kwadratische benaderingen voor de vier eigenenergie-oppervlakken te extraheren. De resulterende expressies legden de constante, lineaire en kwadratische structuren vast die verwacht worden vanuit de perturbatietheorie. Langs de uniforme-keten lijn kwamen de ASN-coëfficiënten nauw overeen met de kwalitatieve structuur van tweede-orde perturbatietheorie (bijv. lineaire coëfficiënten nabij $\pm 1/\sqrt{2}$ ).
Vier-site Keten: De ASN representeerde alle acht eigenenergie-takken simultaan. De geëxtraheerde expressies werden gereduceerd tot kwadratische polynomen met maximaal drie termen. Het netwerk reproduceerde de twee viervoudig gedegenereerde manifolds bij $\Delta J = 0$ en de kwalitatieve perturbatieve structuur voor niet-nul koppeling.
Vergelijking met Baselines:
- Wanneer de geschikte polynomiale basis vooraf bekend was, presteerde een vaste-basis kleinste-kwadratenregressie (gewone lineaire regressie) iets beter dan de ASN in termen van voorspellende nauwkeurigheid (lagere RMSE).
- Voor het niet-uniforme drie-site geval, verbeterde het toevoegen van een natuurkunde-geïnformeerde radiale feature ( $\rho = \sqrt{r_1^2 + r_2^2}$ ) aan het kleinste-kwadratenmodel de lokale nauwkeurigheid nabij de degeneratie aanzienlijk, waarmee het zowel de ASN als standaard polynomiale fits in dat specifieke gebied overtrof.
- De ASN vertoonde geen intrinsiek nauwkeurigheidsvoordeel ten opzichte van een goed gespecificeerde vaste-basis regressie.

Betekenis en Claims
Het artikel positioneert de ASN niet als een methode die universeel beter presteert dan traditionele regressie, maar als een differentieerbaar framework voor het selecteren en componeren van analytische bouwstenen wanneer de juiste functionele vorm onbekend is.

Primaire Bijdrage: Het vermogen om een netwerk te trainen om een ijle combinatie van vooraf gedefinieerde functies te selecteren en het resultaat direct om te zetten in een expliciete symbolische expressie zonder een aparte post-hoc symbolische benaderingstap.
Bescheiden Claims: De auteurs stellen expliciet dat "adaptieve activatie-selectie geen intrinsiek nauwkeurigheidsvoordeel biedt ten opzken de geschikte vooraf gedefinieerde basis." De waarde van de ASN ligt in de bruikbaarheid voor problemen waarbij de juiste basis niet vooraf bekend is en meerdere functionele vormen plausibel zijn.
Beperkingen: De geëxtraheerde expressies zijn benaderingen binnen het trainingsdomein en garanderen geen extrapolatie. De methode heeft moeite met niet-polynomiale singulariteiten (zoals de wortelafhankelijkheid bij degeneraties), tenzij dergelijke functies expliciet in de bibliotheek zijn opgenomen. De studie concludeert dat sterker bewijs voor adaptieve functieselectie vereist is via benchmarks met concurrerende niet-polynomiale primitieven en gestructureerde extrapolatietests.

Samenvattend stelt dit werk de ASN vast als een levensvatbaar instrument voor het afleiden van compacte, interpreteerbare symbolische representaties uit numerieke data, met name in scenario's waar de onderliggende analytische structuur onzeker is, terwijl het erkent dat voor problemen met bekende polynomiale structuren, traditionele kleinste-kwadratenmethoden zeer competitief blijven in nauwkeurigheid.

Meer zoals dit