🤖 machine learning

HyperNOs: Automated and Parallel Library for Neural Operators Research

HyperNOs is een geautomatiseerde, parallelle PyTorch-bibliotheek die gebruikmaakt van Ray-tune voor efficiënte hyperparameteroptimalisatie en een flexibele, gebruiksvriendelijke interface biedt voor het trainen en evalueren van neurale operatoren zoals Fourier- en convolutionele modellen over diverse datasets en resoluties.

Oorspronkelijke auteurs: Massimiliano Ghiotto

Gepubliceerd 2026-02-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Massimiliano Ghiotto

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe water door een complex netwerk van buizen stroomt, of hoe warmte zich door een metalen plaat verspreidt. In de wereld van de wetenschap worden dit "Partiële Differentiaalvergelijkingen" (PDE's) genoemd. Traditioneel gezien is het oplossen van deze problemen alsof je elke druppel water of elk atoom warmte met de hand probeert te berekenen — dat duurt eeuwen en vereist enorme supercomputers.

Maak kennis met Neural Operators. Zie dit als een speciaal soort AI die niet alleen leert van specifieke foto's van buizen, maar de regels leert van hoe vloeistoffen en warmte zich gedragen. Eenmaal getraind, kan het de uitkomst voor elke nieuwe buisopstelling direct voorspellen, ongeacht hoe gedetailleerd de kaart is.

Maar er is een addertje onder het gras. Het bouwen van deze AI-modellen is als het afstemmen van een enorme, complexe radio met duizenden draaiknoppen. Als je de draaiknoppen (genaamd hyperparameters) ook maar een klein beetje verkeerd draait, is het signaal alleen maar ruis. Als je ze goed instelt, is de muziek kristalhelder. Het vinden van de perfecte combinatie van draaiknoppen vereist meestal een menselijke expert die dagenlang moet gokken, testen, falen en weer opnieuw gokken.

HyperNOs is een nieuwe softwarebibliotheek (een gereedschapskist voor programmeurs) die dit afstemproces automatiseert. Zo werkt het, uitgelegd aan de hand van eenvoudige concepten:

1. De "Auto-Tuner" voor de wetenschap

Stel je een radio voor met 20 draaiknoppen. In plaats van dat jij ze één voor één draait, is HyperNOs als een team van 50 robots die parallel aan elkaar werken. Ze proberen allemaal tegelijkertijd verschillende combinaties van draaiknoppen uit.

De magie: Het gebruikt een slim systeem (genaamd Ray-tune) dat leert van de fouten. Als een combinatie van draaiknoppen slecht klinkt, stoppen de robots met het verspillen van tijd aan die combinatie en richten ze zich op de combinaties die veelbelovend klinken.
Het resultaat: Het vindt de "perfecte afstemming" voor de AI veel sneller en beter dan een mens dat zou kunnen, wat leidt tot voorspellingen die aanzienlijk nauwkeuriger zijn.

2. De twee belangrijkste "muzikanten"

Het artikel richt zich op twee specifieke soorten AI-"muzikanten" (architecturen) die HyperNOs helpt af te stemmen:

FNO (Fourier Neural Operator): Denk aan een muzikant die naar het gehele nummer luistert om de melodie te begrijpen. Hij kijkt naar het hele plaatje globaal. Dit is geweldig voor vloeiende, golfachtige patronen.
CNO (Convolutional Neural Operator): Denk aan een muzikant die naar kleine, lokale stukjes van het nummer luistert en deze aan elkaar plakt. Dit is geweldig voor gedetailleerde, lokale texturen.
HyperNOs kan beide muzikanten afstemmen om hun beste prestaties te leveren.

3. Speciale functies van de gereedschapskist

Het artikel belicht een paar slimme trucs die de bibliotheek gebruikt om het leven van wetenschappers makkelijker te maken:

De "Fair Fight" modus: Soms wil je twee verschillende AI-modellen met elkaar vergelijken, maar is het ene model enorm groot en het andere heel klein. Dat is geen eerlijke test. HyperNOs heeft een functie die beide modellen dwingt om exact hetzelfde aantal "hersencellen" (parameters) te hebben. Dit zorgt ervoor dat je hun intelligentie vergelijkt, niet alleen hun grootte.
De "Mix-and-Match" datasets: Stel je voor dat je data hebt van een kleine buis en data van een reusachtige buis. Normaal gesproken kun je die niet mengen. HyperNOs laat je beide tegelijkertijd in de AI voeren, waardoor de AI zonder moeite leert om met verschillende maten en resoluties om te gaan.
Het "Physics Safety Net": Soms kan de AI iets voorspellen dat de natuurwetten overtreedt (zoals water dat zonder pomp tegen de zwaartekracht in omhoog stroomt). HyperNOs stelt je in staat om een "regelboek" toe te voegen aan de training, waardoor de AI wordt gedwongen de natuurkundige wetten te respecteren terwijl hij leert.

4. Wat hebben ze ontdekt?

De auteurs hebben deze bibliotheek getest op een verscheidenheid aan wetenschappelijke puzzels, waaronder:

Hoe vloeistoffen bewegen (Navier-Stokes).
Hoe warmte zich verspreidt (Warmtevergelijking).
Hoe golven zich voortplanten (Golfvergelijking).
Hoe lucht over een vleugel stroomt (Euler-vergelijking).

De grote ontdekking:
Wanneer zij de "beste instellingen" gebruikten die door mensen in eerdere studies waren vastgesteld, maakte de AI fouten. Maar toen ze HyperNOs de opdracht gaven om automatisch de beste instellingen te vinden, daalden de fouten drastisch.

In één specifieke test (smooth transport) daalde de fout van 0,40% naar 0,036%. Dat is een enorme verbetering — het is alsof je gaat van een wazige foto naar een 4K-afbeelding.
Zelfs toen ze de AI dwongen om hetzelfde aantal "hersencellen" te gebruiken als de oude, door mensen afgestemde modellen, zorgde de automatische afstemming er nog steeds voor dat het model beter presteerde.

Samenvatting

HyperNOs is een hulpmiddel dat het zware, saaie werk van het afstemmen van wetenschappelijke AI-modellen overneemt en het overdraagt aan een slim, parallel rekenend systeem. Het bewijst dat door machines de beste instellingen voor andere machines te laten vinden, we complexe natuurkundige problemen sneller en nauwkeuriger kunnen oplossen dan ooit tevoren. Het gaat niet alleen om het bouwen van een beter model; het gaat om het bouwen van een beter proces om het beste model te vinden.

Technische Samenvatting: HyperNOs: Geautomatiseerde en Parallelle Bibliotheek voor Neurale Operatoren

Probleemstelling

Het veld van wetenschappelijke machine learning heeft aanzienlijke vooruitgang geboekt door het gebruik van Neurale Operatoren (NO's) om partiële differentiaalvergelijkingen (PDE's) op te lossen en complexe dynamische systemen te modelleren. In tegen tegenstelling tot traditionele neurale netwerken die opereren op einddimensionale vectoren, leren NO's mapping-functies tussen oneindig-dimensionale functieruimtes, wat resolutie-onafhankelijkheid en superieure generalisatie over verschillende discretisaties biedt. Het trainen van deze modellen vormt echter een kritieke bottleneck: hyperparameteroptimalisatie.

De hyperparameterruimte voor NO's is uitgestrekt en complex, en omvat architecturale keuzes (lagen, breedte, activatiefuncties), optimalisatieparameters (leersnelheden, schedulers) en regularisatietechnieken. Handmatige afstemming is arbeidsintensief, foutgevoelig en vereist vaak aanzienlijke domeinkennis. Bovendien zijn standaard grid- of random searches computationeel onhaalbaar gezien de kosten van het trainen van NO's op grote datasets. Er is een gebrek aan toegankelijke, geautomatiseerde tools die deze ruimte systematisch kunnen verkennen met behulp van parallel computing om optimale configuraties voor diverse architecturen en datasets te identificeren.

Methodologie

Het artikel introduceert HyperNOs, een PyTorch-bibliotheek die ontworpen is om de exploratie van neurale operatoren te automatiseren en te paralleliseren. De methodologie is gebouwd op de volgende kerncomponenten:

Architectuurintegratie: De bibliotheek ondersteunt van nature twee state-of-the-art NO-architecturen:
- Fourier Neural Operators (FNO's): Welke gebruikmaken van de Fast Fourier Transform (FFT) om integraaloperatoren in het frequentiedomein te parametriseren, waardoor globale afhankelijkheden worden gevangen.
- Convolutional Neural Operators (CNO's): Welke Convolutionele Neurale Netwerken (specifiek U-Nets) uitbreiden naar de continue setting, waardoor ze voldoen aan de Continuous-Discrete Equivalence (CDE)-conditie en resolutie-invariantie waarborgen door middel van bandgelimiteerde functieruimtes.
Geautomatiseerde Optimalisatie Engine: HyperNOs maakt gebruik van de Ray-tune bibliotheek om state-of-the-art hyperparameteroptimalisatie te implementeren.
- Het maakt gebruik van de Tree-structured Parzen Estimator (TPE) en adaptieve TPE-algoritmen voor efficiënte zoektochten.
- Het hanteert de ASHA (Asynchronous Successive Halving Algorithm) om onderpresterende trials vroegtijdig te beëindigen, wat de computationele verspilling aanzienlijk vermindert.
- Het systeem ondersteunt parallel computing, waardoor meerdere trials simultaan kunnen draaien over beschikbare CPU- en GPU-bronnen.
Modulair Ontwerp: De bibliotheek is gestructureerd om zeer uitbreidbaar te zijn. Gebruikers definiëren:
- Zoekruimtes: Met behulp van Ray-tune primitieven (bijv. choice, randint, uniform).
- Model Builders: Functies die modellen (FNO of CNO) instantiëren op basis van configuratiedictionaries.
- Dataset Builders: Functies om data te laden en voor te bewerken, met ondersteuning voor standaard benchmarks en aangepaste datasets.
- Verliesfuncties: Aanpasbare doelstellingen, inclusief relatieve $L_p$ -fouten en physics-informed losses.
Geavanceerde Functionaliteiten:
- Fixed Complexity Training: Een utility om optimalisatie te beperken tot modellen met een specifiek aantal trainbare parameters, wat eerlijke vergelijkingen tussen architecturen van gelijke complexiteit mogelijk maakt.
- Multi-Resolution en Multi-Dataset Training: De mogelijkheid om datasets met verschillende resoluties of uit verschillende bronnen samen te voegen om één model te trainen, waarbij gebruik wordt gemaakt van de resolutie-invariantie eigenschap van NO's.
- Physics-Informed Learning: Ondersteuning voor de zwakke oplegging van natuurwetten via aangepaste verliesfuncties (bijv. het toevoegen van PDE-residuen) en sterke oplegging via model-wrappers (bijv. het afdwingen van randvoorwaarden).

Belangrijkste Bijdragen

Het artikel presenteert de volgende specifieke bijdragen:

HyperNOs Bibliothek: Een gebruiksvriendelijke, open-source PyTorch-bibliotheek die de volledige workflow van NO-onderzoek stroomlijnt, van datasetladen tot hyperparameteroptimalisatie en definitieve modeltraining.
Uitgebreide Benchmarking: De bibliotheek bevat implementaties van standaard datasets (Poisson, Darcy, Navier-Stokes, Wave, Euler, Transport, en Allen-Cahn vergelijkingen) en biedt een framework voor de evaluatie van zowel FNO als CNO architecturen.
Optimalisatiestrategieën: De integratie van geavanceerde algoritmen (TPE, ASHA) en parallelle executie om de hoge computationele kosten van NO-training aan te pakken.
Reproduceerbaarheid en Analyse: De bibliotheek slaat automatisch checkpoints, optimale configuraties en getrainde modellen op. Het biedt tools om de afhankelijkheid van prestaties van hyperparameters en modelcomplexiteit (degrees of freedom) te analyseren.

Resultaten

De auteurs hebben uitgebreide numerieke experimenten uitgevoerd op de genoemde representatieve benchmarks, waarbij drie configuraties werden vergeleken:

State-of-the-Art (s.o.t.a.): Gebruikmakend van hyperparameters gerapporteerd in eerdere literatuur (specifiek [31]).
Same Degrees of Freedom (Same DoF): Geoptimaliseerde configuraties die beperkt zijn tot hetzelfde aantal trainbare parameters als de s.o.t.a. modellen.
Our Hyperparams: Onbeperkte optimalisatie met behulp van de HyperNOs-bibliotheek om de best mogelijke configuratie te vinden.

Belangrijkste Bevindingen:

Prestatiewinst: Geautomatiseerde optimalisatie presteerde consequent beter dan handmatige s.o.t.a. configuraties. Bijvoorbeeld, op de Smooth Transport Equation met FNO's daalde de relatieve gemiddelde $L_1$ -fout van 0.40% (s.o.t.a.) naar 0.036% (geoptimaliseerd), wat een verbetering van een orde van grootte betekent.
Complexiteit vs. Prestatie: Zelfs wanneer beperkt tot hetzelfde aantal parameters als de s.o.t.a. modellen, leverden de geoptimaliseerde configuraties vaak betere resultaten (bijv. het reduceren van de fout van 0.40% naar 0.17% voor de Smooth Transport Equation met FNO's).
Schaalbaarheid: De experimenten toonden aan dat het verhogen van het aantal trainbare parameters (via onbeperkte optimalisatie) de fouten verder verminderde, waarbij de beste FNO-configuratie (250M parameters) een fout van 0.036% bereikte op de Smooth Transport Equation.
Architectuurvergelijking: Zowel FNO als CNO architecturen profiteerden van de optimalisatie, waarbij CNO's een bijzondere kracht toonden in problemen die translationele equivariantie of specifieke resolutie-invariantie eigenschappen vereisen.

Betekenis en Claims

Het artikel claimt dat HyperNOs een kritiek gat in het ecosysteem van wetenschappelijke machine learning opvult door een geautomatiseerd, schaalbaar en reproduceerbaar framework te bieden voor het bestuderen van neurale operatoren.

Efficiëntie en Automatisering: Door het afstemingsproces uit te besteden aan machines met behulp van parallel computing, bespaart de bibliotheek onderzoekers tijd en elimineert het de bias en beperkingen van menselijke intuïtie bij het navigeren door complexe hyperparameterruimtes.
Eerlijke Vergelijking: Het vermogen om het aantal trainbare parameters vast te leggen, maakt rigoureuze, eerlijke vergelijkingen tussen verschillende architecturen mogelijk (bijv. FNO vs. CNO) zonder verstorende factoren gerelateerd aan de modelgrootte.
Toegankelijkheid: De bibliotheek verlaagt de drempel voor onderzoekers, waardoor zij zich kunnen richten op modelontwerp, interpretatie en toepassing in plaats van de tedieuze mechanica van hyperparameterafstemming.
Fundament voor Toekomstig Werk: De auteurs positioneren HyperNOs als een opstapje voor toekomstige ontwikkelingen, met als doel meer architecturen (DeepONets, Graph Neural Operators, Transformers) te integreren en de inzet van NO's in real-world wetenschappelijke en technische toepassingen verder te stroomlijnen.

Het artikel concludeert dat geautomatiseerde hyperparameteroptimalisatie niet louter een gemak is, maar een fundamentele vereiste om het volledere potentieel van neurale operatoren te ontsluiten bij het oplossen van complexe, real-world problemen.