A Pedagogical Framework for Physics-Informed Machine Learning: From Classical Pendulum to Quantum Anharmonic Oscillator Using PyTorch on Modern GPU Hardware

Probleemstelling

Moderne ingenieurscurricula vragen steeds vaker om praktische vaardigheden in het toepassen van Machine Learning (ML) op wetenschappelijke problemen. Bestaande introductiecursussen ML richten zich echter vaak op beeldherkenning of natuurlijke taalverwerking, waardoor er een leemte ontstaat voor studenten die differentiaalvergelijkingen (ODE's en PDE's), eigenwaardeproblemen en fysische behoudswetten moeten modelleren. De overgang van standaard supervised learning naar Physics-Informed Neural Networks (PINNs) is conceptueel groot en vereist een gestructureerd pedagogisch pad. Daarnaast is er een praktische uitdaging: de keuze van softwareframeworks wordt beperkt door hardwarecompatibiliteit, wat vaak wordt genegeerd in onderwijsmateriaal.

Methodologie

De auteurs presenteren een vijf-modules pedagogisch kader dat studenten leidt van data-gedreven modellen naar fysisch beperkte modellen, gebruikmakend van twee fysische systemen met toenemende complexiteit:

1. Klassieke Slinger (Module 1-2): Een niet-lineaire, gedreven en gedempte oscillator beschreven door een tweede-orde ODE.
   • Module 1: Training van een data-gedreven Artificial Neural Network (ANN) op gelabelde data.
   • Module 2: Training van een PINN die uitsluitend leert van collocatiepunten (zonder gelabelde trajectdata), waarbij de ODE als verliesfunctie wordt opgelegd. Een curriculum-trainingstrategie wordt toegepast: het netwerk wordt eerst getraind op een kort tijdsinterval ($t \in [0, 3]$ s) en het trainingsvenster wordt geleidelijk uitgebreid naar 30 seconden om convergentieproblemen op lange termijn te voorkomen.
2. Kwantum Anharmonische Oscillator (Module 3-4): De grondtoestand-energie en golf functie van een deeltje in een kwartische potentiaal, beschreven door de Schrödinger-vergelijking.
   • Module 3: Toepassing van een 1D Convolutional Neural Network (CNN) en een Long Short-Term Memory (LSTM) netwerk op gediscretiseerde potentiaaldata.
   • Module 4: Training van een Schrödinger-gedwongen PINN die zowel de golf functie als de energie-eigenwaarde leert.

Technische Implementatie:

• Framework: PyTorch 2.9 (CUDA 12.8). TensorFlow werd bewust uitgesloten omdat versies $\le$ 2.22 crashen op NVIDIA Blackwell-architectuur (RTX 5090) GPUs door PTX-compatibiliteitsproblemen.
• Hardware: NVIDIA RTX 5090 GPU.
• Architecturen: ANN, CNN, LSTM, en twee varianten van PINNs.
• Benchmarking: Systematische vergelijking van CPU vs. GPU prestaties en data-efficiëntie.

Belangrijkste Bijdragen

1. Gestructureerde Leerlijn: Een tweestapsprogressie van data-gedreven naar fysisch beperkt modelleren, specifiek ontworpen voor een graduate-level cursus.
2. Curriculum Training voor PINNs: Een strategie die de lange-termijn nauwkeurigheid van PINNs aanzienlijk verbetert ten opzichte van een enkele trainingsfase, wat essentieel is voor niet-lineaire systemen.
3. Hardware-Aware Benchmarks: Een kwantitatieve analyse van GPU-versnelling die aantoont wanneer hardware-acceleratie nuttig is en wanneer niet (afhankelijk van modelgrootte en parallelisme).
4. Open Source Materiaal: Volledig uitvoerbare Jupyter-notebooks die reflectievragen bevatten om studenten te leiden van puur data-gedreven denken naar fysisch-gedreven formuleringen.

Resultaten

Nauwkeurigheid en Prestaties:

• Data-gedreven modellen:
  • De Pendulum ANN bereikte een Mean Absolute Error (MAE) van $1.3 \times 10^{-2}$ rad.
  • De Quantum CNN behaalde de hoogste nauwkeurigheid met een MAE van $4.4 \times 10^{-5}$ a.u. voor de grondtoestandsenergie.
• PINN-modellen:
  • De Pendulum PINN (gecurriculeerd) bereikte een MAE van $3.1 \times 10^{-2}$ rad zonder gebruik van gelabelde trajectdata, alleen met collocatiepunten.
  • De Quantum PINN convergerde naar een energie van $\hat{E} = 0.5597$ a.u. (vergelijkbaar met de referentie van $0.5591$ a.u.) en leerde de volledige golf functie $\psi(x)$.

CPU vs. GPU Benchmark:
Er werd een groot verschil in versnelling gevonden afhankelijk van het modeltype:

• LSTM: Een opmerkelijke 24.6x versnelling op de GPU. Dit komt omdat de sequentiële verwerking van 500 tijdstappen op de CPU een bottleneck vormt, terwijl de GPU deze parallel kan verwerken over de batch-dimensie.
• Kleine ANN: Slechts 1.2x versnelling. Bij kleine modellen (25.601 parameters) overheerst de PCIe-data-overdrachtstijd de rekentijd, waardoor de GPU geen significant voordeel biedt.
• Conclusie: Hardware-versnelling is niet universeel; het hangt af van de parallelle aard van de architectuur.

Data-efficiëntie:

• De ANN presteert beter dan de PINN wanneer er meer dan ongeveer 600 gelabelde samples beschikbaar zijn.
• Onder deze drempel (of bij schaarse data) presteert de PINN beter, wat een concrete beslissingsregel biedt voor studenten: gebruik data-gedreven modellen bij goedkope data, en PINNs bij dure of schaarse data.

Betekenis en Conclusie

Dit paper biedt een robuust kader voor het integreren van moderne deep learning in natuurkundecursussen. Het benadrukt dat:

1. Modelselectie afhangt van de beschikbaarheid van data en de vereiste output (bijv. een scalair resultaat vs. een volledig veld zoals een golf functie).
2. Hardware-compatibiliteit een kritieke factor is bij het kiezen van softwareframeworks voor onderwijs op cutting-edge hardware.
3. Curriculum training een noodzakelijke techniek is om de optimalisatielandschappen van PINNs voor complexe, niet-lineaire systemen beheersbaar te maken.

Het kader sluit de kloof tussen theoretische fysica en praktische ML-toepassingen en biedt studenten de tools om gefundeerde keuzes te maken tussen data-gedreven en fysisch-gedreven modellering in real-world scenario's.