Critical evaluation of PINN for FWD inverse analysis and differentiable FEM as an alternative

Technische Samenvatting: Kritische Evaluatie van PINN voor FWD Inverse Analyse en Differentiabele FEM als Alternatief

Probleemstelling
De Falling Weight Deflectometer (FWD) is een standaardinstrument voor de niet-destructieve structurele evaluatie van wegverhardingen. Het kernprobleem van de inverse analyse bestaat uit het terugberekenen van de elastische moduli ($E$) van de lagen op basis van gemeten oppervlakte-doorbuigingscurven. Traditionele gradiëntgebaseerde methoden (bijv. EVERCALC) vertrouwen op einddifferentie-benaderingen (FD) om gradiënten te berekenen. Deze benaderingen lijden onder een gebrekkige schaalbaarheid, waarbij $N+1$ forward-simulaties nodig zijn per iteratie voor $N$ onbekende moduli, en introduceren afkapfouten die gevoelig zijn voor de grootte van de perturbatiestap.

Hoewel Automatische Differentiatie (AD) een principieel alternatief biedt voor exacte gradiëntberekening, is de toepassing ervan op FWD-terugberekening grotendeels onontgonnen gebleven. Specifiek is de toepasbaarheid van Physics-Informed Neural Networks (PINNs)—die de leidende vergelijkingen als 'soft constraints' in een verliesfunctie inbedden—op meerlagige wegverhardingssystemen nog onzeker. Wegverhardingssystemen vertonen scherpe discontinuïteiten in de modulus bij de grensvlakken van de lagen, wat uitdagingen vormt voor standaard PINNs vanwege "spectrale bias" (de neiging om laagfrequente componenten boven scherpe transities te leren). Deze studie evalueert kritisch of PINN-gebaseerde benaderingen betrouwbaar dit inverse probleem kunnen oplossen en onderzoekt Differentiabele Eindige Elementen Methode (DiffFEM) als een natuurlijke fysieke alternatief.

Methodologie
De studie maakt gebruik van een synthetische benchmark gebaseerd op een drie-laags axiaal symmetrisch wegverhardingssysteem (verharding, funderingslaag, ondergrond) onder quasi-statische belasting. Het inverse probleem wordt geformuleerd als het minimaliseren van de gemiddelde kwadratische fout tussen voorspelde en geobserveerde verplaatsingen. Drie benaderingen worden vergeleken:

1. Vanilla PINN: Een enkel volledig verbonden neuraal netwerk voorspelt het verplaatsingsveld over het gehele domein. De leidende vergelijkingen (knopen-evenwicht) en randvoorwaarden worden afgedwongen via 'soft penalty'-termen in de verliesfunctie.
2. Extended PINN (XPINN): Om het discontinuïteitsprobleem aan te pakken, wordt het domein opgedeeld. Elke laag van de wegverharding krijgt een eigen sub-netwerk. De continuïteit van de verplaatsing bij de grensvlakken wordt afgedwongen als een 'soft constraint' (verliesterm), terwijl het evenwicht wordt afgedwongen via een fysieke residu-verliesfunctie.
3. Differentiabele FEM (DiffFEM): De standaard Eindige Elementen Methode (FEM) forward-solver wordt ingebed binnen een AD-framework (PyTorch). De globale stijfheidsmatrix wordt geconstrueerd als een lineaire combinatie van laagspecifieke matrices. Het lineaire systeem wordt op machineprecisie opgelost bij elke iteratie, waardoor de leidende vergelijkingen als "harde" constraints worden afgedwongen. Gradiënten van de verliesfunctie met betrekking tot de moduli worden berekend via een enkele reverse-mode AD backward pass.

Alle methoden maken gebruik van de L-BFGS optimizer. De studie evalueert systematisch de prestaties onder condities zonder ruis en bij variërende niveaus van meetruis ($\sigma_n \in \{0, 1, 2, 3, 4, 5\} \mu m$), terwijl ook de gevoeligheid voor hyperparameters (verliesgewichten, netwerkarchitectuur) en computationele kosten wordt geanalyseerd.

Belangrijkste Bijdragen

• Kritische Evaluatie van PINNs voor FWD: De studie toont aan dat standaard PINNs falen in het herstellen van de laagmoduli in meerlagige systemen vanwege spectrale bias en scherpe materiaaldiscontinuïteiten.
• Hyperparameter Gevoeligheidsanalyse: Het onthult dat zelfs de verbeterde XPINN-formulering zeer gevoelig is voor de afstemming van verliesgewichten en netwerkarchitectuur. Het bereiken van een redelijke nauwkeurigheid vereist uitgebreide, probleem-specifieke afstemming, en de prestaties verslechteren aanzienlijk onder meetruis.
• DiffFEM als Superieur Alternatief: Het document stelt DiffFEM vast als een robuust alternatief dat de fysica afdwingt als harde constraints. Het demonstreert dat DiffFEM machine-precisie nauwkeurigheid bereikt in scenario's zonder ruis en stabiel blijft onder ruis, waarbij het XPINN overtreft in nauwkeurigheid, robuustheid en computationele efficiëntie.
• Vergelijkend Kader: De studie biedt een structurele vergelijking die benadrukt dat DiffFEM alleen fysieke parameters optimaliseert, terwijl PINNs gezamenlijk zowel fysieke parameters als tienduizenden netwerkgewichten moeten optimaliseren, wat het verlieslandschap bemoeilijkt.

Resultaten

• Prestaties zonder Ruis:
  • DiffFEM: Convergeerde in ~40 iteraties (ongeveer 60 seconden) met relatieve fouten in moduli in de orde van grootte van $10^{-9}$ tot $10^{-10}$.
  • XPINN: Vereiste ~400.000 iteraties (ongeveer 10 uur) en stagneerde met relatieve fouten van -1,1% tot -6,9%. Het fysieke residu stagneerde, wat aangeeft dat de leidende vergelijkingen niet strikt werden voldaan.
  • Vanilla PINN: Faalde volledig en convergeerde naar willekeurige moduluswaarden, ongeacht de ruisniveaus.
• Prestaties met Ruis ($\sigma_n = 1 \mu m$ en $5 \mu m$):
  • DiffFEM: Toonde een geleidelijke degradatie. Bij $\sigma_n = 5 \mu m$ bleven de fouten begrensd (maximaal 14% voor de verharding, 0,11% voor de ondergrond).
  • XPINN: Vertoonde catastrofaal falen. Bij $\sigma_n = 1 \mu m$ convergeerde het naar incorrecte moduli (bijv. de modulus van de ondergrond stortte in tot nul), ondanks een lage data-loss, wat aangeeft dat het netwerk een oplossing vond die de ruisige data paste maar de globale evenwichtsvergelijking schond. Bij $\sigma_n = 5 \mu m$ overstegen de fouten de 390% voor de funderingslaag.
• Computationele Efficiëntie: DiffFEM was meer dan twee grootheden sneller dan XPINN (60s vs. 10h) op identieke hardware, ondanks vergelijkbaar geheugengebruik.

Betekenis en Claims
Het artikel concludeert dat voor FWD-terugberekening in laag-elastische systemen DiffFEM een betrouwbaardere en efficiëntere keuze is dan PINN-gebaseerde benaderingen.

De auteurs stellen dat de superioriteit van DiffFEM voortkomt uit het afdwingen van de leidende vergelijkingen als harde constraints via de FEM-solver, in plaats van als soft penalties in een verliesfunctie. Dit stelt DiffFEM in staat om zich uitsluitend te concentreren op de optimalisatie van fysieke parameters, waardoor de complexe verlieslandschappen en hyperparameter-gevoeligheid die inherent zijn aan PINNs worden vermeden.

De studie suggereert een praktische richtlijn: wanneer een forward-solver goed gevestigd, numeriek stabiel en differentieerbaar is (zoals in het geval van lineair elastische meerlagige systemen), moeten natuurkundig-native AD-formuleringen (DiffFEM) de voorkeur krijgen. PINNs blijven een levensvatbare optie wanneer differentieerbare forward-solvers niet beschikbaar, moeilijk te implementeren of wanneer het probleem bestaat uit niet-differentieerbare componenten (bijv. complexe contactalgoritmen, adaptieve tijdstap-algoritmen in dynamische problemen) waarbij mesh-vrije formuleringen voordelen kunnen bieden. De auteurs waarschuwen tegen de onkritische toepassing van PINNs op inverse problemen waar efficiënte differentieerbare solvers bestaan.