Self-explainable Operator Learning for Discovering Spatial Patterns in Functional Data

Technische Samenvatting: Zelf-uitlegbare Operator Learning voor het Ontdekken van Ruimtelijke Patronen in Functionele Data

Probleemstelling
Operator learning is een krachtig instrument geworden voor het modelleren van complexe fysische systemen die worden beheerst door partiële differentiaalvergelijkingen (PDE's) binnen functionele ruimtes. Echter, state-of-the-art neurale operatorarchitecturen, zoals Fourier Neural Operators (FNO) en Deep Operator Networks (DeepONet), fungeren als opaak "black-box" universele benaderaars. Hun complexe, niet-convexe trainingsprocessen en enorme aantallen parameters verhullen de redenering achter hun voorspellingen, wat wetenschappelijk vertrouwen en de ontdekking van onderliggende natuurwetten belemmert. Hoewel post-hoc uitlegbaarheidsmethoden (bijv. SHAP, LIME, Grad-CAM) bestaan, kampen deze met beperkingen: ze zijn vaak model-agnostische externe tools die tegenstrijdige verklaringen kunnen produceren, gebrek hebben aan inherente betrouwbaarheidsintervallen en er niet in slagen om simultane interpreteerbaarheid op zowel het input- als het outputniveau te bieden. Er is een kritieke behoefte aan een "by-design" raamwerk dat inherent interpreteerbaar, wiskundig transparant en in staat is om specifieke ruimtelijke kenmerken in inputfuncties te koppelen aan overeenkomstige patronen in outputfuncties, zonder te vertrouwen op externe attributietools.

Methodologie
De auteurs stellen een zelf-uitlegbaar operator learning-raamwerk voor op basis van Generalized Functional Linear Models (gFLM). De methodologie wijkt af van standaard neurale operators door het leerprobleem te herformuleren als een lineaire combinatie van integraalvergelijkingen met leerbare kernen, in plaats van een diep neuraal netwerk.

1. Modelformulering:

   • De mapping tussen inputfuncties $f(\xi)$ en outputfuncties (of scalairen) $u(x)$ wordt uitgedrukt als een som van integraalvergelijkingen:
     $$u(x) = \sum_{n,m} w_{n,m} \iint \psi_n(x-\zeta, y-\eta) T_m f(\zeta, \eta) \, d\zeta d\eta$$
   • Hierbij vertegenwoordigt $\psi_n$ een bibliotheek van vooraf gedefinieerde analytische kernfuncties, $T_m$ staat voor lifting-transformaties (bijv. polynomiaal, exponentieel) om niet-lineariteiten in een lineaire feature-ruimte te vangen, en $w_{n,m}$ zijn coëfficiënten die worden geleerd via geregulariseerde lineaire regressie.
   • In tegen tegenstelling tot eerder werk dat L1-regularisatie gebruikte voor sparsiteit, hanteert dit raamwerk L2-regularisatie om de trainingsstabiliteit te waarborgen en alle kandidaat-termen te behouden, wat essentieel is voor de daaropvolgende decompositie-analyse.

2. Zelf-uitlegbare Decompositiestrategie:

   • De kerninnovatie is een post-training decompositiestrategie die gebruikmaakt van de additieve aard van de integraaloperator.
   • Het inputdomein wordt opgedeeld in $k$ subdomeinen (specifiek $k=4$ gelijke zones).
   • Het model berekent gelokaliseerde integralen voor elk subdomein onafhankelijk. Vanwege de lineariteit van de operator is de totale output exact de som van deze gelokaliseerde bijdragen.
   • Om de invloed van specifieke regio's te isoleren, wordt een mean-centering procedure toegepast: de verwachte waarde van de voorspelling voor elke zone (over de dataset heen) wordt afgetrokken van de lokale voorspelling. Dit levert "zonale bijdragen" ($\Phi_i$) op die onthullen hoe afwijkingen in specifieke inputregio's leiden tot afwijkingen in de output.

3. Validatie en Baselines:

   • Het raamwerk wordt getest op twee natuurkundige datasets: pulsatiel bloeddoorstroming in een hersenan瘤 (voorspellen van Wall Shear Stress) en onstabiele aerodynamica van een bewegend profiel (voorspellen van weerstand en liftcoëfficiënten).
   • De prestaties worden gemeten tegenover een Fourier Neural Operator (FNO) voor nauwkeurigheid en tegenover drie post-hoc methoden (Kernel SHAP, Occlusion Sensitivity, Grad-CAM) toegepast op een getrainde U-Net voor consistentie van de uitlegbaarheid.

Belangrijkste Bijdragen

• Intrinsieke Uitlegbaarheid: Het raamwerk biedt een gesloten analytische surrogaat waarbij uitlegbaarheid direct in de modelstructuur is ingebed. Het vereist geen externe tools of post-hoc verwerking om de logica van het model te interpreteren.
• Interpretabiliteit op Dubbel Niveau: In tegenstelling tot de meeste XAI-methoden die alleen belangrijke inputregio's highlighten, onthult deze aanpak de ruimtelijke patronen in de output die gegenereerd worden door specifieke inputregio's. Het koppelt expliciet input-subdomeinen aan de vorming van outputkenmerken.
• Wiskundige Transparantie: Door gebruik te maken van een lineaire superpositie van integraaloperators met een convexe optimaliteitsoplossing, garandeert het model dat de totale voorspelling exact kan worden gedecomposeerd in additieve, fysiek lokaliseerbare bijdragen.
• Kwantitatieve Metrieken: De auteurs introduceren een methode om de significantie van ruimtelijke regio's te kwantificeren met behulp van Pearson-correlatiecoëfficiënten tussen zonale bijdragen en de totale voorspelling, wat de ontwikkeling van gestandaardiseerde XAI-metrieken faciliteert.

Resultaten

• Nauwkeurigheid vs. Interpreteerbaarheid Trade-off: Zoals verwacht bereikt de FNO-baseline een aanzienlijk hogere voorspellende nauwkeurigheid (lagere Mean Absolute Error) dan het gFLM-model, vooral in complexe scenario's met hoge frequenties. Het gFLM-model vertoont fouten die in sommige gevallen ongeveer een orde van grootte hoger liggen dan die van FNO.
• Kwalitatieve Getrouwheid: Ondanks de lagere numerieke nauwkeurigheid legt het gFLM-model de dominante kwalitatieve ruimtelijke patronen en de temporele evolutie van de fysische verschijnselen succesvol vast.
• Fysische Inzichten:
  • In het geval van de bloeddoorstroming identificeerde het model dat Zone 3 (een regio met sterke snelheidgradiënten) de primaire drijfveer is voor het voorspellen van de maximale Wall Shear Stress (WSS), terwijl Zone 1 en Zone 2 domineren bij de voorspelling van de ruimtelijk gemiddelde WSS en divergentie respectievelijk. Dit komt overeen met bekende fluïdummechanische principes waarbij snelheidgradiënten de schuifspanning drijven.
  • In het geval van het vliegtuigprofiel identificeerde het model succesvol verschillende ruimtelijke regio's die de weerstands- en liftcoëfficiënten beïnvloeden bij verschillende pitch-frequenties.
• Consistentie met Post-hoc Methoden: Bij vergelijking met Kernel SHAP en Occlusion Sensitivity toegepast op een U-Net, vertoonde het gFLM-raamwerk een kwalitatieve overeenstemming in het identificeren van de meest invloedrijke regio's (bijv. beide methoden identificeerden Zone 3 als de dominante drijfveer voor WSS). Hoewel de rangschikking van secundaire zones licht verschilde door de verschillende mechanismen van de methoden (perturbatie versus additieve decompositie), valideert de convergentie op de primaire drijfveer de betrouwbaarheid van de voerkende aanpak.

Betekenis en Claims
Het artikel stelt dat dit raamwerk een kritiek gat in de wetenschappelijke machine learning adresseert door een wiskundig transparante en fysisch interpreteerbare aanpak voor operator learning te bieden. De betekenis ligt in:

1. Vertrouwen Bevorderen: Door het besluitvormingsproces van het model simuleerbaar en decomponeerbaar te maken, stelt het wetenschappers in staat om de consistentie met fysische principes te verifiëren, waardoor ML verschuift van een louter voorspellende surrogaat naar een potentiële nieuwe wetenschappelijke model.
2. Elimineren van Externe Afhankelijkheden: Het elimineert de noodzaak voor onbetrouwbare, computationeel dure post-hoc tools en biedt een zelfstandig verklarend mechanisme.
3. Onthullen van Verborgen Relaties: Het maakt de ontdekking mogelijk van welke specifieke ruimtelijke kenmerken in functionele data voorspellingen drijven, wat inzichten biedt in de onderliggende fysica (bijv. de relatie tussen snelheidgradiënten en schuifspanning) zonder voorafgaande fysische restricties.

De auteurs hanteren een bescheiden standpunt en erkennen dat hoewel het model een deel van de voorspellende nauwkeurigheid opoffert ten opzichte van zwarte-doos neurale operators, deze trade-off noodzakelijk en voordelig is voor wetenschappelijke toepassingen waarbij het begrijpen van het "waarom" achter een voorspelling even cruciaal is als de voorspelling zelf.