Technische Samenvatting: Het sturen van het trainen van neurale netwerken door interpreteerbare restricties gebaseerd op Partial Dependence

Probleemstelling

Het veld van Explainable Artificial Intelligence (XAI) heeft een significante groei doorgemaakt in de ontwikkeling van technieken om modelbeslissingen te interpreteren. Er blijft echter een kritische kloof bestaan in het beoordelen van de kwaliteit van deze verklaringen en, belangrijker nog, in het aanpassen van modellen om ervoor te zorgen dat hun verklaringen overeenstemmen met voorkennis uit het domein. Bestaande benaderingen in "explanation-guided learning" (EGL) richten zich primair op classificatietaken (vaak met betrekking tot afbeeldingen of tekst) en gaan doorgaans uit van kennis over feature-belang of specifieke inputregio's. Bovendien richten veel methoden die restricties incorporeren zich op structurele eigenschappen van de functie (bijv. convexiteit, monotoniciteit) in plaats van op de verklaringen zelf.

Dit werk adresseert de uitdaging van het sturen van de training van neurale netwerken voor regressieproblemen—specifiek inclusief voorspellingen van dynamische systemen—om ervoor te zorgen dat de gemiddelde respons van het model op bepaalde kenmerken (de partial dependence) overeenkomt met een specifieke functionele domeinkennis. Het doel is om modellen te produceren die niet alleen dataefficiënter en robuuster zijn tegen out-of-distribution (OOD) verschuivingen, maar ook verklaringen opleveren die getrouw zijn aan de verstrekte voorkennis.

Methodologie

Partial Dependence als een Restrictie

De auteurs definiëren het probleem als het leren van een differentieerbaar model $h_\theta(x)$ zodanig dat de partial dependence (PD) op een deelverzameling van kenmerken $x_k$ overeenkomt met een bekende functionele vorm. De PD van een functie $f$ op $x_k$ wordt gedefinieerd als de verwachte waarde van de functie over de marginale distributie van de overige kenmerken $x_{-k}$:
$$PD_\infty(f, x_k) = \mathbb{E}_{x_{-k}}[f(x_k, x_{-k})]$$

De auteurs gaan ervan uit dat de ware PD een algebraïsche vorm $h^\phi_k(x_k)$ volgt, geparametriseerd door $\phi$. Deze vorm kan een bekende fysieke relatie vertegenwoordigen (bijv. logaritmisch, sinusvormig) tot aan schaalings- en biasconstanten.

Trainingsalgoritme

Het trainingsdoel minimaliseert een gecombineerde verliesfunctie $L_\lambda$ die een balans vindt tussen voorspellende nauwkeurigheid en de naleving van de PD-restrictie:
$$L_\lambda(h_\theta, h^\phi_k, f; LS) = (1 - \lambda)L_{tot}(h_\theta, f; LS) + \lambda L_{PD}(h_\theta, h^\phi_k; LS)$$
Waarbij:

• $L_{tot}$ de standaard mean squared error is op de trainingsset.
• $L_{PD}$ de gekwadrateerde afwijking meet tussen de geschatte PD van het model en de doel-functie $h^\phi_k$, geëvalueerd op een specifieke set punten $x_k$.
• $\lambda \in [0, 1]$ de afweging regelt.

Optimalisatiestrategie:
De auteurs stellen een alternerende optimalisatieprocedure voor (Algoritme 1):

1. Initialisatie: De doel-functie $h^\phi_k$ wordt gefit op de ruwe outputs voor een specifiek aantal epochs om $\phi$ te initialiseren.
2. Alternerende stappen: De modelparameters $\theta$ en de prior-parameters $\phi$ worden in afwisselende blokken bijgewerkt. Elke $S$ epochs wordt $\phi$ bijgewerkt om de PD-loss te minimaliseren gegeven de huidige $\theta$, en vervolgens wordt $\theta$ bijgewerkt om de gecombineerde loss te minimaliseren.
3. Datasetconstructie: Een cruciaal onderdeel is de constructie van een aparte dataset $LS_{PD}$ voor de restrictieterm. Deze dataset kan ofwel zijn:
   • In-distribution (ID): Samples getrokken uit de trainingsdistributie $p(x_k)$.
   • Linspace (L): Een set gelijkmatig verdeelde waarden die het inputdomein bestrijken (mogelijk verder reikend dan de trainingsdistributie). De auteurs beargumenteren dat het beperken op gelijkmatig verdeelde punten hels bij het model helpt te generaliseren naar slecht gesamplede regio's en OOD-data.

Belangrijkste Bijdragen

1. Nieuw EGL-framework voor Regressie: In tegenstelling tot voorgaande EGL-werken die gericht zijn op feature-belang in classificatie, beperkt deze aanpak de functionele vorm van de partial dependence in regressietaken, inclusief dynamische systemen.
2. Linspace Constraint Configuratie: Het papier introduceert en valideert empirisch het gebruik van "linspace"-restricties (het beperken van PD op gelijkmatig verdeelde punten over het domein) als een superieur alternatief voor in-distributie restricties. Deze configuratie dwingt het model om de correcte functionele vorm te leren, zelfs in regio's met schaarse trainingsdata.
3. Robuustheid tegen Datatekort en OOD-verschuivingen: De methode blijkt bijzonder effectief in scenario's met weinig data en wanneer test-time data verschuift buiten de trainingsdistributie.
4. Vergelijking met Physics-Informed ML: De auteurs vergelijken hun single-model restrictie-aanpak met physics-informed hybride modellen (bijv. APHYNITY, PD-hybrid). Ze demonstreren dat hun methode vaak een betere voorspellende prestatie en meer getrouwe PD-schattingen oplevert, vooral wanneer het onderliggende probleem niet strikt voldoet aan de additiviteitsveronderstellingen die vereist zijn voor hybride modellen.

Experimentele Resultaten

De auteurs evalueerden de methode op synthetische problemen (Friedman, Product), real-world datasets (Concrete Compressive Strength, PHALK) en een dynamisch systeem (Damped Pendulum).

• Voorspellende Prestaties: Modellen getraind met PD-restricties presteerden consequent beter dan onbeperkte modellen, vooral naarmate de trainingssteekproefgrootte afnam (bijv. 50 samples). In veel gevallen bereikten de beperkte modellen getraind op 50 samples een prestatie die vergelijkbaar was met onbeperkte modellen getraind op 300 samples.
• Kwaliteit van de Verklaring: De PD-schattingen van de beperkte modellen stemden aanzienlijk beter overeen met de voorkennis (ground truth of benadering) dan die van onbeperkte modellen.
• Linspace vs. In-Distribution: In alle experimenten presteerden linspace-restricties (het beperken op gelijkmatig verdeelde punten) over het algemeen beter dan in-distributie restricties. Dit was bijzonder zichtbaar in extrapolatiescenario's waar testdata buiten het trainingsdomein viel. Linspace-restricties hielpen de impact van domeinverschuivingen te dempen, terwijl in-distributie restricties vaak faalden om te generaliseren buiten het trainingsbereik.
• Robuustheid tegen Mis-gespecificeerde Kennis: Zelfs wanneer de voorkennis imperfect was (bijv. uitgaande van een wortelrelatie in plaats van een logaritmische, of het gebruik van een Fourier-reeks met onjuiste frequenties), bleven de met linspace beperkte modellen robuust. Ze presteerden vaak beter dan onbeperkte modellen en produceerden in extrapolatiesituaties PD-vormen die dichter bij de ware onderliggende functie lagen dan modellen getraind met in-distributie restricties.
• Dynamische Systemen: De methode werd succesvol uitgebreid naar voorspellingen van dynamische systemen (Neural ODEs), waarbij verbeterde trajectvoorspelling en PD-alignement werd getoond, met name wanneer initiële toestanden out-of-distribution waren.

Betekenis en Claims

Het artikel claimt dat het sturen van neurale netwerken via partial dependence-restricties een krachtig mechanisme is voor explanation-guided learning in regressie. De primaire betekenis ligt in het vermogen om:

• Datamente-efficiëntie te verbeteren: Een hoge voorspellende nauwkeurigheid bereiken met aanzienlijk minder trainingssamples door gebruik te maken van functionele voorkennis.
• Generalisatie te verbeteren: Modellen produceren die beter generaliseren naar out-of-distribution data door de correcte functionele vorm over het gehele inputdomein af te dwingen, niet alleen waar data dicht genoeg is.
• Getrouwe Verklaringen te Garanderen: Garanderen dat de interpreteerbaarheid van het model (via PD-plots) de kennis van de domeinexpert weerspiegelt, waardoor wordt voorkomen dat het model "correcte" voorspellingen leert om "foutieve" redenen.

De auteurs merken op dat hoewel de methode hogere computationele kosten met zich meebrengt door de schatting van partial dependence (wat evaluaties van het model over meerdere feature-combinaties vereist), dit een beheersbare afweging is voor scenario's met weinig data waar generalisatie en interpreteerbaarheid van cruciaal belang zijn. Zij concluderen dat deze aanpak een meer generieke alternatief biedt voor physics-informed hybride modellen, omdat het geen expliciete additieve decompositie van het probleem vereist.