Improved Predictive Performance and Interpretability for Mesomorphic Neural Networks Using Local Fidelity Regularization

Technische Samenvatting: Verbeterde Voorspellende Prestaties en Interpreteerbaarheid voor Mesomorfe Neurale Netwerken Middels Local Fidelity Regularization

Probleemstelling
Interpreteerbare Mesomorfe Neurale Netwerken (IMNs) werden voorgesteld om de kloof te overbruggen tussen het voorspellende vermogen van deep learning en de interpreteerbaarheid van lineaire modellen. In een IMN genereert een neurale netwerkbackbone dynamisch gewichten voor een lineaire outputlaag, wat zorgt voor instantie-specifieke feature-attributie. De oorspronkelijke formulering lijdt echter aan een kritieke kwetsbaarheid: het model is onderbepaald. Omdat de neurale netwerkbackbone zeer expressief is, kan het een optimale voorspellende prestatie bereiken door alle verklarende variantie te laten instorten in een enkel gewicht (vaak de intercept) terwijl andere gewichten worden onderdrukt. Dit "degeneratieve" gedrag resulteert in voorspellingen die wiskundig accuraat zijn, maar interpretaties die volledig ongetrouw zijn aan de onderliggende datarelaties. Paradoxaal genoeg verergert de oorspronkelijk voorgestelde L1-straf, die bedoeld was om schaarste te stimuleren, dit probleem door dergelijke degeneratieve configuraties te stimuleren.

Methodologie: Local Fidelity Regularization (LFR)
Om dit aan te pakken, introduceren de auteurs Local Fidelity Regularization (LFR), een nieuwe strafterm die ontworft is om de gegenereerde lineaire gewichten af te stemmen op de lokale variaties die aanwezig zijn in de trainingsdata.

• Theoretische Basis: Ideaal gezien zouden de gegenereerde gewichten $w_j(x_i, \theta)$ moeten corresponderen met de partiële afgeleiden van de voorspellingsfunctie ten opzichte van elke feature ($\nabla f(x_i)$). Het vertrouwen op analytische gradiënten is echter computationeel duur (vereist double backpropagation) en is gevoelig voor het opvangen van infinitesimale ruis in plaats van macroscopische trends.
• SMOTE-geïnspireerde Interpolatie: Om deze problemen te omzeilen, vermijdt LFR exacte afgeleiden. In plaats daarvan construeert het een lokale buurt rond een ankerpunt $x_i$ door synthetische samples te genereren met een strategie geïnspireerd op de Synthetic Minority Over-sampling Technique (SMOTE). Voor een gegeven anker worden $K$ synthetische punten $\tilde{x}_k$ gecreëerd via lineaire interpolatie met naburige datapunten: $\tilde{x}_k = x_i + \alpha_k(x' - x_i)$.
• De Straf: De LFR-loss ($L_{LFR}$) dwingt af dat de lineaire extrapolatie verankerd bij $x_i$ (met behulp van de gegenereerde gewichten) accuraat extrapoleert naar de volledige voorspelling van het neurale netwerk bij deze synthetische punten. De straf is het gemiddelde kwadratische verschil tussen de lineaire extrapolatie en de volledige forward pass van het netwerk over de synthetische buurt.
• Optimalisatie: De totale doelfunctie combineert de oorspronkelijke voorspellingsverlies, de L1-schaarstestraf en de nieuwe LFR-straf. De auteurs stellen een afstemstrategie voor met behulp van een composiete score $S(\gamma)$ die de voorspellende prestaties (bijv. AUROC of $R^2$) en de verklarende getrouwheid (gemeten als de reductie in infideliteit ten opzichte van het ongeregulariseerde model) in evenwicht brengt.

Belangrijkste Bijdragen

1. Nieuw Regularisatiemechanisme: De introductie van LFR, die gewichtscollaps voorkomt door interpretaties te funderen in de geometrische structuur van de data via lokale getrouwheidsrestricties.
2. Dubbele Prestatieverbetering: Empirisch bewijs dat LFR niet alleen de interpreteerbaarheidsgebreken oplost, maar ook de voorspellende prestaties consistent verbetert, met resultaten die competitief zijn met state-of-the-art black-box modellen.
3. Open-Source Implementatie: Een modulaire Python-implementatie van het LFR-IMN-framework met een scikit-learn-stijl API, die publiekelijk beschikbaar is gemaakt.

Experimentele Resultaten
Het papier evalueert de voorgestelde methode over synthetische en real-world benchmarks:

• Synthetische Experimenten: Op een synthetische dataset met bekende grondwaarheid-lokale effecten (inclusclusief interactietermen), faalde de ongeregulariseerde IMN om de ware effecten te herstellen, waarbij de featuregewichten naar bijna nul werden gedreven en de magnitude werd geabsorbeerd in de intercept. In tegenstelling hiertoe slaagde LFR-IMN erin de ware lokale gradiënten te herstellen. Opvallend genoeg, bij het gebruik van een complexe TabResNet-backbone, behaalde LFR-IMN een aanzienlijk lagere test MSE (0.0244) vergeleken met de ongeregulariseerde IMN (0.0444), wat aantoont dat interpreteerbaarheidsrestricties de generalisatie kunnen verbeteren.
• XAI-Bench Evaluatie: Gebruikmakend van het XAI-Bench framework met bekende grondwaarheid-importances, vergeleken de auteurs LFR-IMN met de ongeregulariseerde IMN en standaard post-hoc explainers (LIME, SHAP) toegepast op black-box modellen. De studie maakte gebruik van een nieuwe metriek, Scaled Infidelity, om de accuratesse van lokale gradiënten te meten. De resultaten gaven aan dat LFR-IMN zeer getrouwe verklaringen bood terwijl de voorspellende nauwkeurigheid (AUROC) behouden bleef of verbeterde ten opzichte van de ongeregulariseerde baseline.
• Real-World Benchmarks: Evaluaties over de OpenML benchmark suite toonden aan dat LFR-IMN AUROC-scores behaalde die zeer competitief zijn met top-tier methoden zoals CatBoost en TabNet, zonder de nauwkeurigheid op te offeren voor de sake van verklaarbaarheid.

Betekenis en Claims
Het papier claimt dat LFR-IMN een dubbel voordeel biedt: het garandeert betrouwbare, getrouwe interpretaties door het model te voorkomen dat het degeneratieve oplossingen exploiteert, en het verbetert tegelijkertijd de voorspellende prestaties. De auteurs argumenteren dat, in tegenstelling tot de algemene aanname van een trade-off tussen nauwkeurigheid en interpreteerbaarheid, het afdwingen van lokale getrouwheid kan leiden tot robuustere beslissingsgrenzen. De methode wordt gepresenteerd als een praktische oplossing voor veiligheidskritische toepassingen (bijv. gezondheidszorg, financiën) waar zowel hoge prestaties als betrouwbare verklaringen een vereiste zijn. Het werk wordt ondersteund door een open-source repository om adoptie en verder onderzoek te faciliteren.