Improved Predictive Performance and Interpretability for Mesomorphic Neural Networks Using Local Fidelity Regularization

Technisches Resümee: Verbesserte prädiktive Leistung und Interpretierbarkeit für mesomorphe neuronale Netze mittels Local Fidelity Regularization

Problemstellung
Interpretierbare mesomorphe neuronale Netze (IMNs) wurden vorgeschlagen, um die Lücke zwischen der prädiktiven Leistungsfähigkeit von Deep Learning und der Interpretierbarkeit linearer Modelle zu schließen. In einem IMN generiert ein Backbone aus einem neuronalen Netz dynamisch die Gewichte für eine lineare Ausgabeschicht, was eine instanzweise Merkmalsattribution ermöglicht. Die ursprüngliche Formulierung leidet jedoch unter einer kritischen Schwachstelle: Das Modell ist unterdeterminiert. Da das Backbone des neuronalen Netzes hochgradig expressiv ist, kann es eine optimale prädiktive Leistung erzielen, indem es die gesamte erklärende Varianz in ein einzelnes Gewicht (oft den Intercept) kollabieren lässt und andere unterdrückt. Dieses „degenerate“ Verhalten führt dazu, dass die Vorhersagen zwar mathematisch korrekt, die Interpretationen jedoch völlig unzutreffend in Bezug auf die zugrunde liegenden Datenbeziehungen sind. Paradoxerweise verschärft die ursprünglich vorgeschlagene L1-Strafe, die Sparsamkeit fördern soll, dieses Problem, indem sie solche degenerierten Konfigurationen begünstigt.

Methodik: Local Fidelity Regularization (LFR)
Um dies zu adressieren, führen die Autoren die Local Fidelity Regularization (LFR) ein, einen neuartigen Strafterm, der darauf abzielt, die generierten linearen Gewichte mit den lokalen Variationen in den Trainingsdaten in Einklang zu bringen.

• Theoretische Grundlage: Idealerweise sollten die generierten Gewichte $w_j(x_i, \theta)$ den partiellen Ableitungen der Vorhersagefunktion bezüglich jedes Merkmals ($\nabla f(x_i)$) entsprechen. Die Verwendung analytischer Gradienten ist jedoch rechenintensiv (erfordert Double Backpropagation) und neigt dazu, infinitesimales Rauschen statt makroskopischer Trends zu erfassen.
• SMOTE-inspirierte Interpolation: Um diese Probleme zu umgehen, vermeidet LFR exakte Ableitungen. Stattdessen konstruiert es eine lokale Nachbarschaft um einen Ankerpunkt $x_i$, indem synthetische Stichproben mittels einer Strategie erzeugt werden, die der Synthetic Minority Over-sampling Technique (SMOTE) nachempfunden ist. Für einen gegebenen Anker werden $K$ synthetische Punkte $\tilde{x}_k$ durch lineare Interpolation mit benachbarten Datenpunkten erstellt: $\tilde{x}_k = x_i + \alpha_k(x' - x_i)$.
• Der Strafterm: Der LFR-Verlust ($L_{LFR}$) erzwingt, dass die am Ankerpunkt $x_i$ verankerte lineare Approximation (unter Verwendung der generierten Gewichte) korrekt auf die Vorhersage des vollen neuronalen Netzes an diesen synthetischen Punkten extrapoliert. Der Strafterm ist der mittlere quadratische Unterschied zwischen der linearen Extrapolation und dem Forward Pass des vollen Netzwerks über die synthetische Nachbarschaft hinweg.
• Optimierung: Die gesamte Zielfunktion kombiniert den ursprünglichen Vorhersageverlust, die L1-Sparsitätsstrafe und den neuen LFR-Strafterm. Die Autoren schlagen eine Abstimmungsstrategie unter Verwendung eines zusammengesetzten Scores $S(\gamma)$ vor, der die prädiktive Leistung (z. B. AUROC oder $R^2$) und die Erklärungstreue (gemessen an der Reduktion der Infidelity gegenüber dem unregulierten Modell) ausbalanciert.

Zentrale Beiträge

1. Neuartiger Regularisierungsmechanismus: Die Einführung von LFR, das den Gewichtskollaps verhindert, indem es Interpretationen durch lokale Treue-Constraints (Fidelity Constraints) in der geometrischen Struktur der Daten verankert.
2. Duale Leistungsverbesserung: Empirische Belege zeigen, dass LFR nicht nur Interpretationsfehler behebt, sondern auch die prädiktive Leistung konsistent verbessert und Ergebnisse liefert, die mit State-of-the-Art Black-Box-Modellen konkurrieren können.
3. Open-Source-Implementierung: Eine modulare Python-Implementierung des LFR-IMN-Frameworks mit einer scikit-learn-ähnlichen API, die öffentlich zugänglich gemacht wurde.

Experimentelle Ergebnisse
Die Autoren evaluieren die vorgeschlagene Methode anhand synthetischer und realer Benchmarks:

• Synthetische Experimente: Auf einem synthetischen Datensatz mit bekannten Ground-Truth-Lokaleffekten (einschließlich Interaktionstermen) versagte das unregulierte IMN darin, die wahren Effekte zu rekonstruieren, indem es die Merkmalsgewichte gegen Null trieb und die Magnitude in den Intercept absorbierte. Im Gegensatz dazu rekonstruierte LFR-IMN erfolgreich die wahren lokalen Gradienten. Bemerkenswerterweise erreichte LFR-IMN bei Verwendung eines komplexen TabResNet-Backbones einen signifikant niedrigeren Test-MSE (0,0244) im Vergleich zum unregulierten IMN (0,0444), was zeigt, dass Interpretationsbeschränkungen die Generalisierung verbessern können.
• XAI-Bench Evaluierung: Unter Verwendung des XAI-Bench-Frameworks mit bekannten Ground-Truth-Wichtigkeiten verglichen die Autoren LFR-IMN mit dem unregulierten IMN und Standard-Post-hoc-Explainern (LIME, SHAP), die auf Black-Box-Modellen angewendet wurden. Die Studie nutzte eine neue Metrik, Scaled Infidelity, um die Genauigkeit lokaler Gradienten zu messen. Die Ergebnisse zeigten, dass LFR-IMN hochgradig treue Erklärungen lieferte und gleichzeitig die prädiktive Genauigkeit (AUROC) gegenüber der unregulierten Baseline beibehielt oder verbesserte.
• Real-World Benchmarks: Evaluierungen über die OpenML-Benchmark-Suite hinweg zeigten, dass LFR-IMN AUROC-Scores erreichte, die hochgradig konkurrenzfähig mit Top-Tier-Methoden wie CatBoost und TabNet sind, ohne die Genauigkeit zugunsten der Erklärbarkeit zu opfern.

Bedeutung und Ansprüche
Das Paper behauptet, dass LFR-IMN einen dualen Nutzen bietet: Es garantiert zuverlässige, treue Interpretationen, indem es das Modell daran hindert, degenerative Lösungen auszunutzen, und verbessert gleichzeitig die prädiktive Leistung. Die Autoren argumentieren, dass – entgegen der gängigen Annahme eines Trade-offs zwischen Genauigkeit und Interpretierbarkeit – die Erzwingung lokaler Treue zu robusteren Entscheidungsgrenzen führen kann. Die Methode wird als praktische Lösung für sicherheitskritische Anwendungen (z. B. Gesundheitswesen, Finanzen) präsentiert, in denen sowohl hohe Leistung als auch vertrauenswürdige Erklärungen Voraussetzung sind. Die Arbeit wird durch ein Open-Source-Repository unterstützt, um die Adoption und weitere Forschung zu erleichtern.