Cross-Model Consistency of Feature Importance in Electrospinning: Separating Robust from Model-Dependent Features

Technische Samenvatting: Cross-Model Consistentie van Feature Importance in Electrospinning

Probleemstelling
Electrospinning is een uiterst gevoelig nanofabricageproces waarbij kleine variaties in bedrijfsparameters (bijv. oplossingconcentratie, spanning, debiet) de vezelmorfologie en materiaaleigenschappen aanzienlijk bepalen. Hoewel machine learning (ML) steeds vaker wordt gebruikt om deze proces-structuurrelaties te modelleren en feature importance af te leiden, vertrouwen de meeste bestaande studies op een enkel model. Deze aanpak gaat impliciet uit van de betrouwbaarheid en de weerspiegeling van de onderliggende fysica van de resulterende feature importance. Echter, in het "kleine-data-regime" dat kenmerkend is voor electrospinning-onderzoek (vaak gekenmerkt door beperkte, heterogene datasets), kunnen verschillende modelfamilies dezelfde data met vergelijkbare nauwkeurigheid aanpassen terwijl ze fundamenteel verschillende interne representaties leren. Bijgevolg kunnen conclusies over feature importance die uit een enkel model worden getrokken, de inductieve bias van het model weerspiegelen in plaats van ware fysische relaties, wat leidt tot potentieel onbetrouwbare experimentele richtlijnen.

Methodologie
Om het gebrek aan systematische evaluatie met betrekking tot de consistentie van feature importance over verschillende modellen aan te pakken, voerden de auteurs een cross-model analyse uit met behulp van een gecureerde dataset van 96 polyvinylalcohol (PVA) electrospinning-experimenten. De studie hanteerde het volgende methodologische raamwerk:

• Dataset: De data, afkomstig van Ziabari et al. en de Cogni-e-SpinDB, gebruikte een Response Surface Methodology (RSM)-ontwerp met vier inputfactoren (oplossingconcentratie, aangelegde spanning, debiet, tip-tot-collector-afstand) die elk op vier niveaus werden bemonsterd. De doeloutput was de gemiddelde vezeldiameter.
• Modeldiversiteit: Eenentwintig verschillende modellen uit vijf families werden getraind om een brede dekking van inductieve bias te waarborgen:
  • Lineair: Lineaire Regressie, Ridge, Lasso, Elastic Net.
  • Op bomen gebaseerd: Random Forest, Gradient Boosting, XGBoost, LightGBM, AdaBoost, Decision Tree, Histogram-based Gradient Boosting.
  • Op kernels gebaseerd: Support Vector Regression (SVR) met RBF- en polynoomkernels.
  • Neurale netwerken: Multi-Layer Perceptrons (MLP) met variërende configuraties.
  • Op instanties gebaseerd: K-Nearest Neighbors (KNN).
• Kwantificering van Feature Importance: SHAP (SHapley Additive exPlanations)-waarden werden consistent berekend voor alle modellen (met TreeSHAP voor op bomen gebaseerde modellen en KernelSHAP voor de anderen) om globale importantiescores te genereren.
• Betrouwbaarheidsanalyse: Een op rang gebaseerde analyse werd uitgevoerd om onderlinge modelovereenkomst te kwantificeren. Belangrijke metrieken omvatten:
  • Gemiddelde rang ($\bar{r}_j$) en standaardafwijking van rang ($\sigma_{rj}$) voor elke feature.
  • Spearman-rangcorrelatie tussen modelparen.
  • Top-$k$ overeenkomstanalyse om consensus over de meest invloedrijke features te meten.

Belangrijkste Resultaten
De studie onthulde een kritiek onderscheid tussen voorspellende prestaties en interpretatieve betrouwbaarheid:

1. Voorspellende Prestaties: Op bomen gebaseerde ensemblemodellen behaalden de hoogste voorspellende nauwkeurigheid ($R^2 \approx 0,9$), gevolgd door op kernels gebaseerde en op instanties gebaseerde methoden. Lineaire modellen vertoonden gematigde prestaties, terwijl neurale netwerken lagere en minder stabiele resultaten lieten zien, consistent met de beperkingen van kleine trainingssets. Cruciaal is dat een aanzienlijke subset van modellen uit verschillende families vergelijkbare nauwkeurigheid behaalde, waardoor aan de voorwaarde werd voldaan om verschillen in feature importance te isoleren van verschillen in voorspellende kwaliteit.
2. Consistentie van Feature Importance:
   • Oplossingconcentratie: Geïdentificeerd als een volledig robuuste parameter. Het werd door elk enkel model gerangschikt als de meest invloedrijke feature (Rang 1) met nul variantie ($\sigma_r = 0$). Dit sluit aan bij domeinkennis met betrekking tot viscositeit en verstrengeling van polymeerketens.
   • Debiet en Aangelegde Spanning: Deze parameters vertoonden hoge variabiliteit in hun rangschikkingen ($\sigma_r > 0,9$). Hun schijnbare belang was sterk modelafhankelijk; bijvoorbeeld, het debiet varieerde van matig belangrijk tot de minst invloedrijke, afhankelijk van de modelfamilie.
   • Tip-tot-collector-afstand: Vertoonde intermediaire betrouwbaarheid ($\sigma_r = 0,526$), met gematigde stabiliteit maar lagere consistentie in de gemiddelde rang.
3. Onderlinge Modelovereenkomst: De gemiddelde paarwijze Spearman-rangcorrelatie over alle modelparen was 0,584, wat slechts een gematigde algehele overeenkomst aangeeft. Hoewel op bomen gebaseerde modellen een hogere interne correlatie vertoonden, werd een significante divergentie waargenomen tussen fundamenteel verschillende families (bijv. lineair versus neurale netwerken). Top-1 overeenkomst was perfect (1,000), maar dit daalde naar 0,778 voor de top-3 features.

Belangrijkste Bijdragen

• Empirisch Bewijs van Modelafhankelijkheid: Het artikel biedt de eerste systematische evaluatie die aantoont dat conclusies over feature importance in electrospinning niet universeel consistent zijn over modelfamilies, zelfs niet wanneer de voorspellende nauwkeurigheid vergelijkbaar is.
• Raamwerk voor Betrouwbaarheidsspectrum: Het introduceert een methode om te onderscheiden tussen "robuuste" features (consistent over modellen) en "modelafhankelijke" features (gevoelig voor modelkeuze), wat een principiële basis biedt voor het interpreteren van ML-resultaten in kleine-data-regimes.
• Validatie van Domeinkennis: De studie bevestigt dat alleen oplossingconcentratie robuust wordt geïdentificeerd als de dominante drijfveer, wat fysische intuïtie valideert terwijl het de onbetrouwbaarheid benadrukt van het afleiden van het belang van andere parameters uit output van een enkel model.

Betekenis en Claims
De auteurs stellen dat voorspellende prestaties en interpretatieve betrouwbaarheid onderscheiden eigenschappen zijn van een machine learning-model. De centrale claim is dat in kleine experimentele datasets, feature importance die uit een enkel model is afgeleid, een onerkende risico met zich meebrengt dat deze wordt gedreven door de inductieve bias van het model in plaats van de onderliggende proces-structuur-eigenschapsrelaties.

Het artikel concludeert dat het vertrouwen op een enkel model voor interpretatieve inzichten in electrospinning riskant is en kan leiden tot verspilde experimentele inspanning. In plaats daarvan pleiten de auteurs voor cross-model validatie als een noodzakelijke stap om te waarborgen dat geïdentificeerde parameters werkelijk invloedrijk zijn. Deze aanpak wordt gepresenteerd als breed toepasbaar op andere domeinen waar ML wordt gebruikt om feature importance af te leiden uit beperkte data, en biedt een raamwerk om de betrouwbaarheid van interpretatieve conclusies onder modelonzekerheid te beoordelen. De studie claimt niet het kleine-data-probleem zelf op te lossen, maar biedt eerder een methode om het risico te mitigeren van het trekken van onbetrouwbare conclusies uit dergelijke data.