Cross-Model Consistency of Feature Importance in Electrospinning: Separating Robust from Model-Dependent Features

Resumen Técnico: Consistencia Intermodelo de la Importancia de Características en la Electrohilado

Enunciado del Problema
El electrohilado es un proceso de nanofabricación altamente sensible donde pequeñas variaciones en los parámetros operativos (por ejemplo, concentración de la solución, voltaje, caudal) dictan significativamente la morfología de las fibras y el rendimiento del material. Aunque el aprendizaje automático (ML) se utiliza cada vez más para modelar estas relaciones proceso-estructura e inferir la importancia de las características, la mayoría de los estudios existentes se basan en un único modelo. Este enfoque asume implícitamente que la importancia de las características resultante es fiable y refleja la física subyacente. Sin embargo, en el "régimen de datos pequeños" típico de la investigación en electrohilado (a menudo caracterizado por conjuntos de datos limitados y heterogéneos), diferentes familias de modelos pueden ajustar los mismos datos con una precisión comparable mientras aprenden representaciones internas fundamentalmente distintas. En consecuencia, las conclusiones sobre la importancia de las características derivadas de un solo modelo pueden reflejar los sesgos inductivos del modelo en lugar de las relaciones físicas reales, lo que conduce a una orientación experimental potencialmente poco fiable.

Metodología
Para abordar la falta de una evaluación sistemática sobre la consistencia de la importancia de las características entre diferentes modelos, los autores realizaron un análisis intermodelo utilizando un conjunto de datos curado de 96 experimentos de electrohilado de alcohol polivinílico (PVA). El estudio empleó el siguiente marco metodológico:

• Conjunto de datos: Los datos, obtenidos de Ziabari et al. y Cogni-e-SpinDB, utilizaron un diseño de Metodología de Superficie de Respuesta (RSM) con cuatro factores de entrada (concentración de la solución, voltaje aplicado, caudal, distancia punta-colector) muestreados en cuatro niveles cada uno. La variable de salida objetivo fue el diámetro medio de la fibra.
• Diversidad de modelos: Se entrenaron veintiún modelos distintos que abarcan cinco familias para garantizar una cobertura amplia de sesgos inductivos:
  • Lineales: Regresión Lineal, Ridge, Lasso, Elastic Net.
  • Basados en árboles: Random Forest, Gradient Boosting, XGBoost, LightGBM, AdaBoost, Árbol de Decisión, Gradient Boosting basado en histogramas.
  • Basados en kernels: Regresión de Vectores de Soporte (SVR) con kernels RBF y polinómicos.
  • Redes Neuronales: Perceptrones Multicapa (MLP) con configuraciones variables.
  • Basados en instancias: K-Vecinos Más Cercanos (KNN).
• Cuantificación de la importancia de las características: Se calcularon valores SHAP (SHapley Additive exPlanations) de manera consistente en todos los modelos (utilizando TreeSHAP para modelos basados en árboles y KernelSHAP para los demás) para generar puntuaciones de importancia global.
• Análisis de fiabilidad: Se realizó un análisis basado en rangos para cuantificar el acuerdo intermodelo. Las métricas clave incluyeron:
  • Rango medio ($\bar{r}_j$) y desviación estándar del rango ($\sigma_{rj}$) para cada característica.
  • Correlación de rangos de Spearman entre pares de modelos.
  • Análisis de acuerdo Top-$k$ para medir el consenso sobre las características más influyentes.

Resultados Clave
El estudio reveló una distinción crítica entre el rendimiento predictivo y la fiabilidad interpretativa:

1. Rendimiento predictivo: Los conjuntos basados en árboles lograron la mayor precisión predictiva ($R^2 \approx 0.9$), seguidos por los métodos basados en kernels y los basados en instancias. Los modelos lineales mostraron un rendimiento moderado, mientras que las redes neuronales exhibieron resultados más bajos y menos estables, consistente con las limitaciones de los conjuntos de entrenamiento pequeños. Crucialmente, un subconjunto sustancial de modelos de diferentes familias logró una precisión comparable, satisfaciendo la condición necesaria para aislar las diferencias en la importancia de las características de las diferencias en la calidad predictiva.
2. Consistencia de la importancia de las características:
   • Concentración de la solución: Identificada como un parámetro totalmente robusto. Fue clasificada como la característica más influyente (Rango 1) por cada modelo individual con cero varianza ($\sigma_r = 0$). Esto se alinea con el conocimiento del dominio sobre la viscosidad y el enredo de las cadenas poliméricas.
   • Caudal y voltaje aplicado: Estos parámetros exhibieron una alta variabilidad en sus clasificaciones ($\sigma_r > 0.9$). Su importancia aparente fue fuertemente dependiente del modelo; por ejemplo, el caudal osciló de moderadamente importante a la menos influyente dependiendo de la familia del modelo.
   • Distancia punta-colector: Mostró fiabilidad intermedia ($\sigma_r = 0.526$), con estabilidad moderada pero menor consistencia en el rango medio.
3. Acuerdo intermodelo: La correlación de rangos de Spearman media por pares a través de todos los pares de modelos fue de 0.584, lo que indica un acuerdo general solo moderado. Aunque los modelos basados en árboles mostraron una correlación interna más alta, se observó una divergencia significativa entre familias fundamentalmente diferentes (por ejemplo, lineales frente a redes neuronales). El acuerdo Top-1 fue perfecto (1.000), pero esto disminuyó a 0.778 para las tres características principales.

Contribuciones Clave

• Evidencia empírica de la dependencia del modelo: El artículo proporciona la primera evaluación sistemática que demuestra que las conclusiones sobre la importancia de las características en el electrohilado no son universalmente consistentes entre las familias de modelos, incluso cuando la precisión predictiva es comparable.
• Marco del espectro de fiabilidad: Introduce un método para distinguir entre características "robustas" (consistentes entre modelos) y características "dependientes del modelo" (sensibles a la elección del modelo), ofreciendo una base principista para interpretar los resultados de ML en regímenes de datos pequeños.
• Validación del conocimiento del dominio: El estudio confirma que solo la concentración de la solución se identifica de manera robusta como el impulsor dominante, validando la intuición física mientras destaca la falta de fiabilidad de inferir la importancia de otros parámetros a partir de salidas de un solo modelo.

Significado y Afirmaciones
Los autores afirman que el rendimiento predictivo y la fiabilidad interpretativa son propiedades distintas de un modelo de aprendizaje automático. La afirmación central es que, en conjuntos de datos experimentales pequeños, la importancia de las características derivada de un solo modelo conlleva un riesgo no reconocido de estar impulsada por los sesgos inductivos del modelo en lugar de las relaciones subyacentes proceso-estructura-propiedad.

El artículo concluye que confiar en un único modelo para obtener conocimientos interpretativos en el electrohilado es arriesgado y puede llevar a un desperdicio de esfuerzo experimental. En cambio, los autores abogan por la validación intermodelo como un paso necesario para garantizar que los parámetros identificados sean verdaderamente influyentes. Este enfoque se presenta como ampliamente aplicable a otros dominios donde el ML se utiliza para inferir la importancia de las características a partir de datos limitados, ofreciendo un marco para evaluar la fiabilidad de las conclusiones interpretativas bajo incertidumbre del modelo. El estudio no afirma resolver el problema de los datos pequeños en sí mismo, sino que proporciona un método para mitigar el riesgo de extraer conclusiones poco fiables de dichos datos.