A Reproducible Log-Driven AutoML Framework for Interpretable Pipeline Optimization in Healthcare Risk Prediction

Resumen Técnico: Un Marco AutoML Basado en Registros Reproducible para la Optimización de Pipelines Interpretables en la Predicción de Riesgos Sanitarios

Enunciado del Problema
La predicción precisa y reproducible de riesgos de enfermedades en el ámbito sanitario se ve obstaculizada por características heterogéneas, tamaños de muestra limitados y un desequilibrio de clases severo. Aunque el Aprendizaje Automático Automatizado (AutoML) ha surgido para reducir el esfuerzo manual, los marcos existentes (por ejemplo, Auto-sklearn, TPOT, AutoGluon) se centran predominantemente en la selección de modelos y el ajuste de hiperparámetros. A menudo tratan los pasos de preprocesamiento —como la selección de características, la normalización y la aumento de datos— como componentes fijos o débilmente optimizados. En consecuencia, las interacciones complejas entre las estrategias de preprocesamiento y los algoritmos de aprendizaje permanecen poco exploradas, particularmente en conjuntos de datos clínicos pequeños y desequilibrados. Además, la naturaleza estocástica de muchos procesos de búsqueda de AutoML limita la interpretabilidad, la reproducibilidad y la capacidad de analizar sistemáticamente el comportamiento del pipeline.

Metodología: El Marco yvsoucom-iterkit
Los autores proponen yvsoucom-iterkit, un marco AutoML determinista y basado en registros que redefine la optimización de pipelines como un sistema completamente reproducible a nivel de configuración. A diferencia de los métodos de búsqueda estocástica, este marco emplea enumeración determinista para explorar un espacio de búsqueda combinatorio unificado ($\mathcal{P}$) definido por el producto cartesiano de diez componentes configurables:

1. Estrategia de selección de características ($F$) y cantidad ($K$)
2. Método de normalización ($N$) y orden ($O$)
3. Método de aumento de datos ($A$)
4. Método de manejo del desequilibrio ($B$)
5. Modelo de clasificación ($M$)
6. Proporción de división entrenamiento/prueba ($S$)
7. Umbral de decisión ($T$)
8. Semilla aleatoria ($R$)

Características Arquitectónicas Clave:

• Ejecución Basada en Registros: Cada configuración de pipeline se codifica como una entidad de registro rastreable. El sistema genera registros estructurados para todos los detalles experimentales, incluidas configuraciones, pasos de preprocesamiento, parámetros del modelo, salidas intermedias y métricas de evaluación. Esto garantiza una trazabilidad completa desde la configuración hasta el resultado.
• Enumeración Determinista: El marco pre-enumerar todas las ramas de pipeline válidas, permitiendo una exploración sistemática y exhaustiva (o controlada) del espacio de búsqueda sin depender de búsquedas heurísticas o probabilísticas.
• Análisis Multinivel: El marco admite un enfoque analítico jerárquico:
  • Nivel de Rama: Análisis de distribuciones globales de métricas y agrupamiento.
  • Nivel de Pipeline: Identificación de configuraciones de alto rendimiento.
  • Nivel de Componente: Agregación de estadísticas de rendimiento (media, varianza) para valores individuales de componentes para aislar sus efectos.
  • Interacción Cruzada de Componentes: Análisis de distribuciones conjuntas para revelar dependencias entre componentes.
  • Robustez: Evaluación de la estabilidad a través de múltiples semillas aleatorias utilizando pruebas no paramétricas (Friedman, Wilcoxon) y Puntuaciones de Rango Normalizadas de Robustez (NRRS).
• Análisis de Similitud: Un análisis de diferencia de Raíz Cuadrática Media (RMS) a nivel de valor cuantifica la redundancia funcional entre diferentes valores de componentes (por ejemplo, comparando "MixUp" frente a "Sin Aumento").

Configuración Experimental
El marco fue evaluado en dos conjuntos de datos sanitarios representativos:

1. Diabetes de los Indios Pima: Un conjunto de datos a pequeña escala, moderadamente desequilibrado, con características puramente numéricas.
2. Conjunto de Datos de Accidente Cerebrovascular Sanitario: Un conjunto de datos más complejo con características numéricas y categóricas mixtas y un desequilibrio de clases severo.

Los experimentos involucraron la ejecución de 18,720 configuraciones de pipeline (agrupadas en 3,120 colecciones de ramas de datos) a través de múltiples semillas aleatorias para evaluar el rendimiento y la robustez.

Resultados Clave

• Espacio de Búsqueda Estructurado y Redundante: La evaluación reveló que el espacio de búsqueda de AutoML es altamente estructurado y parcialmente redundante. Muchas configuraciones distintas producen un rendimiento casi equivalente, lo que sugiere una relación muchos-a-uno donde la dimensionalidad efectiva es significativamente menor que el espacio combinatorio.
• Importancia de los Componentes:
  • En el conjunto de datos Pima, el rendimiento está impulsado principalmente por el Aumento de Datos (importancia de Random Forest: 0.454 para Macro-F1), seguido por la Elección del Modelo (0.198) y el Manejo del Desequilibrio (0.101).
  • En el conjunto de datos de Accidente Cerebrovascular, el Manejo del Desequilibrio domina (0.406), seguido por el Orden de Normalización y la Elección del Modelo.
• Similitud y Redundancia de Componentes:
  • Las variantes de selección de características (biMax vs. biMean) mostraron una distancia RMS baja (0.0252), indicando intercambiabilidad.
  • El aumento MixUp coincidió estrechamente con "Sin Aumento" (RMS 0.0279), mientras que el ruido gaussiano mostró una mayor divergencia (0.10).
  • Los Enlaces Tomek para el manejo del desequilibrio se alinearon estrechamente con "Sin Manejo del Desequilibrio" (RMS 0.0325).
• Compensación entre Rendimiento y Robustez:
  • Los modelos de conjunto (Random Forest, XGBoost, Gradient Boosting) lograron el mejor equilibrio entre precisión y estabilidad. En Pima, alcanzaron un Macro-F1 de ~0.88 con baja variabilidad ($\sigma \approx 0.023–0.026$).
  • SVM alcanzó un rendimiento máximo alto (Macro-F1 $\approx 0.689$ en Pima) pero exhibió la mayor variabilidad ($\sigma \approx 0.029$), indicando sensibilidad a perturbaciones estocásticas.
  • Desafíos del Conjunto de Datos de Accidente Cerebrovascular: Aunque el Weighted-F1 fue alto (0.94), el Macro-F1 permaneció bajo (0.67) debido al desequilibrio de clases severo, destacando la dificultad de la predicción de la clase minoritaria en este dominio.

Significado y Afirmaciones
El artículo afirma que yvsoucom-iterkit desplaza el AutoML de un problema de optimización de "caja negra" a un proceso experimental transparente y analizable. Al tratar las configuraciones de pipelines como entidades deterministas y trazables mediante registros, el marco permite:

1. Exploración Sistemática: Cobertura exhaustiva del espacio de interacción entre preprocesamiento y modelado, que a menudo se pasa por alto en el AutoML centrado en modelos.
2. Interpretabilidad: La capacidad de descomponer los impulsores del rendimiento en componentes específicos (por ejemplo, identificar que la estrategia de aumento es más crítica que la cantidad de selección de características en el conjunto de datos Pima).
3. Evaluación de Robustez: Ir más allá de la optimización de una sola ejecución hacia una evaluación estadísticamente fundamentada que tenga en cuenta la variación estocástica, revelando que los modelos de alto rendimiento pueden carecer de estabilidad.
4. Reducción del Espacio de Búsqueda: La identificación de redundancia funcional permite la poda del espacio de búsqueda, guiando los esfuerzos futuros de AutoML para centrarse en componentes de alto impacto (elección de modelo, manejo del desequilibrio) en lugar del ajuste exhaustivo de todos los parámetros.

Los autores concluyen que la optimización efectiva de AutoML en el ámbito sanitario debe centrarse en un conjunto reducido de componentes interactivos, aprovechando los métodos de conjunto para la estabilidad y priorizando las estrategias de manejo del desequilibrio para conjuntos de datos con una fuerte asimetría de clases. El marco proporciona una base para la optimización de pipelines reproducible y consciente de la estructura que une la práctica empírica con consideraciones teóricas de las compensaciones entre sesgo y varianza.