Enhancing Automated Machine Learning via Homogeneous Train-Test Splitting Methods

Resumen Técnico: Mejora del Aprendizaje Automático Automatizado mediante Métodos de División Homogénea de Entrenamiento–Prueba

Planteamiento del Problema
La evaluación precisa de modelos en el aprendizaje automático (ML) y el aprendizaje automático automatizado (AutoML) depende fundamentalmente del supuesto de que los subconjuntos de entrenamiento y prueba comparten la misma distribución de datos subyacente. La división aleatoria estándar a menudo viola este supuesto ante la presencia de desequilibrio de clases, agrupamiento natural o autocorrelación espacial, lo que provoca desplazamientos distribucionales. En los flujos de trabajo de AutoML, donde los algoritmos y los hiperparámetros se seleccionan automáticamente, una partición de datos sesgada o inconsistente puede causar que el sistema se sobreajuste a las peculiaridades del entrenamiento, produciendo métricas de evaluación engañosamente sólidas y socavando la generalización del modelo. Aunque las estrategias existentes como el muestreo estratificado preservan las proporciones de clase y los métodos basados en la geometría (por ejemplo, Kennard–Stone, SPXY) maximizan la cobertura del espacio de características, ninguno optimiza explícitamente la similitud estadística entre las particiones resultantes. Esta brecha deja una incertidumbre crítica respecto a la fiabilidad de las estimaciones de rendimiento en diversos conjuntos de datos tabulares.

Metodología
Los autores realizaron una evaluación comparativa sistemática a través de quince conjuntos de datos de clasificación del repositorio UCI Machine Learning Repository, variando en tamaño (150 a 253,680 instancias), dimensionalidad (4 a 169 características) y tipo (numéricos, categóricos, mixtos). El estudio evaluó seis estrategias de división:

1. División Aleatoria (Random Splitting): Asignación aleatoria uniforme (línea base).
2. Muestreo Estratificado (Stratified Sampling): Preserva las proporciones de las clases objetivo.
3. Kennard–Stone (KS): Selecciona iterativamente muestras de entrenamiento para maximizar la cobertura del espacio de características.
4. SPXY: Extiende KS incorporando la diversidad del espacio de respuesta.
5. Duplex: Asigna alternativamente pares de muestras distantes a los conjuntos de entrenamiento y de prueba.
6. Distribución Optimizada (Propuesto): Un método de refinamiento que comienza con una división estratificada e intercambia iterativamente muestras entre las particiones para minimizar una función objetivo compuesta. Esta función combina la Discrepancia de la Media Máxima (MMD) con una penalización por desviaciones en las proporciones empíricas de clase.

Marco de Evaluación
La similitud estadística se cuantificó mediante tres pruebas complementarias convertidas a una escala unificada de 0–100%:

• Prueba Chi-cuadrado: Para distribuciones categóricas.
• Prueba Kolmogorov–Smirnov (KS): Para distribuciones continuas.
• Discrepancia de la Media Máxima (MMD): Una prueba basada en núcleos para datos multivariados de tipo mixto utilizando un núcleo combinado RBF/delta.

El rendimiento downstream se evaluó utilizando el framework de AutoML PyCaret. Para cada conjunto de datos y método de división, se entrenaron, ajustaron y evaluaron modelos (incluyendo regresión logística, bosque aleatorio, potenciación de gradiente, SVM, etc.) en el conjunto de prueba reservado. La métrica principal fue el F1 ponderado, siendo la exactitud una métrica secundaria.

Resultados Clave

• Similitud Distribucional: El método propuesto de Distribución Optimizada logró la puntuación de similitud MMD media más alta (89.0%), superando significativamente a todas las demás estrategias. En contraste, los métodos basados en la geometría Kennard–Stone y SPXY produjeron consistentemente puntuaciones MMD cercanas a cero (6.9% y 9.7%, respectivamente). Esto indica que su diseño para maximizar la cobertura del espacio de características crea inherentemente conjuntos de entrenamiento que son distribucionalmente disímiles de los conjuntos de prueba.
• Rendimiento Downstream: Las diferencias de rendimiento agregado fueron modestas, debido principalmente a un "efecto de techo" en conjuntos de datos grandes y fácilmente separables donde la división aleatoria ya produce una alta exactitud. Sin embargo, en conjuntos de datos sensibles al rendimiento (aquellos con un rendimiento base más bajo o estructuras complejas), la estrategia de división tuvo un efecto pronunciado.
  • En conjuntos de datos difíciles (por ejemplo, UCI 264, UCI 891), los métodos basados en la geometría a veces produjeron resultados altamente inestables, con Kennard–Stone produciendo un F1 de 0.701 en comparación con 0.964 para las divisiones aleatorias/estratificadas en UCI 264.
  • Por el contrario, en conjuntos de datos específicos (por ejemplo, UCI 519), la cobertura de características más amplia de los métodos basados en la geometría sí mejoró el rendimiento, lo que sugiere un compromiso entre la similitud distribucional y la cobertura del espacio de características dependiendo de las características del conjunto de datos.
• Estabilidad: El estudio encontró una asociación positiva moderada entre la similitud estadística y las estimaciones de rendimiento fiables. Los métodos con alta similitud MMD (Aleatorio, Estratificado, Distribución Optimizada) produjeron estimaciones de rendimiento convergentes, mientras que los métodos de baja similitud exhibieron inestabilidad bidireccional (estimaciones infladas en tareas fáciles, deflactadas en tareas difíciles).

Contribuciones Clave

1. Evaluación Sistemática: Proporcionó un marco de similitud distribucional unificado comparando cinco estrategias de división establecidas a través de quince diversos conjuntos de datos UCI utilizando pruebas Chi-cuadrado, KS y MMD.
2. Evidencia Empírica: Demostró que los métodos basados en la geometría (KS, SPXY), aunque efectivos para la cobertura, subdesempeñan consistentemente a la división aleatoria y estratificada en cuanto a la similitud distribucional multivariada, lo que conduce a una potencial inestabilidad de la evaluación.
3. Método Propuesto: Introdujo el método de Distribución Optimizada, que trata explícitamente la similitud estadística como un objetivo de optimización mediante el intercambio iterativo de muestras, logrando las puntuaciones de similitud más altas a través de la suite de pruebas.

Significancia y Reivindicaciones
El artículo argumenta que la división entrenamiento–prueba es una elección metodológica con consecuencias significativas para la fiabilidad y la reproducibilidad de la evaluación de ML. Los autores afirman que la mejora de la similitud estadística se traduce en estimaciones de rendimiento más fiables principalmente en "regímenes sensibles al rendimiento"—específicamente en conjuntos de datos estructuralmente complejos, de muestras pequeñas o con una baja relación de instancias a características (comunes en aplicaciones clínicas y biomédicas).

En contraste, para conjuntos de datos grandes o fácilmente separables, la elección de la estrategia de división es menos trascendental porque los tamaños de muestra grandes reducen naturalmente las diferencias distribucionales entre las particiones. Los autores concluyen modestamente que, si bien su método propuesto logra una similitud superior, su beneficio práctico es más pronunciado donde la disponibilidad de datos es limitada y la variabilidad del muestreo es alta. Señalan que el trabajo se limita a tareas de clasificación con una única semilla aleatoria y sugieren que trabajos futuros deberían explorar múltiples semillas, entornos de regresión y medidas de similitud escalables para abordar los costos computacionales.