Enhancing Automated Machine Learning via Homogeneous Train-Test Splitting Methods

Sintesi Tecnica: Miglioramento dell'Apprendimento Automatico Automatizzato tramite Metodi di Divisione Omogenea tra Training e Test

Definizione del Problema
La valutazione accurata dei modelli nell'apprendimento automatico (ML) e nell'Apprendimento Automatico Automatizzato (AutoML) si basa fondamentalmente sull'assunto che i sottoinsiemi di addestramento (training) e di test condividano la stessa distribuzione di dati sottostante. La suddivisione casuale standard spesso viola questo assunto in presenza di sbilanciamento delle classi, clustering naturale o autocorrelazione spaziale, portando a scostamenti distribuzionali. Nelle pipeline di AutoML, dove gli algoritmi e gli iperparametri vengono selezionati automaticamente, una partizione dei dati distorta o incoerente può causare l'overfitting del sistema sulle peculiarità del training, producendo metriche di valutazione ingannevolmente elevate e compromettendo la generalizzazione del modello. Sebbene le strategie esistenti come il campionamento stratificato preservino le proporzioni delle classi e i metodi basati sulla geometria (ad es. Kennard–Stone, SPXY) massimizzino la copertura dello spazio delle caratteristiche, nessuna di esse ottimizza esplicitamente la somiglianza statistica tra le partizioni risultanti. Questa lacuna lascia un'incertezza critica riguardante l'affidabilità delle stime di performance su diversi dataset tabulari.

Metodologia
Gli autori hanno condotto una valutazione comparativa sistematica su quindici dataset di classificazione dal repository UCI Machine Learning Repository, variando per dimensione (da 150 a 253.680 istanze), dimensionalità (da 4 a 169 caratteristiche) e tipologia (numeriche, categoriche, miste). Lo studio ha valutato sei strategie di suddivisione:

1. Suddivisione Casuale (Random Splitting): Assegnazione casuale uniforme (baseline).
2. Campionamento Stratificato (Stratified Sampling): Preserva le proporzioni delle classi target.
3. Kennard–Stone (KS): Seleziona iterativamente i campioni di training per massimizzare la copertura dello spazio delle caratteristiche.
4. SPXY: Estende KS incorporando la diversità dello spazio di risposta.
5. Duplex: Assegna alternativamente coppie di campioni distanti ai set di training e di test.
6. Distribuzione Ottimizzata (Proposta): Un metodo di raffinamento che parte da una suddivisione stratificata e scambia iterativamente i campioni tra le partizioni per minimizzare una funzione obiettivo composta. Tale funzione combina la Discrepanza della Media Massima (MMD) con una penalità per le deviazioni nelle proporzioni empiriche delle classi.

Framework di Valutazione
La somiglianza statistica è stata quantificata utilizzando tre test complementari convertiti in una scala unificata 0–100%:

• Test Chi-Quadrato: Per distribuzioni categoriche.
• Test Kolmogorov–Smirnov (KS): Per distribuzioni continue.
• Discrepanza della Media Massima (MMD): Un test basato su kernel per dati multivariati di tipo misto utilizzando un kernel combinato RBF/delta.

La performance a valle è stata valutata utilizzando il framework AutoML PyCaret. Per ogni dataset e metodo di suddivisione, i modelli (inclusi regressione logistica, random forest, gradient boosting, SVM, ecc.) sono stati addestrati, ottimizzati e valutati sul set di test tenuto da parte. La metrica primaria è stata l'F1 pesata, con l'accuratezza come metrica secondaria.

Risultati Chiave

• Somiglianza Distrizionale: Il metodo proposto Distribuzione Ottimizzata ha ottenuto il punteggio medio di somiglianza MMD più elevato (89,0%), superando significativamente tutte le altre strategie. Al contrario, i metodi basati sulla geometria Kennard–Stone e SPXY hanno prodotto costantemente punteggi MMD vicini allo zero (6,9% e 9,7%, rispettivamente). Ciò indica che il loro design volto a massimizzare la copertura dello spazio delle caratteristiche crea intrinsecamente set di training distribuzionalmente dissimili dai set di test.
• Performance a Valle: Le differenze aggregate di performance sono state modeste, in gran parte a causa di un "effetto soffitto" su dataset ampi e facilmente separabili dove la suddivisione casuale produce già un'alta accuratezza. Tuttavia, su dataset sensibili alla performance (quelli con una performance di base inferiore o strutture complesse), la strategia di suddivisione ha avuto un effetto pronunciato.
  • Su dataset difficili (ad es. UCI 264, UCI 891), i metodi basati sulla geometria hanno talvolta prodotto risultati altamente instabili, con Kennard–Stone che produceva un F1 di 0,701 rispetto allo 0,964 di random/stratified su UCI 264.
  • Al contrario, su specifici dataset (ad es. UCI 519), una copertura più ampia delle caratteristiche tramite i metodi basati sulla geometria ha effettivamente migliorato la performance, suggerendo un compromesso tra somiglianza distribuzionale e copertura dello spazio delle caratteristiche a seconda delle caratteristiche del dataset.
• Stabilità: Lo studio ha riscontrato un'associazione positiva moderata tra somiglianza statistica e stime di performance affidabili. I metodi con alta somiglianza MMD (Random, Stratified, Distribuzione Ottimizzata) hanno prodotto stime di performance convergenti, mentre i metodi a bassa somiglianza hanno esibito un'instabilità bidirezionale (stime gonfiate su compiti facili, deflazionate su compiti difficili).

Contributi Chiave

1. Valutazione Sistematica: Ha fornito un framework unificato di somiglianza distribuzionale confrontando cinque strategie di suddivisione consolidate attraverso quindici diversi dataset UCI utilizzando i test Chi-quadrato, KS e MMD.
2. Evidenza Empirica: Ha dimostrato che i metodi basati sulla geometria (KS, SPXY), pur essendo efficaci per la copertura, sono costantemente meno performanti rispetto alla suddivisione casuale e stratificata in termini di somiglianza distribuzionale multivariata, portando a una potenziale instabilità della valutazione.
3. Metodo Proposto: Ha introdotto il metodo Distribuzione Ottimizzata, che tratta esplicitamente la somiglianza statistica come un obiettivo di ottimizzazione tramite scambio iterativo di campioni, raggiungendo i punteggi di somiglianza più elevati in tutto il benchmark.

Significato e Rivendicazioni
L'articolo sostiene che la suddivisione tra training e test sia una scelta metodologica con conseguenze significative per l'affidabilità e la riproducibilità della valutazione del ML. Gli autori affermano che una migliore somiglianza statistica si traduce in stime di performance più affidabili principalmente in regimi "sensibili alla performance" — specificamente su dataset strutturalmente complessi, con piccoli campioni o con un basso rapporto istanze-caratteristiche (comuni nelle applicazioni cliniche e biomediche).

Al contrario, per dataset ampi o facilmente separabili, la scelta della strategia di suddivisione è meno consequenziale perché le grandi dimensioni del campione riducono naturalmente le differenze distribuzionali tra le partizioni. Gli autori concludono modestamente che, sebbene il loro metodo proposto raggiunga una somiglianza superiore, il suo beneficio pratico è più pronunciato dove la disponibilità di dati è limitata e la variabilità del campionamento è elevata. Essi notano che il lavoro è limitato a compiti di classificazione con un singolo seed casuale e suggeriscono che lavori futuri dovrebbero esplorare molteplici seed, impostazioni di regressione e misure di somiglianza scalabili per affrontare i costi computazionali.