🤖 machine learning

Scaling Laws for Classical Machine Learning on Tabular Data: A Benchmark Study

Questo studio presenta un benchmark su larga scala, distribuito in classe, di 11.536 sessioni di addestramento attraverso 18 dataset e 6 famiglie di modelli, dimostrando che, sebbene le leggi di potenza descrivano efficacemente le curve di apprendimento per la maggior parte dei modelli tabulari con esponenti condivisi approssimativi, persiste una varianza significativa dovuta a dettagli di implementazione piuttosto che ai seed casuali.

Autori originali: Kaihua Ding

Pubblicato 2026-07-27

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Kaihua Ding

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come prendere decisioni, come prevedere se un cliente acquisterà un prodotto o se un prestito verrà rimborsato. Per molto tempo, gli scienziati sono stati ossessionati dalle "leggi di scala" per le gigantesche reti neurali — i massicci computer simili a cervelli che alimentano cose come i chatbot e i generatori di immagini. Hanno scoperto una regola magica: se dai a questi giganti più dati, più cellule cerebrali e più potenza di calcolo, i loro errori diminuiscono in modo perfettamente prevedibile, come uno scivolo che scende da una collina. Questa regola è diventata così importante che le aziende spendono milioni di dollari solo per calcolare quanta quantità di dati debbano acquistare.

Ma ecco il colpo di scena: la maggior parte del mondo reale non funziona grazie a gigantesche reti neurali. Funziona con i "dati tabulari". Pensa a un foglio di calcolo: righe di clienti, colonne della loro età, reddito e cronologia degli acquisti. Questo è il pane quotidiano delle imprese, usato per tutto, dalla determinazione dei prezzi delle assicurazioni alla previsione delle vendite. Per questi compiti, strumenti più semplici e datati come gli alberi decisionali e i modelli lineari spesso funzionano meglio dei grandi giganti. La grande domanda era: questi strumenti più semplici seguono la stessa regola magica del "più dati = meno errori"? E se lo fanno, la regola è la stessa per tutti, o cambia a seconda dello specifico foglio di calcolo che si sta utilizzando? Finora, nessuno aveva testato questo fenomeno su una scala così vasta per vedere se la regola reggeva quando persone diverse provavano a eseguire lo stesso esperimento.

Questo articolo è un esperimento gigante, grande quanto un'aula di classe, progettato per rispondere esattamente a questo. Invece di un singolo team di ricerca che esegue pochi test, l'autore ha organizzato 127 studenti di un corso di laurea in machine learning per agire come scienziati indipendenti. Ogni studente ha ricevuto un set specifico di regole ed è stato assegnato a tre diversi dataset del mondo reale (come i default delle carte di credito o i prezzi delle case) su cui lavorare. Dovevano addestrare sei diversi tipi di modelli di machine learning "classici" su questi dataset, partendo da piccole quantità di dati e aggiungendone gradualmente altri, per vedere come cambiavano i tassi di errore. In totale, hanno eseguito oltre 11.000 sessioni di addestramento, creando una vasta libreria di risultati per vedere se una semplice formula matematica potesse prevedere quanto bene i modelli imparassero.

I risultati sono stati sorprendentemente chiari, ma con alcune importanti precisazioni. Primo, la "formula magica" (una legge di potenza) funziona molto bene per la maggior parte di questi modelli. Gli autori hanno scoperto che per circa il 78% degli esperimenti, la formula si adattava ai dati così bene da poter prevedere con precisione quanto l'errore sarebbe diminuito all'aumentare dei dati. Tuttavia, non tutti i modelli sono uguali. I modelli "basati su alberi" (come il Boosting e le Random Forests) sono stati i campioni, superando costantemente gli altri e raggiungendo i tassi di errore più bassi. Al contrario, alcuni modelli, in particolare la regressione Lasso, non hanno seguito affatto la regola, limitandosi spesso a indovinare la media e ignorando la dimensione dei dati.

Lo studio ha affrontato anche una domanda affascinante: esiste una singola "velocità di apprendimento" per un'intera famiglia di modelli, indipendentemente dal dataset? La risposta è un "quasi". Per cinque dei sei gruppi di modelli, gli studenti hanno scoperto che una singola velocità di apprendimento media (un esponente) poteva prevedere il comportamento dei modelli attraverso diversi dataset quasi altrettanto bene quanto calcolare una velocità unica per ciascuno. È come dire che tutte le auto di un certo marchio accelerano approssimativamente alla stessa velocità, anche se le specifiche condizioni stradali variano. Tuttavia, non è una legge universale perfetta; la corrispondenza non è esatta e, per alcuni modelli come la regressione Ridge, la "velocità" era così instabile da non poter essere affidata.

Forse la scoperta più sorprendente non riguardava i dati, ma gli esseri umani che svolgevano il lavoro. Nonostante ogni studente avesse ricevuto le stesse identiche istruzioni e lo stesso "seed" casuale (un punto di partenza digitale) per garantire che dovessero ottenere risultati identici, le loro risposte finali variavano leggermente. Gli autori hanno calcolato che questo "rumore di implementazione umana" — causato da piccole e inevitabili differenze nel modo in cui le persone gestiscono i numeri mancanti o codificano il testo — ha creato una variazione di circa il 14% nei risultati. Ciò suggerisce che quando un singolo team di ricerca sostiene di aver scoperto una specifica legge di scala, esiste una "sfocatura" intrinseca di circa il 14% che deriva proprio dal modo in cui l'esperimento è stato impostato, non dai dati stessi.

In definitiva, questo articolo fornisce una mappa pratica per il mondo dei dati tabulari. Conferma che per la maggior parte dei problemi aziendali non serve un supercomputer; un modello ad albero ben tarato probabilmente vincerà. Fornisce una "lista della spesa" per i dati, stimando che per alcuni problemi comuni potresti aver bisogno solo di poche centinaia di righe di dati per raggiungere un alto livello di accuratezza, mentre per altri potrebbero servirne decine di migliaia. Ma ci avverte anche di essere umili: le regole sono approssimative, non assolute, e il modo in cui si preparano i dati può introdurre tanta incertezza quanto i dati stessi. È un promemoria del fatto che, nel mondo del machine learning, anche i più semplici fogli di calcolo hanno i propri ritmi complessi, leggermente disordinati ma, in ultima analisi, prevedibili.

Sintesi Tecnica: Leggi di Scalabilità per il Machine Learning Classico su Dati Tabulari

Problema
Sebbene le leggi empiriche di scalabilità (decadimento della perdita di test secondo una legge di potenza rispetto alla dimensione dei dati) siano diventate centrali nella progettazione di grandi reti neurali, il loro comportamento nel machine learning (ML) classico su dati tabulari rimane scarsamente caratterizzato su larga scala. Studi precedenti sulle curve di apprendimento per modelli ad albero, lineari e a kernel esistono, ma sono limitati a scale ridotte (singoli team, un numero esiguo di dataset). Manca un'evidenza cross-replicatore che determini se i modelli classici seguano leggi di potenza prevedibili, se gli esponenti siano condivisi tra i dataset all'interno di una famiglia di modelli e quanta varianza esista in queste stime a causa delle differenze di implementazione.

Metodologia
Lo studio impiega un protocollo di replicazione distribuito su scala accademica coinvolgendo 127 studenti laureati.

Dataset: 18 dataset tabulari curati (10 di classificazione, 8 di regressione) con un range da 303 a 53.940 righe, coprendo domini come il rischio di credito, l'assistenza sanitaria e l'e-commerce.
Modelli: Sei famiglie di modelli classici da scikit-learn: Boosting, Random Forest, SVM (RBF), Regressione Lineare/Logistica, Ridge e Lasso.
Protocollo:
- Iperparametri fissi (nessun tuning per ogni N) per isolare gli effetti della dimensione dei dati.
- Un singolo split 80/20 train/test (seed=42) per ogni dataset.
- Addestramento su sette sottogruppi annidati del fold di training (frazioni: da 0.01 a 1.00).
- Metriche di errore: $1 - \text{AUROC}$ per la classificazione; RMSE normalizzato per la regressione.
Fitting: Una legge di potenza additiva a tre parametri, $\text{error}(N) = aN^{-b} + c$ , è stata adattata ai sette punti dati per ogni tripla (studente, dataset, modello) tramite minimi quadrati non lineari.
Aggregazione: I risultati sono stati aggregati tramite fit accorpati (concatenando tutti i punti degli studenti) e medie per frazione. La varianza cross-studente è stata misurata come il coefficiente di variazione (CV) dell'esponente $b$ .

Contributi Chiave

Benchmark Empirico su Larga Scala: Lo studio genera 11.536 esecuzioni di addestramento e 1.648 curve di scalabilità riuscite, fornendo la prima visione cross-replicatore della scalabilità del ML classico.
Compressione Predittiva Approssimativa: Stabilisce che, sebbene non esista strettamente un singolo esponente "universale" (i fit per singolo dataset sono statisticamente preferibili), un singolo esponente a livello di famiglia può predire le curve tra i dataset con una perdita minima di potere predittivo ( $R^2$ gap < 0.011 per 5 delle 6 famiglie). Questo è inquadrato come "compressione predittiva approssimativa" piuttosto che universalità indipendente dal dataset.
Quantificazione della Varianza di Implementazione: Fissando random_state=42, lo studio isola la varianza indotta da elementi di protocollo non vincolati (pre-processing, encoding, gestione dei valori mancanti) piuttosto che dalla varianza del seed casuale. Trova un CV medio dell'esponente $b$ di 0.144 tra gli studenti.
Tabella Pratica dei Requisiti dei Dati: Gli autori forniscono stime di fit accorpati per la dimensione del campione ( $N^\star$ ) necessaria per raggiungere un errore target di 0.15, segnalando i casi in cui l'errore minimo irriducibile ( $c$ ) rende il target irraggiungibile.

Risultati

Qualità del Fit: La legge di potenza additiva si adatta bene, con $R^2 > 0.8$ nel 77.7% delle celle. Gli ensemble di alberi (Boosting, Random Forest) e le SVM mostrano i fit più puliti. Ridge e Lasso performano scarsamente; Lasso spesso fallisce nel seguire una legge di potenza a causa della contrazione dei coefficienti verso lo zero nei regimi con pochi dati, e Ridge mostra un comportamento non monotono in casi specifici.
Esponenti di Scalabilità ( $b$ ):
- Gli ensemble di alberi mostrano esponenti moderati (mediana Random Forest $\tilde{b} \approx 0.325$ ; mediana Boosting $\tilde{b} \approx 0.480$ ).
- I modelli lineari sulla classificazione mostrano esponenti maggiori ( $\tilde{b} \approx 0.830$ ), indicando una riduzione dell'errore per punto dati più rapida rispetto al loro elevato errore iniziale.
- L'esponente mediano tra tutti i buoni fit è 0.495.
Errore Irriducibile ( $c$ ): Gli ensemble di alberi raggiungono i livelli di errore più bassi (es. mediana Random Forest $c \approx 0.110$ ). I modelli lineari hanno anche livelli bassi, ma solo perché il loro alto $b$ spinge l'errore verso il basso; in termini assoluti, spesso sono meno performanti degli ensemble di alberi con i dati completi.
Classifica dei Modelli a Dati Completi: Il Boosting vince su il 50% dei dataset, seguito da Random Forest (33%). I modelli lineari e le SVM occupano la fascia media, mentre Ridge e Lasso vincono lo 0% delle volte.
Esponenti Condivisi: Un fit congiunto che condivide un singolo esponente $b_{\text{model}}$ tra i dataset performa quasi altrettanto bene dei fit non vincolati per Boosting, Random Forest, SVM e modelli lineari (gap $R^2$ LODO $\le 0.012$ ). Ridge è fragile (LODO CV 0.96), e Lasso fallisce completamente.
Varianza: Il CV del 14.4% negli esponenti tra gli studenti evidenzia che i dettagli di implementazione (non solo i seed) influenzano significativamente le stime delle leggi di scalabilità. La varianza è massima per piccoli $N$ .

Significatività e Rivendicazioni
Il paper afferma che il suo contributo primario è la scala della replicazione e la lente della riproducibilità a livello di protocollo, piuttosto che la novità di applicare le leggi di potenza ai modelli classici.

Per i Professionisti: Gli ensemble di alberi con tuning di default dominano i compiti tabulari, offrendo il miglior compromesso tra esponente di scalabilità e livello di errore irriducibile. Lo studio fornisce stime concrete sui requisiti dei dati (es. ~200–500 righe per compiti specifici) e avverte che per alcune celle, più dati non possono superare un alto livello di errore ( $c \ge 0.15$ ).
Per la Teoria: I modelli tabulari classici presentano esponenti di scalabilità ( $b \approx 0.3\text{--}0.8$ ) generalmente superiori a quelli dei grandi modelli neurali ( $b \approx 0.07\text{--}0.35$ ), suggerendo che ogni riga produce una riduzione dell'errore maggiore rispetto a ogni token nei transformer. Tuttavia, il livello di errore irriducibile è il vincolo determinante nel ML tabulare, a differenza dei modelli linguistici sovra-parametrizzati dove il livello di errore è trascurabile.
Insight Metodologico: Lo studio tratta la varianza dei coefficienti riportati tra implementazioni nominalmente conformi come una quantità di primo ordine. Suggerisce che gli studi di scalabilità a gruppo singolo dovrebbero riportare intervalli di incertezza abbastanza ampi da accomodare un pavimento del ~14% nella stima dell'esponente dovuto al drift del protocollo.

Gli autori dichiarano esplicitamente di non rivendicare l'universalità degli esponenti; piuttosto, dimostrano che gli esponenti condivisi offrono una "compressione predittiva approssimativa" che è utile per la pianificazione, anche se l'eterogeneità per singolo dataset rimane statisticamente significativa.

Sintesi Tecnica: Leggi di Scalabilità per il Machine Learning Classico su Dati Tabulari

Articoli simili