🤖 machine learning

Scaling Laws for Classical Machine Learning on Tabular Data: A Benchmark Study

Deze studie presenteert een grootschalige, in de klas verdeelde benchmark van 11.536 trainingsruns over 18 datasets en 6 modelfamilies, waarmee wordt aangetoond dat hoewel machtswetten leercurves voor de meeste tabulaire modellen met benaderde gedeelde exponenten effectief beschrijven, er aanzienlijke variantie voortduurt door implementatiedetails in plaats van willekeurige zaden.

Oorspronkelijke auteurs: Kaihua Ding

Gepubliceerd 2026-07-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kaihua Ding

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probe de beslissingen te leren maken, zoals het voorspellen of een klant een product zal kopen of of een lening zal worden terugbetaald. Lange tijd waren wetenschappers geobsedeerd door "schaalwetten" voor gigantische neurale netwerken—de enorme, breinachtige computers die de basis vormen voor zaken als chatbots en beeldgeneratoren. Ze ontdekten een magische regel: als je deze reuzen meer data, meer hersencellen en meer rekenkracht voert, dalen hun fouten op een perfect voorspelbare manier, als een glijbaan die een heuvel afgaat. Deze regel is zo belangrijk geworden dat bedrijven miljoenen dollars uitgeven aan alleen al het berekenen van hoeveel data ze moeten kopen.

Maar hier komt de wending: de echte wereld draait meestal niet op gigantische neurale netwerken. Die draait op "tabulaire data". Denk aan een spreadsheet: rijen klanten, kolommen met hun leeftijd, inkomen en aankoopgeschiedenis. Dit is het brood en boter van het bedrijfsleven, gebruikt voor alles van verzekeringspremies tot verkoopvoorspellingen. Voor deze taken werken simpelere, oudere tools zoals beslissingsbomen en lineaire modellen vaak beter dan de hippe reuzen. De grote vraag was: volgen deze simpelere tools dezelfde magische "meer data = minder fouten"-regel? En zo ja, is de regel hetzelfde voor iedereen, of verandert deze afhankelijk van de specifieke spreadsheet die je gebruikt? Tot nu toe was er niemand op deze enorme schaal getest om te zien of de regel standhoudt wanneer verschillende mensen hetzelfde experiment uitvoeren.

Dit artikel is een gigantisch, klaslokaal-omvangrijk experiment dat precies dat wil beantwoorden. In plaats van één onderzoeks-team dat een paar tests uitvoert, organiseerde de auteur 127 studenten van een mastercursus machine learning om als onafhankelijke wetenschappers te fungeren. Elke student kreeg een specifieke set regels en kreeg drie verschillende real-world datasets toegewezen (zoals kredietkaartbetalingsachterstanden of huizenprijzen) om aan te werken. Ze moesten zes verschillende soorten "klassieke" machine learning-modellen op deze datasets trainen, beginnend met kleine hoeveelheden data en geleidelijk meer data toe te voegen, om te zien hoe de foutmarges veranderden. In totaal voerden ze meer dan 11.000 trainingssessies uit, waardoor een enorme bibliotheek aan resultaten ontstond om te zien of een eenvoudige wiskundige formule kon voorspellen hoe goed deze modellen zouden leren.

De resultaten waren verrassend duidelijk, maar met een paar belangrijke kanttekeningen. Ten eerste werkt de "magische formule" (een machtswet) heel goed voor de meeste van deze modellen. De auteurs ontdekten dat voor ongeveer 78% van de experimenten de formule zo goed bij de data paste dat het nauwkeurig kon voorspellen hoe de fout zou dalen naarmate er meer data werd toegevoegd. Echter, niet alle modellen zijn gelijk. De "boom-gebaseerde" modellen (zoals Boosting en Random Forests) waren de kampioenen; ze presteerden consequent beter dan de anderen en bereikten de laagste foutmarges. Aan de andere kant faalden sommige modellen, met name Lasso-regressie, volledig in het volgen van de regel, omdat ze vaak gewoon het gemiddelde gokten en de omvang van de data negeerden.

De studie pakte ook een fascinerende vraag aan: Is er één enkele "leersnelheid" voor een hele familie van modellen, ongeacht de dataset? Het antwoord is een "soort van". Voor vijf van de zes modelfamilies ontdekten de studenten dat een enkele gemiddelde "leersnelheid" (een exponent) de manier waarop de modellen zich over verschillende datasets gedragen bijna even goed kon voorspellen als het berekenen van een unieke snelheid voor elk geval. Het is alsof je zegt dat alle auto's van een bepaald merk ongeveer met dezelfde snelheid accelereren, zelfs als de specifieke wegcondities variëren. Dit is echter geen perfect universele wet; de fit is niet exact, en voor sommige modellen zoals Ridge-regressie was de "snelheid" zo instabiel dat deze niet vertrouwd kon worden.

Misschien was de meest verrassende bevinding niet gerelateerd aan de data, maar aan de mensen die het werk deden. Hoewel elke student exact dezelfde instructies en dezelfde 'random seed' (een digitaal startpunt) kreeg om ervoor te zorgen dat ze identieke resultaten zouden behalen, varieerden hun uiteindelijke antwoorden nog steeds licht. De auteurs berekenden dat deze "menselijke implementatie-ruis"—veroorzaakt door kleine, onvermijdelijke verschillen in hoe mensen met ontbrekende getallen omgaan of tekst coderen—veroorzaakte dat er een variatie van ongeveer 14% in de resultaten zat. Dit suggereert dat wanneer een enkel onderzoeks-team beweert een specifieke schaalwet te hebben ontdekt, er een ingebouwde "onduidelijkheid" van ongeveer 14% is die voortkomt uit de manier waarop het experiment is opgezet, en niet uit de data zelf.

Uiteindelijk geeft dit artikel een praktische kaart voor de wereld van tabulaire data. Het bevestigt dat voor de meeste zakelijke problemen je geen supercomputer nodig hebt; een goed afgestemd boommodel zal waarschijnlijk winnen. Het biedt een "boodschappenlijstje" voor data, waarbij het schat dat je voor sommige veelvoorkomende problemen misschien slechts een paar honderd rijen aan data nodig hebt om een hoog niveau van nauwkeurigheid te bereiken, terwijl anderen misschien tienduizenden nodig hebben. Maar het waarschuwt ons ook om nederig te blijven: de regels zijn benaderingen, geen absolute waarheden, en de manier waarop we onze data voorbereiden kan evenveel onzekerheid introduceren als de data zelf. Het is een herinnering dat in de wereld van machine learning zelfs de eenvoudigste spreadsheets hun eigen complexe, licht chaotische, maar uiteindelijk voorspelbare ritmes hebben.

Technische Samenvatting: Schalingswetten voor Klassieke Machine Learning op Tabulaire Data

Probleemstelling
Hoewel empirische schalingswetten (machtswetmatige afname van de testfout met de omvang van de data) centraal zijn komen te staan bij het ontwerpen van grote neurale netwerken, blijft hun gedrag in klassieke machine learning (ML) op tabulaire data ondergekarakteriseerd op schaal. Bestaand werk naar leercurves voor boom-, lineaire en kernelmodellen bestaat, maar is beperkt tot kleine schalen (enkele teams, een handvol datasets). Er is een gebrek aan bewijs uit cross-replicatie dat bepaalt of klassieke modellen een voorspelbare machtswet volgen, of exponenten gedeeld worden over datasets binnen een modelfamilie, en hoeveel variantie er in deze schattingen bestaat als gevolg van implementatieverschillen.

Methodologie
De studie maakt gebruik van een gedistribueerd, klaslokale replicatieprotocol waarbij 127 graduate studenten betrokken zijn.

Datasets: 18 gecureerde tabulaire datasets (10 classificatie, 8 regressie) variërend van 303 tot 53.940 rijen, die domeinen zoals kredietrisico, gezondheidszorg en e-commerce beslaan.
Modellen: Zes klassieke modelfamilies uit scikit-learn: Boosting, Random Forest, SVM (RBF), Lineaire/Logistische Regressie, Ridge en Lasso.
Protocol:
- Vaste hyperparameters (geen per- $N$ tuning) om effecten van de dataomvang te isoleren.
- Eén enkele 80/20 train/test-split (seed=42) per dataset.
- Training op zeven geneste subsets van de trainingsfold (fracties: 0,01 tot 1,00).
- Foutmetrieken: $1 - \text{AUROC}$ voor classificatie; genormaliseerde RMSE voor regressie.
- Fitting: Een drieparametrische additieve machtswet, $\text{error}(N) = aN^{-b} + c$ , werd gefit aan de zeven datapunten voor elke (student, dataset, model) drietalligheid met behulp van niet-lineaire kleinste kwadraten.
- Aggregatie: Resultaten werden geaggregeerd via gepoolde fits (het concateneren van alle studentenpunten) en per-fractie gemiddelden. Cross-student variantie werd gemeten als de coëfficiënt van variatie (CV) van de exponent $b$ .

Belangrijkste Bijdragen

Grootschalige Empirische Benchmark: De studie genereert 11.536 trainingen en 1.648 succesvolle schalingscurves, wat de eerste cross-replicatievisie biedt op klassieke ML-schaling.
Benaderde Voorspellende Compressibiliteit: Het stelt vast dat hoewel een enkele "universele" exponent strikt genomen niet bestaat (per-dataset fits zijn statistisch geprefereerd), een enkele familie-niveau exponent de curves over verschillende datasets kan voorspellen met minimale verliezen in voorspellende kracht ( $R^2$ gat < 0,011 voor 5 van de 6 families). Dit wordt geframed als "benaderde voorspellende compressibiliteit" in plaats van dataset-onafhankelijke universaliteit.
Kwantificering van Implementatievariantie: Door random_state=42 vast te leggen, isoleert de studie de variantie die wordt veroorzaakt door onbeperkte protocol-elementen (preprocessing, encoding, afhandeling van ontbrekende waarden) in plaats van random seed-variantie. Het vindt een gemiddelde CV van de exponent $b$ van 0,144 over studenten heen.
Praktische Data-vereiste Tabel: De auteurs bieden gepoolde-fit schattingen voor de steekproefomvang ( $N^\star$ ) die vereist is om een doel-fout van 0,15 te bereiken, waarbij gevallen worden gemarkeerd waarin de onherleidbare foutvloer ( $c$ ) het doel onbereikbaar maakt.

Resultaten

Fit Kwaliteit: De additieve machtswet past goed, met $R^2 > 0,8$ in 77,7% van de cellen. Boomensembles (Boosting, Random Forest) en SVM's vertonen de schoonste fits. Ridge en Lasso presteren slecht; Lasso faalt vaak in het fitten van een machtswet omdat coëfficiënten bij lage data-regimes naar nul krimpen, en Ridge vertoont in specifieke gevallen niet-monotoon gedrag.
Schalingsexponenten ( $b$ ):
- Boomensembles vertonen gematigde exponenten (Random Forest mediaan $\tilde{b} \approx 0,325$ ; Boosting $\tilde{b} \approx 0,480$ ).
- Lineaire modellen op classificatie tonen grotere exponenten ( $\tilde{b} \approx 0,830$ ), wat wijst op een snellere foutreductie per datapunt relatief aan hun hoge initiële fout.
Onherleidbare Fout ( $c$ ): Boomensembles bereiken de laagste foutvloeren (bijv. Random Forest mediaan $c \approx 0,110$ ). Lineaire modellen hebben lage vloeren, maar alleen omdat hun hoge $b$ de fout omlaag drijft; in absolute termen presteren ze vaak minder goed dan boomensembles bij volledige data.
Model Rangorde bij Volledige Data: Boosting wint op 50% van de datasets, gevolgd door Random Forest (33%). Lineaire modellen en SVM's zitten in het midden, terwijl Ridge en Lasso 0% winnen.
Gedeelde Exponenten: Een gezamenlijke fit die een enkele exponent $b_{\text{model}}$ deelt over datasets, presteert bijna even goed als onbeperkte fits voor Boosting, Random Forest, SVM en Lineaire modellen (LODO $R^2$ gaten $\le 0,012$ ). Ridge is fragiel (LODO CV 0,96), en Lasso faalt volledig.
Variantie: De 14,4% CV in exponenten over studenten heen benadrukt dat implementatiedetails (niet alleen seeds) de schattingen van de schalingswet aanzienlijk beïnvloeden. De variantie is het hoogst bij kleine $N$ .

Betekenis en Claims
De paper claimt dat de primaire bijdrage de schaal van replicatie is en de protocol-niveau reproduceerbaarheid lens, in plaats van de nieuwheid van het fitten van machtswetten aan klassieke modellen.

Voor Praktici: Standaard getunede boomensembles domineren tabulaire taken en bieden de beste afruil tussen de schalingsexponent en de onherleidbare foutvloer. De studie biedt concrete schattingen van de data-vereisten (bijv. ~200–500 rijen voor specifieke taken) en waarschuwt dat voor sommige cellen meer data de hoge foutvloer ( $c \ge 0,15$ ) niet kan overwinnen.
Voor Theorie: Klassieke tabulaire modellen vertonen schalingsexponenten ( $b \approx 0,3\text{--}0,8$ ) die over het algemeen groter zijn dan die van grote neurale netwerken ( $b \approx 0,07\text{--}0,35$ ), wat suggereert dat elke rij meer foutreductie oplevert in klassieke modellen dan elke token in transformers. Echter, de onherleidbare foutvloer is de beperkende factor in tabulaire ML, in tegenstelling tot overgeparameteriseerde taalmodellen waar de vloer verwaarloosbaar is.
Methodologische Inzicht: De studie behandelt de variantie van gerapporteerde exponenten over nominaal conforme re-implementaties als een eersteklas grootheid. Het suggereert dat studies naar schaling door één groep onzekerheidsintervallen moeten rapporteren die breed genoeg zijn om een vloer van ~14% in exponent-schatting te accommoderen als gevolg van protocoldrift.

De auteurs verklaren expliciet dat zij geen aanspraak maken op de universaliteit van exponenten; in plaats daarvan demonstreren zij dat gedeelde exponenten "benaderde voorspellende compressibiliteit" bieden die nuttig is voor planning, zelfs als per-dataset heterogeniteit statistisch significant blijft.

Technische Samenvatting: Schalingswetten voor Klassieke Machine Learning op Tabulaire Data

Meer zoals dit