Revisiting Chebyshev Polynomial and Anisotropic RBF Models for Tabular Regression

Dit onderzoek toont aan dat gladde basismodellen, zoals Chebyshev-polynomen en anisotrope RBF-netwerken, qua voorspellingsnauwkeurigheid en generalisatievermogen concurreren met boom-ensembles voor tabulaire regressie, waardoor ze een waardevolle, CPU-vriendelijke aanvulling vormen op het bestaande modelaanbod.

De kern

Stel je voor dat je een prognose-machine wilt bouwen. Je hebt een berg data (zoals huizenprijzen, energieverbruik of ziekteverloop) en je wilt een model dat de toekomst voorspelt.

In de wereld van data-wetenschap is er al jaren één grote koning: de Boom. Denk aan Random Forests of XGBoost. Deze modellen werken als een reeks van "Als dit, dan dat"-regels. Ze zijn extreem goed in het scoren op wedstrijden (benchmarks) en worden overal gebruikt.

Maar in dit nieuwe onderzoek van Luciano Gerber en Huw Lloyd wordt er een vraag gesteld: "Zijn er misschien andere modellen die net zo goed scoren, maar die slimmer of zachter werken?"

Ze kijken naar twee oude, maar vergeten methoden uit de wiskunde: Chebyshev-polynomen en RBF-netwerken. Laten we deze vergelijken met alledaagse dingen.

1. De Boom (De Huidige Koning)

Stel je een boom voor die een landschap in kaart brengt.

• Hoe het werkt: De boom snijdt het landschap in rechthoekige stukken (zoals een vloerplan met kamers). In elke kamer zegt de boom: "Hier is de temperatuur altijd 20 graden."
• Het probleem: Als je van de ene kamer naar de andere loopt, springt de temperatuur plotseling van 20 naar 25 graden. Dat is een sprong. In de echte wereld veranderen dingen zelden zo plotseling. Als je dit model gebruikt om een auto te besturen of een medicijn te doseren, kunnen die sprongen gevaarlijk zijn.

2. De Nieuwe Kandidaten (De Gladde Modellen)

De auteurs brengen twee nieuwe modellen terug:

• De Chebyshev-Model (De "Gladde Sierlijke Lijn"):
  Dit model probeert niet het landschap in kamers te snijden, maar trekt één grote, vloeiende lijn door alles heen. Het is als het tekenen van een perfecte boog met een potlood.

  • Voordeel: Als je de input een klein beetje verandert, verandert de uitkomst ook maar een heel klein beetje. Geen sprongen, alles is soepel.
  • Analogie: Het is alsof je een auto bestuurt op een gladde snelweg in plaats van over een kasseienweg met scherpe stenen.

• De RBF-Netwerk (De "Slimme Lijm"):
  Dit model werkt met kleine, lokale "bultjes" of "klonten" die over het landschap worden verspreid. De auteurs hebben deze slim gemaakt: ze kunnen zich aanpassen aan de vorm van de data (breed in de ene richting, smal in de andere).

  • Voordeel: Het is heel flexibel en past zich perfect aan de lokale details aan, zonder de scherpe randen van de boom.
  • Analogie: Denk aan een deken die je over een ongelijk oppervlak legt. De boom zou de deken in stukken knippen; deze RBF-deken plakt zich zachtjes aan de vorm van het oppervlak.

Wat hebben ze ontdekt? (De Uitslag)

De auteurs hebben 55 verschillende datasets getest (van auto-onderdelen tot sociale gedragingen). Hier zijn de belangrijkste bevindingen, vertaald naar begrijpelijke taal:

1. De Score is Gelijk:
   De "Boom" (XGBoost) en de "Gladde Modellen" (Chebyshev en RBF) zijn even goed in het voorspellen van de juiste waarde. Als je alleen kijkt naar wie de hoogste score haalt, is er geen duidelijke winnaar. Ze zitten in dezelfde topgroep.

2. De "Gladde" Modellen zijn Veiliger (Minder Overfitting):
   Dit is het belangrijkste punt. Stel je voor dat je een model traint op een foto van een hond.

   • De Boom leert de hond zo goed dat hij ook de achtergrond en de rimpels in de foto onthoudt. Als je een nieuwe foto laat zien, raakt hij in de war omdat de achtergrond anders is. Hij is te specifiek geworden (overfitting).
   • De Gladde Modellen leren alleen de vorm van de hond. Ze zijn minder gevoelig voor ruis.
   • Conclusie: De gladde modellen maken minder fouten op nieuwe, onbekende data. Ze zijn stabieler.

3. Wanneer gebruik je wat?

   • Gebruik de Boom als je data vol zit met harde regels en drempels (bijvoorbeeld: "Als inkomen > €50k, dan belasting 30%"). Hier werken sprongen goed.
   • Gebruik de Gladde Modellen als je data natuurkundig is (zoals temperatuur, stroom, chemie) of als je de uitkomst wilt gebruiken voor optimalisatie.
   • Waarom? Stel je voor dat je een robot wilt laten lopen. Als je een boom-model gebruikt, zal de robot hinken en springen bij elke kleine verandering in de grond. Met een glad model loopt de robot soepel. Ook voor sensoren en medicijnen is een soepele overgang veiliger.

4. Snelheid:
   De gladde modellen zijn vaak sneller om te trainen en te gebruiken op gewone computers (zonder dure videokaarten), terwijl een van de nieuwste "super-modellen" (TabPFN) wel een dure GPU nodig heeft.

Het Grote Advies

De auteurs zeggen eigenlijk: "Stop met blindelings de Boom te kiezen."

Vroeger dachten we: "Boom is de koning, dus we kiezen altijd de Boom." Nu zien we dat de Gladde Modellen vaak net zo goed scoren, maar veiliger, stabieler en soepeler zijn.

De conclusie in één zin:
Als je een voorspelling doet, is het slim om ook eens te kijken naar die "gladde" modellen. Ze zijn misschien niet altijd de snelste winnaar op papier, maar ze zijn vaak de betere, betrouwbaardere partner voor de echte wereld, waar dingen zelden in sprongen veranderen.

Technische samenvatting

Probleemstelling

In de praktijk van tabulaire regressie (voorspelling op gestructureerde data) domineren boom-ensemble-modellen (zoals Random Forests en Gradient Boosted Trees zoals XGBoost) de benchmark-ranglijsten op het gebied van voorspellende nauwkeurigheid. Echter, deze modellen hebben beperkingen:

1. Discontinuïteiten: Boommodellen genereren voorspellingssurfaces die stapsgewijs veranderen (piecewise constant), wat ongunstig is voor toepassingen die een gladde overgang vereisen, zoals surrogaatoptimalisatie, gevoeligheidsanalyse of gradient-based learning.
2. Generalisatiekloof: Hoewel boommodellen vaak goed presteren op testdata, wordt de "generalisatiekloof" (het verschil tussen trainings- en testprestaties) zelden gerapporteerd, terwijl dit een belangrijke indicator is voor overfitting en modelstabiliteit.
3. Hardware-afhankelijkheid: Moderne transformer-gebaseerde modellen (zoals TabPFN) presteren uitstekend maar vereisen GPU-inferentie en hebben beperkingen op datasetgrootte, wat ze minder geschikt maakt voor veel industriële en wetenschappelijke omgevingen die op CPU draaien.

De auteurs onderzoeken of gladde basismodellen uit de numerieke analyse – specifiek Chebyshev-polynomen en Radiale Basisfuncties (RBF) – kunnen concurreren met boom-ensembles in nauwkeurigheid, terwijl ze voordelen bieden op het gebied van generalisatie, gladheid en interpreteerbaarheid.

Methodologie

De auteurs hebben drie nieuwe modellen ontwikkeld en geïmplementeerd als scikit-learn-compatibele pakketten, en deze getoetst tegen bestaande baselines.

1. Ontwikkelde Modellen:

• Anisotrope RBF-netwerk (erbf):
  • Een verbetering van traditionele RBF-netwerken. In plaats van isotrope (gelijke) breedtes, gebruikt dit model per-dimension breedtes (anisotroop), wat beter past bij data met verschillende schalen per feature.
  • Drie-staps trainingspipeline:
    1. Centrumplaatsing: Centra worden gekozen op basis van lokale Lipschitz-schattingen (geleide door de variatie in het doel) of K-means clustering. Dit lost het probleem op van het tegelijkertijd optimaliseren van centra en breedtes.
    2. Breedte-initialisatie: Breedtes worden initieel geschat via lokale ridge-regressie of lokale variantie.
    3. Breedte-optimalisatie: De breedtes worden geoptimaliseerd via gradient-based learning (L-BFGS-B) in log-ruimte, terwijl de centra vast blijven.
• Chebyshev Polynoom Regressor (chebypoly):
  • Gebruikt Chebyshev-polynomen (eerste soort) als basis voor feature-expansie. Deze polynomen hebben superieure numerieke eigenschappen (goed voorwaardegetal) vergeleken met standaard monomiale basisfuncties.
  • Combineert univariate expansie met optionele interactietermen (paarsgewijze producten) en ridge-regularisatie om overfitting te voorkomen.
  • Resulteert in een lineair model in de uitgebreide ruimte, opgelost via ridge-regressie.
• Chebyshev Model Tree (chebytree):
  • Een hybride model dat de sterktes van beide werelden combineert. Een beslissingsboom partitioneert de feature-ruimte in regio's (om regime-overgangen of discontinuïteiten te vangen).
  • Binnen elke "leaf" van de boom wordt een lokaal Chebyshev-polynoom gefit. Dit zorgt voor gladde voorspellingen binnen elke regio.

2. Benchmark-ontwerp:

• Datasets: 55 regressiedatasets uit vier domeinen: Engineering/Simulatie, Gedragswetenschappen/Sociaal, Natuurwetenschappen (Fysica/Chemie), en Economie/Prijzen.
• Vergelijkingsmodellen:
  • Smooth-basis: erbf, chebypoly.
  • Hybride: chebytree.
  • Boom-ensembles: Random Forest (rf), XGBoost (xgb).
  • Transformer: TabPFN (pre-getraind).
  • Baselines: Ridge-regressie, Decision Tree.
• Evaluatieprotocol: Geneste cross-validatie (5-voudig) met hyperparameter-tuning via Optuna.
• Metrieken:
  • Nauwkeurigheid: Geadjusteerde $R^2$ ($\bar{R}^2$).
  • Generalisatiekloof: Verschil tussen trainings- en validatie-$R^2$ (lagere kloof = beter).
  • Kosten: Rekentijd voor tuning en inferentie.

Belangrijkste Bijdragen

1. Meer-as Benchmark: Het is een van de eerste studies die generalisatiekloof systematisch rapporteert als een standaard evaluatie-as naast nauwkeurigheid, in plaats van slechts als een diagnostisch hulpmiddel.
2. Implementaties: De auteurs hebben drie nieuwe, open-source scikit-learn-compatibele modellen gepubliceerd (erbf, poly-basis-ml) die numerieke analyse-componenten omzetten in praktische tools voor tabulaire data.
3. Inzicht in Generalisatie: Het onderzoek toont aan dat modellen met vergelijkbare testnauwkeurigheid aanzienlijk kunnen verschillen in overfitting-gedrag, waarbij gladde modellen vaak een kleinere generalisatiekloof vertonen.

Resultaten

1. Voorspellende Nauwkeurigheid:

• TabPFN behaalde de hoogste nauwkeurigheid op de meerderheid van de datasets, maar is beperkt door GPU-afhankelijkheid, hoge inferentielatentie en datasetgrootte-limieten.
• Onder de CPU-gebaseerde modellen zijn de vijf beste modellen (erbf, chebytree, xgb, chebypoly, rf) statistisch niet van elkaar te onderscheiden op basis van nauwkeurigheid (Friedman-test).
• Domein-specifieke prestaties:
  • In domeinen met gladde onderliggende processen (Engineering, Natuurwetenschappen) presteerden de gladde modellen (erbf, chebypoly) vaak iets beter.
  • In domeinen met drempelwaarden en discrete structuren (Economie, Prijzen) hadden boommodellen (xgb) een lichte voorsprong.
  • Voor niet-continue doelen (bijv. rangschikkingen) presteerde chebytree het beste, waarschijnlijk door de combinatie van boom-splitsen voor de structuur en polynomen voor de variatie.

2. Generalisatiekloof (Overfitting):

• Dit is het meest opvallende resultaat. Hoewel de nauwkeurigheden gelijk zijn, vertonen de gladde modellen (chebypoly, erbf) en de hybride chebytree aanzienlijk kleinere generalisatiekloven dan boom-ensembles (xgb, rf).
• Bij gepaarde vergelijkingen met gelijke nauwkeurigheid ($\Delta R^2 \le 0.02$) hadden gladde modellen in 87% van de gevallen een kleinere generalisatiekloof dan boom-ensembles.
• Dit suggereert dat gladde modellen minder gevoelig zijn voor specifieke trainingsstalen en robuuster generaliseren.

3. Rekenkosten en Schaalbaarheid:

• chebypoly en chebytree zijn de snelste modellen om te tunen (reductie tot ridge-regressie).
• erbf is duurder in tuning door de breedte-optimalisatie, maar biedt zeer snelle inferentie.
• xgb en rf hebben gemiddelde tot hoge tuningkosten.
• Schaalbaarheidstests op volledige datasets (zonder feature selection) toonden aan dat chebytree en xgb goed schalen, terwijl chebypoly iets achterbleef maar nog steeds beter dan baselines.

Betekenis en Conclusie

Het artikel concludeert dat de dominante positie van gradient-boosted trees in tabulaire regressie niet absoluut is. Hoewel ze uitstekende nauwkeurigheid bieden, missen ze de generalisatierobuustheid en gladheid van basisfunctie-modellen.

Aanbevelingen voor de praktijk:

• Gladde basismodellen (erbf, chebypoly) en hybriden (chebytree) moeten standaard worden opgenomen in de kandidatenpool voor regressieproblemen.
• Wanneer twee modellen vergelijkbare nauwkeurigheid hebben, moet de voorkeur worden gegeven aan het model met de kleinere generalisatiekloof (vaak het gladde model).
• Voor toepassingen waar gladde voorspellingen essentieel zijn (bijv. optimalisatie, sensibele analyses, of gebruikersinterfaces waar kleine inputwijzigingen geen grote output-sprongen mogen veroorzaken), zijn deze modellen superieur aan boom-ensembles.
• De studie benadrukt dat generalisatiegedrag een even belangrijke evaluatiemeta is als puur voorspellende nauwkeurigheid.

De code en modellen zijn beschikbaar via PyPI en GitHub, wat de reproduceerbaarheid en adoptie in de gemeenschap vergemakkelijkt.