📈 economics

SplitWise Regression: Stepwise Modeling with Adaptive Dummy Encoding

Het artikel introduceert SplitWise, een nieuw R-pakket dat stapsgewijze regressie verbetert door numerieke voorspellers adaptief om te zetten in drempelgebaseerde binaire kenmerken via ondiepe beslissingsbomen, enkel wanneer deze de modelpassing verbeteren volgens AIC of BIC, waardoor een evenwicht wordt bereikt tussen het vastleggen van niet-lineaire relaties en het behouden van de interpreteerbaarheid van het model.

Oorspronkelijke auteurs: Marcell T. Kurbucz, Nikolaos Tzivanakis, Nilufer Sari Aslam, Adam M. Sykulski

Gepubliceerd 2026-02-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Marcell T. Kurbucz, Nikolaos Tzivanakis, Nilufer Sari Aslam, Adam M. Sykulski

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te voorspellen hoe goed een auto zal presteren op basis van de kenmerken, zoals de motorinhoud of het gewicht. Traditioneel gebruiken statistici een eenvoudige "rechte lijn"-aanpak: ze gaan ervan uit dat als je de motorinhoud verdubbelt, de prestaties met een vast bedrag veranderen. Het is makkelijk te begrijpen, maar vaak onjuist omdat het echte leven geen rechte lijn is. Soms wordt een auto pas aanzienlijk slechter zodra de motor te groot wordt, of heeft een kenmerk pas effect nadat het een specifieke drempelwaarde heeft overschreden.

Aan de andere kant gebruikt moderne machine learning complexe "black box"-methoden (zoals diepe neurale netwerken) die deze vreemde, niet-rechte patronen kunnen vinden. Maar ze zijn zo ingewikkeld dat niemand kan uitleggen waarom ze een voorspelling hebben gedaan. Het is als een GPS die je wel de juiste afslag geeft, maar weigert je de kaart te laten zien.

Ontmoet "SplitWise": Het Beste van Beide Werelden

Het artikel introduceert een nieuwe tool genaamd SplitWise Regression. Denk aan dit als een slimme, flexibele assistent die je helpt een eenvoudig, transparant model te bouwen dat nog steeds de complexe, niet-rechte realiteiten van de echte wereld kan aan kunnen.

Zo werkt het, met een paar alledaagse analogieën:

1. De "Slimme Schakelaar" (Adaptive Dummy Encoding)

In een standaardmodel wordt een variabele zoals "Leeftijd" behandeld als een continue lijn. SplitWise vraagt: "Gedraagt deze variabele zich als een lijn, of heeft het een 'kantelpunt'?"

Als de data suggereert dat "Leeftijd" pas invloed begint te hebben op gezondheidsresultaten na de 50 jaar, dwingt SplitWise geen rechte lijn af. In plaats daarvan creëert het een slimme schakelaar. Het verandert de variabele "Leeftijd" in een eenvoudige "Ja/Nee"-vraag: "Is de persoon ouder dan 50?"

Als Ja, past het één regel toe.
Als Nee, past het een andere regel toe (of helemaal geen regel).

Dit is als een thermostaat. Je hoeft niet de exacte temperatuurcurve van een kamer te kennen; je hoeft alleen maar te weten: "Is het boven de 70 graden? Zo ja, zet de airco aan." SplitWise vindt automatisch deze "kantelpunten" (drempelwaarden) in de data.

2. De "Strenge Accountant" (Stepwise Selection met AIC/BIC)

Je zou je misschien zorgen maken: "Als we steeds meer deze 'Ja/Nee'-schakelaars toevoegen, wordt het model dan niet te ingewikkeld en verwarrend?"

Dat is waar de "Strenge Accountant" van SplitWise om de hoek komt kijken. Voordat het een nieuwe schakelaar aan het model toevoegt, controleert het een financieel grootboek genaamd AIC of BIC. Dit zijn scores die twee dingen in balans brengen:

Hoe goed het model bij de data past (Nauwkeurigheid).
Hoeveel regels het model heeft (Complexiteit).

Als het toevoegen van een nieuwe "schakelaar" (zoals "Is de bloeddruk > 140?") de score niet genoeg verbetert om de extra complexiteit te rechtvaardigen, zegt de accountant: "Nee bedankt, we houden het simpel." Dit zorgt ervoor dat het uiteindelijke model leesbaar en begrijpelijk blijft, waardoor de valkuil van "overfitting" (waarbij een model de ruis uit het hoofd leert in plaats van het patroon te leren) wordt vermeden.

3. "Twee Manieren van Koken" (Iteratieve vs. Univariate)

Het artikel beschrijft twee manieren waarop SplitWise het model bouwt:

De "Teamoverleg"-modus (Iteratieve modus): Het algoritme kijkt naar alle variabelen samen. Het vraagt: "Als we 'Motorinhoud' al in het model hebben, helpt het dan om 'Is Gewicht > 2000lbs?' toe te voegen?" Dit is nauwkeurig en houdt rekening met hoe variabelen met elkaar interageren.
De "Solo Scout"-modus (Univariate modus): Het algoritme bekijkt elke variabele één voor één, als een scout die individuele ingrediënten controleert. Het bepaalt de beste vorm voor elk ingrediënt onafhankelijk, en assembleert dan de uiteindelijke gerechten. Dit is sneller voor enorme datasets met veel variabelen.

Wat het onderzoek aantoonde

De auteurs testten SplitWise op zowel gesimuleerde data (waar ze het "ware" antwoord kenden) als op echte wereldgegevens (zoals brandstofefficiëntie van auto's, huizenprijzen en wijnkwaliteit).

Het resultaat: SplitWise bouwde consequent modellen die nauwkeuriger waren dan traditionele rechte-lijn-methoden en eenvoudiger (minder variabelen) dan complexe machine learning-modellen.
De "Sweet Spot": Het slaagde erin om de "bulten" en "sprongen" in de data (niet-lineariteit) te vangen zonder het model te veranderen in een onleesbare black box.
De Tool: Ze hebben dit uitgebracht als een gratis softwarepakket (in de programmeertaal R), zodat iedereen het kan gebruiken.

De Kernboodschap

SplitWise is als een upgrade van een star liniaal naar een flexibel meetlint dat precies op de punten waar de data van gedrag verandert, op zijn plaats kan klikken. Het houdt het model transparant genoeg voor een mens om te begrijpen (ideaal voor artsen, beleidsmakers of ingenieurs die hun beslissingen moeten kunnen uitleggen), maar slim genoeg om de complexe, niet-lineaire relaties te vangen die eenvoudige modellen missen.

Wat het onderzoek NIET claimt:
Het artikel richt zich volledig op de statistische prestaties en de softwaretool zelf. Het beweert niet dat deze methode is getest in specifieke klinische studies, noch voorspelt het specifieke toekomstige medische uitkomsten of crashes op de financiële markt. Het bewijst simpelweg dat de wiskundige methode beter werkt dan bestaande alternatieven voor het bouwen van heldere, nauwkeurige regressiemodellen.

Technische Samenvatting: SplitWise Regressie

Probleemstelling

In regressiemodellering bestaat een hardnekkige uitdaging in het vastleggen van niet-lineaire relaties zonder de interpreteerbaarheid op te offeren die inherent is aan lineaire modellen. Traditionele lineaire regressie biedt transparantie, waarbij coëfficiënten de invloed van voorspellers direct kwantificeren, maar faalt bij het modelleren van drempeleffecten of complexe niet-lineariteiten (bijv. gezondheidsuitkomsten die scherp veranderen na een specifieke leeftijd). Omgekeerd kunnen machine learning-methoden zoals beslissingsbomen en neurale netwerken deze complexe relaties modelleren, maar resulteren ze vaak in "black box"-structuren die een gebrek hebben aan globale interpreteerbaarheid, wat cruciaal is in domeinen met hoge inzet zoals de gezondheidszorg, financiën en het openbaar beleid.

Bestaande hybride benaderingen, zoals RuleFit of boomgebaseerde methoden met lineaire componenten (bijv. M5, PILOT), proberen deze kloof te overbruggen. Deze resulteren echter vaak in complexe modelstructuren met meerdere geneste splitsingen of ensemble-componenten die de transparantie verminderen. Bovendien vertrouwen huidige stepwise selectiemethoden doorgaans op p-waarde drempelwaarden of informatiecriteria, maar detecteren ze niet automatisch optimale drempelwaarden binnen numerieke variabelen om de robuustheid van het model te verbeteren en overfitting te verminderen. Er is een specifieke behoefte aan een benadering die niet-lineariteit op een gecontroleerde manier introduceert—het creëren van binaire drempelvariabelen die de prestaties van het lineaire model direct verbeteren terwijl de coherentie van een globale lineaire vergelijking behouden blijft.

Methodologie

Het artikel introduceert SplitWise, een deterministisch framework dat adaptieve, op drempelwaarden gebaseerde transformaties integreert in een stepwise regressieproces. De kerninnovatie is het vermogen om automatisch te bepalen of een numerieke voorspeller in het model moet worden opgenomen als een standaard lineaire term of als één of meer binaire (dummy) indicatoren afgeleid van datagestuurde snijpunten.

Algoritmische Modi

SplitWise werkt in twee verschillende modi, die beide gebruikmaken van het Akaike Information Criterion (AIC) of het Bayesian Information Criterion (BIC) om een balans te vinden tussen modelpassing en complexiteit:

Iteratieve Modus:
- Bouwt het model via een stepwise procedure (voorwaarts, achterwaarts of bidirectionaal).
- Evalueert in elke stap de uitgesloten voorspellers om hun beste vorm (lineair of dummy-getransformeerd) te vinden en de huidige voorspellers om te zien of verwijdering de modelpassing verbetert.
- Kandidaat-transformaties worden gegenereerd met behulp van ondiepe beslissingsbomen (via het rpart-pakket) met een maximale diepte van twee.
- Het algoritme selecteert de actie (toevoegen, verwijderen of van vorm wisselen) die de laagste AIC/BIC oplevert.
- Deze modus houdt rekening met variabele interacties en gezamenlijke effecten, wat over het algemeen een hogere precisie biedt.
Univariante Modus:
- Evalueert elke voorspeller onafhankelijk om de optimale representatie te bepalen (nul, lineair, enkelvoudige split-dummy of dubbele split-dummy).
- Gebruikt dezelfde ondiepe boomlogica om optimale splitsingspunten te identificeren.
- Selecteert de beste transformatie voor elke variabele op basis van AIC/BIC voordat een definitief model via een daaropvolgend stepwise selectieproces wordt samengesteld.
- Deze modus is ontworpen voor schaalbaarheid in hoog-dimensionale data.

Software Implementatie

De methode is geïmplementeerd als een open-source R-pakket (SplitWise). Het leunt minimaal op externe afhankelijkheden en maakt primair gebruik van base R-functies (lm, step) en het rpart-pakket voor boomgebaseerde splitsing. Het pakket geeft een standaard regressiemodelobject (splitwise_lm) terug dat een lineaire structuur behoudt, maar ook metadata bevat met details over de specifieke snijpunten en dummy-encodings (bijv. $I(\text{bloeddruk} > 140)$ ), waardoor het uiteindelijke model menselijk leesbaar en controleerbaar blijft.

Belangrijkste Bijdragen

Adaptieve Dummy-Encoding: In tegen tegenstelling tot traditionele stepwise regressie, die variabelen als vaste lineaire termen behandelt, converteert SplitWise numerieke voorspellers dynamisch naar binaire drempelkenmerken als dit de informatiecriteria verbetert.
Behoud van Interpreteerbaarheid: Het resulterende model is een globale lineaire vergelijking die wordt aangevuld met een klein aantal drempelwaardengebaseerde kenmerken. Dit vermijdt de complexiteit van volledige boom-ensembles terwijl relevante niet-lineariteiten worden gevangen.
Parsimonie en Stabiliteit: Het framework is ontworpen om ijle (sparse) modellen te produceren. Door AIC/BIC te gebruiken voor selectie, beoogt het overfitting te voorkomen en te garanderen dat alleen betekenisvolle transformaties worden behouden.
Open-Source Tooling: De release van het SplitWise R-pakket biedt een reproduceerbare, gebruiksvriendelijke tool voor analisten om deze methoden toe te passen zonder handmatig complexe boom-zoekalgoritmen te hoeven implementeren.

Experimentele Resultaten

De auteurs evalueerden SplitWise tegen klassieke stepwise regressie, best subset selectie en gepenaliseerde regressietechnieken (LASSO, Ridge, Elastic Net) met behulp van zowel synthetische als real-world datasets.

Synthetische Datasets

Prestaties: Over datasets met 15, 30 en 60 voorspellers presteerde SplitWise (met name in iteratieve configuraties) consistent met de laagste Root Mean Squared Error (RMSE) en de hoogste aangepaste $R^2$ .
Modelselectie: Het produceerde in de meeste scenario's de laagste AIC- en BIC-waarden, wat wijst op een superieure afweging tussen modelpassing en complexiteit.
IJlheid (Sparsity): SplitWise identificeerde zeer ijle modellen (bijv. 4–5 variabelen in de 15-voorspeller setting) terwijl de nauwkeurigheid hoog bleef, terwijl traditionele stepwise en gepenaliseerde methoden vaak grotere modellen selecteerden voor vergelijkbare of slechtere prestaties.
Stabiliteit: De methode vertoonde een hoge stabiliteit (het aandeel van de keren dat dezelfde voorspellers werden geselecteerd tijdens resampling-runs), waarbij vaak 1.00 werd bereikt, terwijl traditionele stepwise methoden lagere stabiliteit vertoonden in hogere dimensies.

Real-World Datasets

Geëvalueerd op vijf datasets (Bodyfat, Boston Housing, Mtcars, Wine Quality Red/White):

Voorspellende Nauwkeurigheid: SplitWise (iteratief) behaalde consequent de laagste RMSE in complexe datasets zoals Boston Housing en Wine Quality.
Variabele Selectie: Het behaalde deze resultaten met minder of vergelijkbare aantallen voorspellers vergeleken met traditionele methoden. Bijvoorbeeld, in de Wine Quality (Red) dataset presteerde het beter dan andere met slechts 7 variabelen.
Vergelijking: Hoewel traditionele stepwise methoden competitief bleven in lager-dimensionale datasets (bijv. Bodyfat), hadden ze moeite met efficiëntie en stabiliteit in complexere scenario's. Gepenaliseerde methoden waren computationeel efficiënt, maar bleven over het algemeen achter wat betreft RMSE en aangepaste $R^2$ .

Betekenis en Claims

Het artikel beweert dat SplitWise een praktische oplossing biedt voor domeinen waar zowel hoge voorspellende prestaties als interpreteerbaarheid niet onderhandelbaar zijn. Door de strengheid van modelselectie te combineren met adaptieve drempelwaardering, stelt het analisten in staat om niet-lineariteiten te modelleren zonder terug te vallen op ondoorzichtige machine learning-ensembles.

De auteurs positioneren SplitWise als een tool die "consistent meer parsimonieuze en generaliseerbare modellen produceert dan traditionele stepwise en gepenaliseerde regressietechnieken." Ze benadrukken dat de methode het mogelijk maakt om betekenisvolle breekpunten in continue variabelen te ontdekken, terwijl de transparantie van een globale lineaire regressie behouden blijft. De auteurs merken op dat hoewel de methode effectief is, het een deterministisch framework is dat bedoeld is om de interpreteerbaarheid van lineaire modellering te verbeteren, niet te vervangen, waardoor het geschikt is voor de gezondheidszorg, economie en sociale wetenschappen. Toekomstig werk wordt geïdentificeerd als het uitbreiden van het framework naar Python, generalized linear models en tijdreeksen, evenals het ontwikkelen van versnelde varianten voor ultra-hoog-dimensionale settings.