📈 economics

SplitWise Regression: Stepwise Modeling with Adaptive Dummy Encoding

Il documento presenta SplitWise, un nuovo pacchetto R che potenzia la regressione stepwise convertendo adattivamente i predittori numerici in caratteristiche binarie basate su soglie tramite alberi decisionali poco profondi solo quando migliorano l'adattamento del modello secondo l'AIC o il BIC, ottenendo così un equilibrio tra la cattura di relazioni non lineari e il mantenimento dell'interpretabilità del modello.

Autori originali: Marcell T. Kurbucz, Nikolaos Tzivanakis, Nilufer Sari Aslam, Adam M. Sykulski

Pubblicato 2026-02-06

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Marcell T. Kurbucz, Nikolaos Tzivanakis, Nilufer Sari Aslam, Adam M. Sykulski

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di prevedere quanto bene si comporterà un'auto in base alle sue caratteristiche, come la dimensione del motore o il peso. Tradizionalmente, i statistici utilizzano un semplice approccio a "linea retta": assumono che se raddoppia la dimensione del motore, le prestazioni cambino di una quantità fissa. È facile da capire, ma spesso è sbagliato perché la vita reale non è una linea retta. A volte, un'auto peggiora significativamente solo quando il motore diventa troppo grande, o una caratteristica conta solo dopo aver superato una specifica soglia.

D'altro lato, l'apprendimento automatico moderno utilizza metodi complessi a "scatola nera" (come le reti neurali profonde) che riescono a trovare questi strani schemi non rettilinei. Ma sono così complicati che nessuno può spiegare il perché abbiano fatto una determinata previsione. È come avere un GPS che ti dà la svolta corretta ma si rifiuta di mostrarti la mappa.

Entra in gioco "SplitWise": Il meglio di entrambi i mondi

Il documento presenta un nuovo strumento chiamato SplitWise Regression. Immaginalo come un assistente intelligente e flessibile che ti aiuta a costruire un modello semplice e trasparente che possa comunque gestire le realtà disordinate e non rettilinee del mondo reale.

Ecco come funziona, utilizzando alcune analogie quotidiane:

1. Lo "Switch Intelligente" (Adaptive Dummy Encoding)

In un modello standard, una variabile come l'"Età" viene trattata come una linea continua. SplitWise si chiede: "Questa variabile si comporta come una linea, o ha un 'punto di rottura'?"

Se i dati suggeriscono che l' "Età" inizia a influenzare gli esiti della salute solo dopo i 50 anni, SplitWise non forza una linea retta. Inveve, crea uno switch intelligente. Trasforma la variabile "Età" in una semplice domanda "Sì/No": "La persona ha più di 50 anni?"

Se la risposta è Sì, applica una regola.
Se la risposta è No, applica un'altra regola (o nessuna regola affatto).

Questo è come un termostato. Non hai bisogno di conoscere la curva esatta della temperatura di una stanza; devi solo sapere: "È sopra i 70 gradi? Se sì, accendi il condizionatore". SplitWise trova automaticamente questi "punti di rottura" (soglie) nei dati.

2. Il "Contabile Severo" (Stepwise Selection con AIC/BIC)

Potresti preoccuparti: "Se continuiamo ad aggiungere questi switch 'Sì/No', il modello non diventerà troppo complicato e confusionario?"

È qui che entra in gioco lo "Strict Accountant" (il Contabile Severo) di SplitWise. Prima di aggiungere qualsiasi nuovo switch al modello, controlla un registro finanziario chiamato AIC o BIC. Questi sono punteggi che bilanciano due cose:

Quanto bene il modello si adatta ai dati (Accuratezza).
Quante regole ha il modello (Complessità).

Se l'aggiunta di un nuovo "switch" (come "La pressione sanguigna è > 140?") non migliora il punteggio abbastanza da giustificare la complicazione extra, il contabile dice: "No grazie, manteniamo le cose semplici". Ciò assicura che il modello finale rimanga facile da leggere e comprendere, evitando la trappola dell' "overfitting", dove un modello impara a memoria il rumore invece di apprendere il pattern.

3. "Due modi per cucinare" (Iterativo vs. Univariato)

Il documento descrive due modi in cui SplitWise costruisce il modello:

Il "Briefing di squadra" (Modalità Iterativa): L'algoritmo guarda tutte le variabili insieme. Chiede: "Se abbiamo già la 'Dimensione del Motore' nel modello, l'aggiunta di 'Il Peso è > 2000 libbre?' ci aiuta?". Questo è preciso e tiene conto di come le variabili interagiscono tra loro.
Lo "Scout Solitario" (Modalità Univariata): L'algoritmo guarda ogni variabile una alla volta, come uno scout che controlla i singoli ingredienti. Decide la forma migliore per ogni ingrediente indipendentemente, poi assembla il piatto finale. Questo è più veloce per enormi set di dati con molte variabili.

Cosa ha scoperto il documento

Gli autori hanno testato SplitWise sia su dati simulati (dove conoscevano la "risposta vera") sia su dati del mondo reale (come l'efficienza del carburante delle auto, i prezzi delle case e la qualità del vino).

Il Risultato: SplitWise ha costruito costantemente modelli che erano più accurati dei tradizionali metodi a linea retta e più semplici (meno variabili) dei complessi modelli di machine learning.
Il Punto di Equilibrio: È riuscito a catturare i "sobbalzi" e i "salti" nei dati (non linearità) senza trasformare il modello in una scatola nera illeggibile.
Lo Strumento: Hanno rilasciato questo come un pacchetto software gratuito (nel linguaggio di programmazione R) affinché chiunque possa usarlo.

In sintesi

SplitWise è come passare da un rigido righello a un metro flessibile che può incastrarsi esattamente nei punti in cui il comportamento dei dati cambia. Mantiene il modello abbastanza trasparente da essere compreso da un essere umano (fondamentale per medici, decisori politici o ingegneri che devono spiegare le proprie decisioni) ma abbastanza intelligente da cogliere le relazioni complesse e non lineari che i modelli semplici perdono.

Ciò che il documento NON afferma:
Il documento si concentra interamente sulle prestazioni statistiche e sullo strumento software stesso. Non afferma che questo metodo sia stato testato in specifici trial clinici, né che preveda specifici esiti medici futuri o crolli dei mercati finanziari. Dimostra semplicemente che il metodo matematico funziona meglio delle alternative esistenti per costruire modelli di regressione chiari e accurati.

Riepilogo Tecnico: SplitWise Regression

Definizione del Problema

Nella modellazione di regressione, esiste una sfida persistente nel catturare relazioni non lineari senza sacrificare l'interpretabilità inerente ai modelli lineari. La regressione lineare tradizionale offre trasparenza, dove i coefficienti quantificano direttamente l'influenza dei predittori, ma non riesce a modellare gli effetti soglia o le complesse non linearità (ad esempio, esiti sanitari che cambiano drasticamente dopo una specifica età). Al contrario, i metodi di machine learning come gli alberi decisionali e le reti neurali possono modellare queste relazioni complesse, ma spesso producono strutture "black box" che mancano di interpretabilità globale, un aspetto critico in settori ad alto rischio come l'assistenza sanitaria, la finanza e le politiche pubbliche.

Gli approcci ibridi esistenti, come RuleFit o i metodi basati su alberi con componenti lineari (ad esempio, M5, PILOT), tentano di colmare questo divario. Tuttavia, spesso risultano in strutture di modello complesse con molteplici split nidificati o componenti di ensemble che diminuiscono la trasparenza. Inoltre, gli attuali metodi di selezione stepwise si basano tipicamente su soglie di p-value o criteri di informazione, ma non rilevano automaticamente le soglie ottimali all'interno delle variabili numeriche per migliorare la robustezza del modello e ridurre l'overfitting. Esiste una specifica necessità di un approccio che introduca la non linearità in modo controllato — creando variabili di soglia binarie che migliorino direttamente le prestazioni del modello lineare preservando al contempo la coerenza di un'equazione lineare globale.

Metodologia

Il documento presenta SplitWise, un framework deterministico che integra trasformazioni adattive basate su soglia in un processo di regressione stepwise. L'innovazione principale è la capacità di determinare automaticamente se un predittore numerico debba entrare nel modello come termine lineare standard o come uno o più indicatori binari (dummy) derivati da punti di taglio basati sui dati.

Modalità Algoritmiche

SplitWise opera in due modalità distinte, entrambe utilizzando il Criterio di Informazione di Akaike (AIC) o il Criterio di Informazione Bayesiano (BIC) per bilanciare l'adattamento del modello e la complessità:

Modalità Iterativa (Iterative Mode):
- Costruisce il modello tramite una procedura stepwise (forward, backward o bidirectional).
- Ad ogni step, valuta i predittori esclusi per trovare la loro migliore forma (lineare o trasformata in dummy) e i predittori correnti per vedere se la loro rimozione migliora il modello.
- Le trasformazioni candidate sono generate utilizzando alberi decisionali poco profondi (tramite il pacchetto rpart) con una profondità massima di due.
- L'algoritmo seleziona l'azione (aggiunta, rimozione o cambio di forma) che produce il valore di AIC/BIC più basso.
- Questa modalità tiene conto delle interazioni tra variabili ed effetti congiunti, offrendo generalmente una maggiore precisione.
Modalità Univariata (Univariate Mode):
- Valuta ogni predittore indipendentemente per determinare la sua rappresentazione ottimale (nulla, lineare, dummy a singolo split o dummy a doppio split).
- Utilizza la stessa logica di alberi poco profondi per identificare i punti di split ottimali.
- Seleziona la migliore trasformazione per ogni variabile basandosi su AIC/BIC prima di assemblare un modello finale tramite un successivo processo di selezione stepwise.
- Questa modalità è progettata per la scalabilità in dati ad alta dimensionalità.

Implementazione Software

Il metodo è implementato come un pacchetto R open-source (SplitWise). Si basa minimamente su dipendenze esterne, utilizzando principalmente funzioni base di R (lm, step) e il pacchetto rpart per lo splitting basato su alberi. Il pacchetto restituisce un oggetto di modello di regressione standard (splitwise_lm) che mantiene una struttura lineare ma include metadati che dettagliano i punti di cut-off e le codifiche dummy (ad esempio, $I(\text{pressione sanguigna} > 140)$ ), garantendo che il modello finale rimanga leggibile dall'uomo e verificabile.

Contributi Chiave

Codifica Dummy Adattiva: A differenza della regressione stepwise tradizionale che tratta le variabili come termini lineari fissi, SplitWise converte dinamicamente i predittori numerici in feature binarie di soglia se ciò migliora il criterio di informazione.
Preservazione dell'Interpretabilità: Il modello risultante è un'equazione lineare globale aumentata da un piccolo numero di feature soglia. Ciò evita la complessità degli ensemble di alberi completi pur catturando le non linearità rilevanti.
Parsimonia e Stabilità: Il framework è progettato per produrre modelli sparsi. Utilizzando AIC/BIC per la selezione, mira a prevenire l'overfitting e garantire che vengano mantenute solo le trasformazioni significative.
Strumenti Open-Source: Il rilascio del pacchetto R SplitWise fornisce uno strumento riproducibile e user-friendly per consentire agli analisti di applicare questi metodi senza dover implementare manualmente complessi algoritmi di ricerca ad albero.

Risultati Sperimentali

Gli autori hanno valutato SplitWise rispetto alla classica regressione stepwise, alla selezione del miglior sottoinsieme (best subset selection) e alle tecniche di regressione penalizzata (LASSO, Ridge, Elastic Net) utilizzando sia dataset sintetici che reali.

Dataset Sintetici

Performance: In dataset con 15, 30 e 60 predittori, SplitWise (particolarmente nelle configurazioni iterative) ha costantemente ottenuto il Root Mean Squared Error (RMSE) più basso e l'Adjusted $R^2$ più alto.
Selezione del Modello: Ha prodotto i valori di AIC e BIC più bassi nella maggior parte degli scenari, indicando un rapporto superiore tra adattamento e complessità.
Sparsità: SplitWise ha identificato modelli molto sparsi (ad esempio, 4–5 variabili nell'impostazione con 15 predittori) mantenendo un'alta accuratezza, mentre i metodi tradizionali e penalizzati hanno spesso selezionato modelli più grandi per prestazioni simili o peggiori.
Stabilità: Il metodo ha dimostrato un'alta stabilità (proporzione di volte in cui gli stessi predittori sono stati selezionati attraverso sessioni di resampling), raggiungendo spesso 1.00, mentre i metodi stepwise tradizionali mostravano una stabilità inferiore in dimensioni più elevate.

Dataset Reali

Valutati su cinque dataset (Bodyfat, Boston Housing, Mtcars, Wine Quality Red/White):

Accuratezza Predittiva: SplitWise (iterativo) ha costantemente raggiunto l'RMSE più basso in dataset complessi come Boston Housing e Wine Quality.
Selezione delle Variabili: Ha ottenuto questi risultati con un numero di predittori inferiore o comparabile rispetto ai metodi tradizionali. Ad esempio, nel dataset Wine Quality (Red), ha superato gli altri con solo 7 variabili.
Confronto: Mentre i metodi stepwise tradizionali rimanevano competitivi in dataset a bassa dimensionalità (ad esempio, Bodyfat), hanno faticato in termini di efficienza e stabilità in scenari più complessi. I metodi penalizzati erano computazionalmente efficienti ma generalmente restavano indietro in termini di RMSE e Adjusted $R^2$ .

Significato e Rivendicazioni

Il documento sostiene che SplitWise offra una soluzione pratica per domini in cui sia le alte prestazioni predittive che l'interpretabilità sono non negoziabili. Mescolando il rigore della selezione del modello con la soglia adattiva, permette agli analisti di modellare le non linearità senza ricorrere a opachi ensemble di machine learning.

Gli autori posizionano SplitWise come uno strumento che "produce costantemente modelli più parsimoniosi e generalizzabili rispetto alle tecniche di regressione penalizzata e stepwise tradizionali". Essi sottolineano che il metodo consente la scoperta di breakpoint significativi nelle variabili continue mantenendo la trasparenza di una regressione lineare globale. Gli autori osservano che, sebbene il metodo sia efficace, si tratta di un framework deterministico inteso ad potenziare, non a sostituire, l'interpretabilità della modellazione lineare, rendendolo adatto all'assistenza sanitaria, all'economia e alle scienze sociali. Il lavoro futuro è identificato nell'espansione del framework a Python, ai modelli lineari generalizzati e alle serie temporali, nonché nello sviluppo di varianti accelerate per contesti con dimensionalità ultra-elevata.