Revisiting Chebyshev Polynomial and Anisotropic RBF Models for Tabular Regression

Questo studio dimostra che i modelli di regressione basati su funzioni lisce, come i polinomi di Chebyshev e le reti RBF anisotrope, possono competere in accuratezza con gli ensemble di alberi decisionali su dati tabulari offrendo al contempo un migliore gap di generalizzazione, rendendoli una valida alternativa per applicazioni che richiedono previsioni gradualmente variabili.

L'essenziale

🌟 Il Titolo: "Le Onde Liscie contro gli Scogli: Una Nuova Sfida per i Dati"

Immagina di dover prevedere il futuro basandoti su un elenco di dati (come il prezzo di una casa, il consumo di energia o la temperatura di un motore). Per anni, il "re" indiscusso di questo compito è stato un gruppo di modelli chiamati Ensemble di Alberi (come Random Forest o XGBoost).

Pensa a questi modelli come a un esercito di cartografi che disegnano mappe a scacchiera. Se vuoi sapere il prezzo di una casa, il modello ti dice: "Se la casa è in centro, costa X. Se è in periferia, costa Y". Il confine tra centro e periferia è netto, come un muro. Se ti sposti di un metro, il prezzo cambia di colpo. Funziona bene, ma la mappa è "a gradini", non fluida.

Questo studio si chiede: "E se usassimo invece dei modelli che disegnano curve lisce, come le onde del mare?"

Gli autori hanno rispolverato due vecchie conoscenze matematiche (i Polinomi di Chebyshev e le Funzioni RBF) e le hanno aggiornate per competere con gli alberi. Ecco cosa hanno scoperto, spiegato con analogie.

---

1. I Protagonisti della Gara

Immagina una gara di corsa su 55 percorsi diversi (i dataset).

• I Favoriti (Gli Alberi): Sono veloci, robusti e sanno gestire bene i "buchi" o le regole rigide (es. "se il reddito supera 50k, la tassa raddoppia"). Sono come i camion: forti, ma un po' rigidi.
• I Nuovi Sfidanti (I Modelli Lisci):
  • Chebypoly: È come un ponte sospeso. Cerca di trovare la curva perfetta che collega tutti i punti. Non fa salti, tutto è fluido.
  • Erbf (RBF Anisotropo): È come un giardiniere esperto. Invece di usare un unico secchio d'acqua per tutto il giardino, usa annaffiatoi diversi per ogni pianta, adattandosi esattamente alla forma del terreno.
  • Chebytree (L'Ibrido): È un coccodrillo. Ha la testa dura e squamosa (l'albero che divide il mondo in zone) ma il corpo è morbido e flessibile (i polinomi che si adattano dentro ogni zona).
• Il Gigante (TabPFN): Un modello basato sull'intelligenza artificiale più avanzata (Transformer). È come un genio che ha letto tutti i libri del mondo. È velocissimo e precisissimo, ma richiede un supercomputer (GPU) per funzionare, quindi non è sempre disponibile per tutti.

2. Cosa è successo nella gara?

Gli autori hanno fatto correre tutti questi modelli su 55 problemi reali, dall'ingegneria all'economia.

• Chi ha vinto la velocità (Precisione)?
  Il "Genio" (TabPFN) è arrivato primo in assoluto, ma è costoso e difficile da usare. Tra quelli che girano su un normale computer (senza supercomputer), gli sfidanti lisci e gli alberi sono praticamente pari. Non c'è una differenza significativa nella precisione finale.

• Chi ha vinto la stabilità (Generalizzazione)?
  Qui arriva la sorpresa! Se guardiamo quanto i modelli "sbagliano" quando vedono dati nuovi (il gap di generalizzazione), i modelli lisci sono molto più stabili.

  • L'analogia: Immagina di guidare un'auto. Gli alberi sono come un'auto che va bene su strada dritta, ma se incontri una buca (un dato nuovo), sobbalza violentemente. I modelli lisci sono come un'auto con una sospensione a molla: anche se la strada è irregolare, il viaggio rimane fluido e prevedibile.
  • In pratica, quando due modelli hanno la stessa precisione, quello "liscio" tende a essere più affidabile su dati mai visti prima.

3. Perché dovresti preoccupartene?

Potresti chiederti: "Se sono pari, perché cambiare?"

Ecco tre motivi pratici:

1. La sicurezza del "Salto": Se usi un modello per prevedere il prezzo di un'assicurazione o di un prestito, non vuoi che un centesimo in più di reddito faccia saltare il prezzo di 1000 euro. I modelli lisci evitano questi "salti" assurdi. È come preferire una rampa di accesso a un gradino: è più sicuro e logico.
2. Ottimizzazione: Se devi usare il modello per trovare la soluzione migliore (es. "come devo impostare i parametri di una macchina per consumare meno?"), hai bisogno di una superficie liscia. Se la superficie è fatta a gradini (alberi), l'ottimizzatore si blocca o rimbalza. I modelli lisci sono come una pista da sci perfetta: lo sciatore (l'ottimizzatore) scende fluido fino alla meta.
3. Interpretabilità: I modelli lisci ti dicono come cambiano le cose. "Se aumento X, Y cresce dolcemente". Gli alberi ti dicono solo "Se X è qui, allora Y è quello".

4. Il Verdetto Finale

Il paper conclude con un consiglio d'oro per chi lavora con i dati:

"Non limitarti a usare gli Alberi per abitudine."

Anche se gli alberi (come XGBoost) sono ottimi e veloci, dovresti sempre includere i modelli lisci (Chebyshev o RBF) nella tua lista di candidati.

• Se hai bisogno di velocità estrema e i dati sono semplici: usa gli alberi.
• Se vuoi affidabilità, fluidità e vuoi evitare sorprese sui dati nuovi: prova i modelli lisci. Spesso vincono la gara della "stabilità" pur mantenendo la stessa precisione.

In sintesi: Non serve scegliere tra "veloce" e "bravo". Con i nuovi modelli lisci, puoi avere entrambi, con il vantaggio extra di non fare salti mortali quando i dati cambiano.

Sommario tecnico

1. Il Problema

Nell'ambito della regressione su dati tabulari, gli ensemble di alberi decisionali (come Random Forest e XGBoost) dominano indiscutibilmente le classifiche per accuratezza predittiva. Tuttavia, questi modelli producono superfici di previsione discontinue e non differenziabili, il che li rende meno adatti in scenari specifici come:

• Ottimizzazione basata su surrogate: Dove sono necessari gradienti continui.
• Analisi di sensitività: Dove piccole variazioni negli input devono produrre variazioni proporzionali negli output.
• Interpretabilità strutturale: Dove la forma funzionale esplicita è desiderabile.

I modelli a base liscia (smooth-basis), come le reti a funzioni di base radiale (RBF) e i polinomi di Chebyshev, sono ben consolidati nell'analisi numerica ma raramente utilizzati nel machine learning tabulare. Il paper indaga se questi modelli, modernizzati, possano competere in accuratezza con gli ensemble di alberi, offrendo al contempo vantaggi superiori in termini di generalizzazione e regolarità della superficie di previsione.

2. Metodologia

Gli autori hanno sviluppato e valutato tre nuovi modelli, tutti implementati come estimatori compatibili con scikit-learn, e li hanno confrontati con un ampio spettro di baseline su 55 dataset di regressione provenienti da quattro domini applicativi (Ingegneria/Simulazione, Comportamentale/Sociale, Scienze Fisiche/Chimiche, Economia/Prezzi).

Modelli Proposti:

1. erbf (Anisotropic RBF Network):

   • Una rete RBF anisotropa che utilizza larghezze diverse per ogni dimensione del feature space (vettori di larghezza $\sigma_k \in \mathbb{R}^d$).
   • Pipeline di addestramento a tre stadi per mitigare la non convessità dell'ottimizzazione congiunta:
     1. Posizionamento dei centri: Basato su una stima guidata dal Lipschitz (supervisionata) o clustering K-means. I centri vengono campionati proporzionalmente alla variazione locale del target.
     2. Inizializzazione delle larghezze: Basata su regressione ridge locale o varianza locale.
     3. Ottimizzazione delle larghezze: Ottimizzazione basata su gradienti (L-BFGS-B) nello spazio logaritmico per garantire positività e stabilità.
   • I pesi di output sono ottenuti tramite regressione ridge.

2. chebypoly (Chebyshev Polynomial Regressor):

   • Espande le feature in una base di polinomi di Chebyshev di prima specie (che offrono un migliore condizionamento numerico rispetto alle basi monomiali).
   • Include termini di interazione a coppie (prodotto di feature scalate) per catturare relazioni multivariate.
   • Utilizza la regressione ridge per la regolarizzazione e risolve il problema come un singolo sistema lineare.

3. chebytree (Chebyshev Model Tree):

   • Un ibrido che combina la partizione dello spazio delle feature di un albero decisionale con modelli locali lisci.
   • L'albero identifica i confini dei regimi (discontinuità), mentre ogni foglia adatta un regressore polinomiale di Chebyshev. Questo offre una superficie a tratti liscia.

Protocollo di Valutazione:

• Validazione Incrociata Annidata (Nested CV): Per evitare bias nella selezione dei modelli e fornire stime non distorte della generalizzazione.
• Metriche:
  • $R^2$ aggiustato per l'accuratezza.
  • Generalisation Gap: Differenza tra $R^2$ di training e di test (misura dell'overfitting).
  • Costo computazionale (tempo di tuning, training e inferenza).
• Baseline: Random Forest (RF), XGBoost (XGB), Regressione Ridge, Decision Tree singolo, e TabPFN (un modello transformer pre-addestrato).

3. Contributi Chiave

1. Benchmark Multi-Assiale: Oltre all'accuratezza, il paper introduce il "generalisation gap" come asse di valutazione standard, dimostrando che modelli con accuratezza simile possono comportarsi diversamente in termini di stabilità e overfitting.
2. Implementazioni Software: Rilascio di pacchetti Python (erbf e poly-basis-ml) che rendono questi modelli matematici accessibili e facili da usare nell'ecosistema ML moderno.
3. Analisi Domini-Specifica: Valutazione delle prestazioni in base alla natura del dominio (es. processi fisici lisci vs. regole di prezzo a scatti), mostrando che non esiste un modello "migliore" universale.

4. Risultati Principali

Accuratezza Predittiva

• TabPFN risulta il modello più accurato sulla maggior parte dei dataset, ma è limitato dalla dipendenza da GPU, dalla latenza di inferenza e dal limite di dimensione del dataset (max 50k campioni).
• Tra i modelli eseguibili su CPU, i cinque modelli competitivi (erbf, chebytree, xgb, chebypoly, rf) sono statisticamente indistinguibili in termini di accuratezza media (test di Friedman con post-hoc di Nemenyi).
• Analisi per Dominio:
  • I modelli lisci (erbf, chebypoly) tendono a performare meglio nei domini di Ingegneria e Scienze Fisiche (funzioni target lisce).
  • Gli ensemble di alberi (xgb) tendono a eccellere nei domini economici e di pricing, dove le discontinuità e le soglie sono comuni.
  • I dati con target discreti (es. punteggi ordinali) penalizzano erbf, mentre favoriscono chebytree e chebypoly.

Generalizzazione e Overfitting

• Vantaggio dei Modelli Lisci: Sebbene l'accuratezza sia simile, i modelli a base liscia mostrano un generalisation gap significativamente più stretto rispetto agli ensemble di alberi.
• In confronti a parità di accuratezza ($|\Delta R^2| \le 0.02$), i modelli lisci hanno un gap inferiore nell'87% dei casi rispetto agli ensemble di alberi.
• Questo suggerisce che i modelli lisci sono meno sensibili ai campioni di training specifici e più stabili.

Costo Computazionale

• chebypoly e chebytree sono i modelli più veloci da addestrare e ottimizzare (riduzione a regressione ridge).
• erbf ha un costo di tuning più elevato a causa dell'ottimizzazione non convessa delle larghezze, ma offre un'inferenza molto rapida una volta addestrato.
• TabPFN ha costi di inferenza elevati e richiede GPU.

5. Significato e Implicazioni

Il paper sfida il dogma secondo cui gli ensemble di alberi (in particolare XGBoost) siano la scelta predefinita e ottimale per ogni problema di regressione tabulare.

• Raccomandazione Pratica: I modelli a base liscia dovrebbero essere inclusi routinariamente nel "candidate pool" per la selezione del modello.
• Trade-off: Quando l'accuratezza è comparabile, la scelta dovrebbe ricadere sul modello con il gap di generalizzazione più stretto (spesso un modello liscio), specialmente se le previsioni devono essere utilizzate per:
  • Ottimizzazione basata su gradienti (dove le discontinuità degli alberi possono intrappolare l'ottimizzatore).
  • Analisi di sensitività.
  • Applicazioni dove la stabilità e la gradualità delle previsioni sono critiche per la fiducia dell'utente (es. calcolatori di prestiti).
• Interpretabilità: I modelli polinomiali e RBF offrono una struttura intrinseca interpretabile (coefficienti espliciti, larghezze geometriche) che va oltre le tecniche post-hoc come SHAP.

In conclusione, il lavoro dimostra che i modelli numerici classici, se modernizzati con tecniche di ottimizzazione avanzate, possono competere con gli stati dell'arte moderni offrendo vantaggi cruciali in termini di robustezza e proprietà matematiche della superficie di previsione.