RocketStack: Level-aware Deep Recursive Ensemble Learning Architecture

RocketStack è un'architettura di ensemble learning ricorsiva e consapevole dei livelli che, attraverso la fusione delle previsioni, la potatura regolarizzata dei modelli più deboli e la compressione periodica delle caratteristiche, raggiunge prestazioni competitive e una crescita computazionale sublineare su dieci livelli di stacking.

L'essenziale

Immagina di dover risolvere un problema difficile, come indovinare il prezzo di una casa o prevedere se un paziente avrà una malattia. Nel mondo dell'intelligenza artificiale, invece di affidarsi a un solo "esperto" (un modello), si usa spesso un comitato di esperti (questo si chiama ensemble learning).

Il Problema: La Folla che Diventa Caotica

Fino a poco tempo fa, questi comitati erano piccoli. Avevi un gruppo di esperti, facevano le loro previsioni, e un "capo" (un meta-modello) prendeva la decisione finale.
Il problema è che se provi a creare un comitato molto profondo (dove gli esperti si consultano a vicenda per 10 livelli di profondità), succede il caos:

1. Troppi dati: Ogni volta che gli esperti parlano, generano nuove informazioni. Dopo 10 livelli, il comitato ha così tante note che si perde nel rumore.
2. Troppo lento: Elaborare tutte queste informazioni richiede un tempo enorme.
3. Confusione: Gli esperti iniziano a ripetere le stesse cose (ridondanza) o a fidarsi troppo dei primi che hanno parlato, perdendo la capacità di imparare cose nuove.

La Soluzione: RocketStack

L'autore, Çağatay Demirel, ha creato RocketStack. Immagina RocketStack non come una semplice pila di esperti, ma come un razzo a stadi che sale verso il cielo (la soluzione perfetta).

Ecco come funziona, passo dopo passo, con delle metafore:

1. Il Decollo (Livello 1): Mescolare Esperienza e Intuizione

All'inizio, il razzo prende i dati grezzi (le "osservazioni" originali) e li mescola con le prime previsioni degli esperti. È come se un detective prendesse le prove sul posto e le confrontasse con le prime ipotesi della squadra.

2. Il Filtro Intelligente (Potatura Dinamica)

Man mano che il razzo sale (livello 2, 3, ecc.), non tutti gli esperti sono ugualmente bravi.

• La regola: Se un esperto ha fatto previsioni sbagliate nelle prove precedenti, viene "licenziato" (potato).
• Il tocco di genio (Il "Rumore" Gaussiano): A volte, licenziare qualcuno solo perché ha fatto un errore di poco conto è un errore. RocketStack aggiunge un po' di "rumore" casuale (come un leggero vento laterale) ai punteggi degli esperti. Questo impedisce al sistema di essere troppo rigido e di eliminare troppo presto qualcuno che potrebbe rivelarsi utile più tardi. È come dire: "Forse non è perfetto oggi, ma diamogli un'altra chance!". Questo mantiene il comitato vario e creativo.

3. La Compressione Periodica (Il Bagaglio)

Man mano che salite, il razzo si riempie di "bagaglio" (nuove caratteristiche e dati). Se portate tutto, il razzo diventa troppo pesante e non vola.

• L'errore comune: Alcuni provano a buttare via il bagaglio ad ogni passo. Questo è pericoloso perché si rischia di gettare via cose importanti prima di averle capite bene.
• La strategia RocketStack: Lasciano che il bagaglio cresca per un po' (fino al livello 3, 6 e 9), permettendo agli esperti di accumulare conoscenza. Poi, in questi punti specifici, usano dei "filtri magici" (come l'attenzione o l'autoencoder) per comprimere il bagaglio, tenendo solo l'essenziale. È come fare una pausa in un viaggio lungo per riordinare lo zaino: si butta via il superfluo, ma si tiene tutto ciò che è davvero utile.

4. L'Arrivo (Livello 10)

Il razzo arriva al livello 10. Qui, invece di avere un solo "capo" che decide, il sistema guarda l'intera storia del viaggio: tutte le decisioni prese a ogni livello vengono fuse insieme per dare la risposta finale.

I Risultati: Perché è un Successo?

Il paper ha testato questa idea su 33 problemi diversi (dalla finanza alla medicina). Ecco cosa hanno scoperto:

• Più profondo è, meglio è (fino a un certo punto): Aumentando i livelli da 1 a 10, la precisione è migliorata costantemente.
• Non serve essere perfetti all'inizio: Sorprendentemente, anche se gli esperti iniziali non erano stati "ottimizzati" al massimo (non avevano i parametri perfetti), il sistema RocketStack li ha migliorati man mano che saliva. Anzi, a volte, un sistema con esperti "imperfetti" ma vari ha funzionato meglio di uno con esperti perfezionati all'inizio, perché la diversità ha aiutato a evitare errori comuni.
• Velocità: Nonostante sia profondo, è veloce perché taglia via gli esperti lenti e riduce il bagaglio inutile.
• Supera i giganti: Alla fine del viaggio (livello 10), RocketStack ha battuto modelli molto famosi e complessi come Deep Forest e TabNet, pur essendo più semplice da gestire.

In Sintesi

RocketStack è come un'azienda che assume un team, lo fa lavorare in gruppi, ma invece di tenerli tutti insieme per sempre, li valuta costantemente, licenzia i meno produttivi, fa delle pause per riorganizzare i documenti (compressione) e permette un po' di casualità per non perdere idee brillanti.

Il risultato? Un sistema che impara in modo profondo, non si perde nel caos dei dati, è veloce e prende decisioni migliori di chiunque altro, senza bisogno di essere un genio matematico per farlo funzionare.

Sommario tecnico

1. Il Problema

L'apprendimento d'insieme (ensemble learning), in particolare lo stacking (o stacked generalization), è una tecnica fondamentale per migliorare la robustezza predittiva e ridurre la varianza, specialmente nei dati tabulari strutturati dove le reti neurali profonde spesso faticano. Tuttavia, nella pratica, lo stacking rimane prevalentemente superficiale (limitato a 1 o 2 livelli meta), a causa di tre ostacoli principali:

• Accumulo di feature: Man mano che le previsioni vengono propagate attraverso i livelli, la dimensionalità dei dati esplode (feature redundancy), degradando le prestazioni di generalizzazione.
• Costo computazionale: L'addestramento di modelli profondi diventa proibitivo senza meccanismi di coordinamento.
• Overfitting ricorsivo: L'applicazione ricorsiva di apprenditori non lineari aumenta il rischio di overfitting, specialmente in contesti con pochi campioni.

Esistono approcci recenti per la selezione delle feature o il pruning, ma spesso operano in fasi isolate e mancano di una scalabilità modulare per gestire profondità ricorsive significative.

2. Metodologia: RocketStack

Il paper introduce RocketStack, un'architettura modulare per l'apprendimento d'insieme ricorsivo che esplora fino a 10 livelli di stacking. L'architettura è progettata per essere "consapevole del livello" (level-aware) e gestisce la complessità attraverso tre meccanismi chiave:

A. Fusione e Compressione delle Feature

• Livello 1: Le previsioni dei modelli base (ottenute tramite Out-of-Fold o OOF) vengono fuse con le feature originali.
• Livelli successivi: Le nuove previsioni OOF vengono fuse con la matrice compressa del livello precedente.
• Strategie di Compressione: Per controllare la crescita delle feature, vengono testate diverse strategie di selezione/compressione:
  • Nessuna compressione: Baseline.
  • Selezione per livello: Applicata a ogni livello ricorsivo.
  • Selezione periodica: Applicata solo a livelli specifici (3, 6 e 9).
  • Tecniche utilizzate: SFE (Simple, Fast, Efficient), Autoencoder (2 e 3 strati) e meccanismi di Attention.

B. Pruning Guidato da OOF (Potatura)

Per controllare il numero di modelli attivi e prevenire l'accumulo di predittori deboli:

• Soglia adattiva: Vengono mantenuti solo i modelli che superano una soglia percentilica dinamica basata sulle prestazioni OOF.
• Perturbazione Stocastica: Per evitare una convergenza prematura verso un sottoinsieme ristretto di modelli, viene introdotta una perturbazione gaussiana (rumore) sui punteggi OOF prima della selezione. Questo agisce come una forma di regolarizzazione, mantenendo una maggiore diversità nell'insieme. Sono stati testati livelli di rumore leggeri ($\lambda=0.05$) e moderati ($\lambda=0.1$).

C. Stack-of-Stacking

Alla fine del processo ricorsivo, viene eseguita una fase di aggregazione finale ("stack-of-stacking") che combina le feature selezionate e compresse da tutti i livelli ricorsivi per formare una rappresentazione globale utilizzata dal modello finale.

3. Contributi Chiave

1. Architettura Ricorsiva Profonda: Introduzione di RocketStack, esplorata fino a 10 livelli, superando i limiti delle architetture attuali.
2. Pruning Dinamico con Rumore: Implementazione di un pruning basato su soglie OOF arricchito da perturbazione gaussiana, che migliora la stabilità e i guadagni nei livelli avanzati.
3. Compressione Periodica vs. Per Livello: Dimostrazione che la compressione periodica (livelli 3, 6, 9) offre un miglior compromesso tra accuratezza e tempo di esecuzione rispetto alla compressione continua a ogni livello.
4. Analisi Statistica Rigorosa: Validazione su 33 dataset (23 binari, 10 multiclasse) utilizzando modelli lineari misti (LMM) per confermare i trend di miglioramento.
5. Indipendenza dall'Ottimizzazione degli Iperparametri: Scoperta che l'ottimizzazione degli iperparametri (HPO) sui modelli base (Livello 0) offre un vantaggio iniziale, ma che RocketStack non ottimizzato (con modelli base predefiniti) riesce a colmare il divario e talvolta superarlo nei livelli profondi grazie ai meccanismi di pruning e compressione.

4. Risultati Principali

L'analisi è stata condotta su 33 dataset pubblici (OpenML) in contesti binari e multiclasse:

• Accuratezza:
  • L'accuratezza aumenta linearmente con la profondità dello stacking.
  • La configurazione periodica (selezione feature ai livelli 3, 6, 9) con pruning randomizzato (rumore leggero) ha ottenuto le migliori prestazioni.
  • Nei task binari, RocketStack ha raggiunto un'accuratezza media di 88.90% (livello 10), superando i modelli base.
  • Nei task multiclasse, ha raggiunto il 94.82%.
• Confronto con Baseline:
  • RocketStack (livello 10) ha superato i modelli state-of-the-art per dati tabulari come Deep Forest e TabNet, anche quando questi ultimi erano ottimizzati con HPO bayesiano.
  • La strategia "senza feature compression" ha ottenuto l'accuratezza assoluta più alta, ma la compressione periodica ha offerto il miglior compromesso tra accuratezza e costo computazionale.
• Efficienza Computazionale:
  • La crescita del tempo di esecuzione è sub-lineare rispetto alla profondità, grazie al pruning e alla compressione periodica.
  • La compressione periodica riduce drasticamente il numero di feature (es. da ~760 a ~100 nei task multiclasse al livello 10) mantenendo l'accuratezza.
• Impatto dell'HPO:
  • L'ottimizzazione degli iperparametri sui modelli base (Livello 0) dà un vantaggio iniziale, ma il divario si riduce man mano che si sale di livello. Al livello 10, la configurazione "non ottimizzata" (ma con architetture profonde) è spesso competitiva o superiore, suggerendo che la diversità dei modelli base non ottimizzati può essere più benefica per la generalizzazione profonda.

5. Significato e Implicazioni

RocketStack dimostra che lo stacking profondo è fattibile e vantaggioso se gestito con un'architettura che controlla attivamente la dimensionalità e la complessità.

• Scalabilità: Fornisce una base modulare per la fusione decisionale scalabile, dove i pool di modelli e gli spazi delle feature possono evolvere senza esplodere computazionalmente.
• Trasparenza: A differenza dei sistemi AutoML "black-box", RocketStack espone il livello di profondità, il pruning e la compressione come leve controllabili, favorendo l'interpretabilità.
• Regolarizzazione Stocastica: L'uso del rumore gaussiano sui punteggi di validazione per il pruning è un contributo innovativo che simula meccanismi di regolarizzazione (simili al Dropout nelle reti neurali) per prevenire l'overfitting e mantenere la diversità dell'insieme.

In sintesi, il lavoro stabilisce un nuovo standard per l'apprendimento d'insieme ricorsivo, dimostrando che con le giuste strategie di controllo (pruning stocastico e compressione periodica), è possibile costruire ensemble profondi che superano le tecniche tabulari attuali mantenendo un costo computazionale gestibile.