Riepilogo Tecnico: LoMETab: Oltre gli Ensemble di Rango 1 per l'Apprendimento Profondo su Dati Tabellari

Enunciato del Problema

Recenti benchmark nell'apprendimento profondo su dati tabellari rivelano un "cluster di prestazioni ristretto" in cui i metodi all'avanguardia, inclusi gli alberi decisionali con gradiente potenziato (GBDT), le architetture basate su attenzione e gli ensemble impliciti come TabM, operano con efficacia comparabile. Sebbene gli ensemble profondi siano un metodo collaudato per migliorare le prestazioni del modello, l'addestramento di $K$ reti indipendenti scala linearmente con i costi. Gli ensemble impliciti, come BatchEnsemble e TabM, affrontano questo problema condividendo la maggior parte dei parametri mentre introducono perturbazioni specifiche per il membro.

Tuttavia, gli ensemble impliciti esistenti si basano su una struttura di rango 1 fissa. In TabM, ogni membro modula una matrice di pesi condivisa $W$ tramite una maschera di rango 1 ($W_k = W \odot (s_k r_k^\top)$). Questa progettazione manca di un asse esplicito per aumentare la capacità della modulazione specifica per il membro. Di conseguenza, la diversità dell'ensemble, il motore chiave dei guadagni dell'ensemble, non è direttamente controllabile; deve emergere implicitamente da maschere di rango 1 fisse e dinamiche di addestramento. Lavori precedenti suggeriscono che, in determinate condizioni, i membri di BatchEnsemble possono convergere verso funzioni quasi identiche, indicando che la modulazione di rango 1 potrebbe non realizzare una diversità significativa.

Metodologia: LoMETab

Gli autori propongono LoMETab, una generalizzazione di rango-$r$ degli ensemble impliciti moltiplicativi progettata per superare i limiti delle strutture di rango 1 fisse.

Formulazione Principale

Invece di una maschera di rango 1, LoMETab assegna a ogni membro $k$ una coppia di matrici adattatrici a basso rango, $A_k \in \mathbb{R}^{d_{out} \times r}$ e $B_k \in \mathbb{R}^{d_{in} \times r}$. Il peso effettivo per il membro $k$ è definito come:
$$W_k = W \odot (1 + A_k B_k^\top)$$
Qui, $W$ è il peso base condiviso, e $A_k B_k^\top$ forma una matrice residua di rango al massimo $r$. Il termine $(1 + A_k B_k^\top)$ agisce come una perturbazione moltiplicativa residua-identità. Quando il residuo è vicino a zero, il membro si comporta come il peso condiviso; residui più grandi inducono deviazioni specifiche per il membro.

Architettura e Addestramento

• Architettura: LoMETab viene inserito in un backbone MLP tabellare. Un embedding lineare a tratti condiviso elabora l'input, che viene poi copiato su $K$ membri. Ogni strato lineare nascosto viene sostituito da uno strato Lineare LoMETab, che combina il peso condiviso con adattatori specifici per il membro.
• Obiettivo di Addestramento: Il modello viene addestrato utilizzando una funzione di perdita membro per membro, ottimizzando la perdita media del compito su tutti i membri $K$. Ciò consente ai sottomodelli paralleli di specializzarsi nonostante condividano il backbone.
• Inferenza: Le previsioni finali sono ottenute mediando gli output di tutti i membri $K$ (mediando le probabilità per la classificazione, gli output scalari per la regressione).

Espressività Teorica

Il documento stabilisce una gerarchia rigorosa nelle classi di ipotesi. Per qualsiasi rango $r \ge 2$, l'insieme dei pesi effettivi rappresentabili in LoMETab contiene strettamente l'insieme rappresentabile da BatchEnsemble (rango 1). Nello specifico, qualsiasi maschera BatchEnsemble $s_k r_k^\top$ può essere rappresentata come $1 + A_k B_k^\top$ perché la differenza $s_k r_k^\top - 1$ ha un rango al massimo 2. Pertanto, LoMETab amplia strettamente lo spazio di progettazione per $r \ge 2$.

Contributi Chiave

1. Generalizzazione di Rango-$r$: Introduzione di LoMETab, che sostituisce le maschere di rango 1 fisse con perturbazioni Hadamard a basso rango residuo-identità, parametrizzate dal rango dell'adattatore $r$ e dalla scala di inizializzazione $\sigma_{init}$.
2. Diversità Controllabile: Dimostrazione che la capacità di rango aggiunta si manifesta come diversità predittiva misurabile. Gli autori mostrano che LoMETab mantiene un "divario sostenuto" nella divergenza Kullback–Leibler (KL) a coppie rispetto a un ensemble a basso rango additivo ($W_k = W + A_k B_k^\top$), che converge rapidamente a una bassa diversità. Inoltre, la griglia $(r, \sigma_{init})$ fornisce un ampio controllo sulla diversità, variando la KL a coppie di diversi ordini di grandezza.
3. Sintonizzazione Dipendente dal Dataset: Evidenza empirica che le configurazioni ottimali per rango e scala di inizializzazione sono dipendenti dal dataset. Il documento si oppone a una costruzione "di rango 1 fissa", proponendo invece una famiglia controllabile di ensemble impliciti in cui $r$ e $\sigma_{init}$ fungono da assi pratici di sintonizzazione.

Risultati Sperimentali

Gli autori hanno valutato LoMETab su 37 dataset accademici (inclusi le fonti del benchmark TabM e TabZilla) e 77 compiti di valutazione.

• Prestazioni del Benchmark: LoMETab ottiene una classificazione media di 2.1 ± 1.3 su 37 dataset, superando TabM (2.3 ± 1.8) e competendo con forti baseline GBDT (ad esempio XGBoost, CatBoost) e recenti architetture neurali. Si posiziona al primo posto su 14 dataset e tra i primi tre sull'89.2% dei dataset.
• Controllo della Diversità:
  • Moltiplicativo vs Additivo: LoMETab mantiene un "divario sostenuto" nella divergenza KL a coppie rispetto a un ensemble a basso rango additivo ($W_k = W + A_k B_k^\top$), che converge rapidamente a una bassa diversità.
  • Scansione della Griglia: La scansione di $r \in \{1, 2, 4, 8, 16\}$ e $\sigma_{init} \in \{0.1, \dots, 3.0\}$ rivela che la diversità è controllata congiuntamente da questi assi. Un basso $\sigma_{init}$ risulta in bassa diversità indipendentemente dal rango, mentre un $\sigma_{init}$ più alto attiva l'asse del rango, aumentando significativamente la diversità.
  • Metriche a Livello di Compito: L'aumento della diversità si correla con un maggiore disaccordo sull'argmax nella classificazione e una maggiore ambiguità nella regressione.
• Compromesso Prestazioni vs Diversità: Sebbene la diversità migliori generalmente le prestazioni, la relazione non è strettamente monotona. La sintonizzazione di $r$ e $\sigma_{init}$ consente un'ottimizzazione specifica per il dataset, spesso superando la semplice scalatura della dimensione dell'ensemble $K$ in TabM.
• Efficienza dei Parametri: Nonostante l'aumentata espressività, LoMETab non comporta necessariamente un numero di parametri più elevato rispetto a TabM. L'ottimizzazione degli iperparametri spesso seleziona configurazioni più compatte (ad esempio, dimensioni nascoste più piccole) quando si utilizzano ranghi più alti, portando a conteggi totali di parametri comparabili o addirittura inferiori in molti casi.

Significato e Affermazioni

Il documento afferma che, per gli ensemble impliciti su dati tabellari, il modo in cui i membri sono autorizzati a deviare da un backbone condiviso è una domanda centrale di progettazione. Superando il vincolo di rango 1 fisso, LoMETab espone il rango dell'adattatore e la scala di inizializzazione come assi pratici e controllabili per gestire la diversità dell'ensemble.

Gli autori inquadrano modestamente il loro contributo come la fornitura di una "famiglia controllabile di ensemble impliciti" piuttosto che una soluzione fissa. Sottolineano che la configurazione ottimale è dipendente dal dataset e che il valore principale di LoMETab risiede nella sua capacità di sintonizzare la forma e la scala delle deviazioni dei membri per adattarsi a compiti specifici. Il lavoro suggerisce che la ricerca futura potrebbe esplorare se questa controllabilità si traduca in una migliore stima dell'incertezza o nel rilevamento fuori distribuzione, sebbene questi siano identificati come direzioni per lavori futuri piuttosto che risultati attuali.