Technische Samenvatting: LoMETab: Voorbij Rank-1 Ensemble's voor Tabulaire Deep Learning

Probleemstelling

Recente benchmarks in tabulaire deep learning onthullen een "strakke prestatiecluster" waar leidende methoden—waaronder gradient-boosted decision trees (GBDT's), op attention gebaseerde architecturen en impliciete ensemble's zoals TabM—presteren met vergelijkbare effectiviteit. Hoewel diepe ensemble's een bewezen methode zijn om modelprestaties te verbeteren, schaalt het trainen van $K$ onafhankelijke netwerken lineair met de kosten. Impliciete ensemble's, zoals BatchEnsemble en TabM, lossen dit op door de meeste parameters te delen terwijl ze lid-specifieke verstoringen introduceren.

Bestaande impliciete ensemble's vertrouwen echter op een vast rank-1-structuur. In TabM modereert elk lid een gedeelde gewichtsmatrix $W$ via een rank-1 masker ($W_k = W \odot (s_k r_k^\top)$). Dit ontwerp mist een expliciete as voor het vergroten van de capaciteit van lid-specifieke modulatie. Bijgevolg is ensemble-diversiteit—de sleuteldrager van ensemble-winsten—niet direct controleerbaar; het moet impliciet ontstaan uit vaste rank-1-maskers en trainingsdynamiek. Vorig werk suggereert dat onder bepaalde omstandigheden BatchEnsemble-leden kunnen convergeren naar bijna identieke functies, wat aangeeft dat rank-1-modulatie mogelijk geen betekenisvolle diversiteit realiseert.

Methodologie: LoMETab

De auteurs stellen LoMETab voor, een rank-$r$ generalisatie van multiplicatieve impliciete ensemble's ontworpen om de beperkingen van vaste rank-1-structuren te overwinnen.

Kernformulering

In plaats van een rank-1-masker, wijst LoMETab elk lid $k$ een paar lage-rang adaptermatrices toe, $A_k \in \mathbb{R}^{d_{out} \times r}$ en $B_k \in \mathbb{R}^{d_{in} \times r}$. Het effectieve gewicht voor lid $k$ wordt gedefinieerd als:
$$W_k = W \odot (1 + A_k B_k^\top)$$
Hierbij is $W$ het gedeelde basise gewicht, en vormt $A_k B_k^\top$ een residumatrix met een rang van ten hoogste $r$. De term $(1 + A_k B_k^\top)$ fungeert als een identiteit-residuele multiplicatieve verstoring. Wanneer het residu dicht bij nul ligt, gedraagt het lid zich als het gedeelde gewicht; grotere residuen veroorzaken lid-specifieke afwijkingen.

Architectuur en Training

• Architectuur: LoMETab wordt ingevoegd in een tabulaire MLP-ruggengraat. Een gedeelde stuksgewijs lineaire embedding verwerkt de invoer, die vervolgens wordt gekopieerd over $K$ leden. Elke verborgen lineaire laag wordt vervangen door een LoMETab Lineaire laag, die het gedeelde gewicht combineert met lid-specifieke adapters.
• Trainingsdoel: Het model wordt getraind met een lid-voor-lid verliesfunctie, waarbij het gemiddelde taakverlies over alle $K$ leden wordt geoptimaliseerd. Dit staat parallelle submodellen toe om zich te specialiseren ondanks het delen van de ruggengraat.
• Inferentie: De uiteindelijke voorspellingen worden verkregen door het middelen van de outputs van alle $K$ leden (middelen van kansen voor classificatie, scalair outputs voor regressie).

Theoretische Expressiviteit

Het artikel vestigt een strikte hiërarchie in hypotheseklassen. Voor elke rang $r \ge 2$, bevat de set van representeerbare effectieve gewichten in LoMETab strikt de set die representeerbaar is door BatchEnsemble (rank-1). Specifiek kan elk BatchEnsemble-masker $s_k r_k^\top$ worden weergegeven als $1 + A_k B_k^\top$ omdat het verschil $s_k r_k^\top - 1$ een rang heeft van ten hoogste 2. LoMETab vergroot dus strikt de ontwerpruimte voor $r \ge 2$.

Belangrijkste Bijdragen

1. Rank-$r$ Generalisatie: Introductie van LoMETab, dat vaste rank-1-maskers vervangt door identiteit-residuele lage-rang Hadamard-verstoringen, geparametriseerd door adapterrang $r$ en initialisatieschaal $\sigma_{init}$.
2. Controleerbare Diversiteit: Aantonen dat de toegevoegde rangcapaciteit zich manifesteert als meetbare voorspellende diversiteit. De auteurs tonen aan dat LoMETab een hogere paarsgewijze Kullback-Leibler (KL)-divergentie handhaaft dan additieve lage-rang ablaties. Bovendien biedt het $(r, \sigma_{init})-rooster$ brede controle over diversiteit, waarbij de paarsgewijze KL varieert met meerdere ordes van grootte.
3. Dataset-afhankelijke Afstelling: Empirisch bewijs dat optimale configuraties voor rang en initialisatieschaal dataset-afhankelijk zijn. Het artikel pleit tegen een "vaste rank-1"-constructie en stelt in plaats daarvan een controleerbare familie van impliciete ensemble's voor waarbij $r$ en $\sigma_{init}$ dienen als praktische afstelasen.

Experimentele Resultaten

De auteurs evalueerden LoMETab op 37 academische datasets (inclusief de TabM-benchmark en TabZilla-bronnen) en 77 evaluatietaken.

• Benchmarksprestaties: LoMETab bereikt een gemiddelde ranking van 2,1 ± 1,3 over 37 datasets, presteert beter dan TabM (2,3 ± 1,8) en concurreert met sterke GBDT-baselines (bijv. XGBoost, CatBoost) en recente neurale architecturen. Het staat eerste op 14 datasets en binnen de top drie op 89,2% van de datasets.
• Diversiteitscontrole:
  • Multiplicatief versus Additief: LoMETab handhaaft een "volgehouden kloof" in paarsgewijze KL-divergentie vergeleken met een additief lage-rang ensemble ($W_k = W + A_k B_k^\top$), dat snel convergeert naar lage diversiteit.
  • Grid Sweep: Het doorlopen van $r \in \{1, 2, 4, 8, 16\}$ en $\sigma_{init} \in \{0,1, \dots, 3,0\}$ onthult dat diversiteit gezamenlijk wordt gecontroleerd door deze assen. Een lage $\sigma_{init}$ resulteert in lage diversiteit ongeacht de rang, terwijl een hogere $\sigma_{init}$ de rang-as activeert, wat de diversiteit aanzienlijk verhoogt.
  • Taakniveau-metrics: Verhoogde diversiteit correleert met hogere argmax-ongebruikelijkheid in classificatie en hogere ambiguïteit in regressie.
• Prestaties versus Diversiteit Trade-off: Hoewel diversiteit over het algemeen de prestaties verbetert, is de relatie niet strikt monotoon. Het afstellen van $r$ en $\sigma_{init}$ staat dataset-specifieke optimalisatie toe, wat vaak beter presteert dan eenvoudige schaling van de ensemble-grootte $K$ in TabM.
• Parameter-efficiëntie: Ondanks de verhoogde expressiviteit, loopt LoMETab niet noodzakelijk een hoger aantal parameters op dan TabM. Hyperparameter-optimalisatie kiest vaak voor compactere configuraties (bijv. kleinere verborgen dimensies) bij gebruik van hogere rangen, wat leidt tot vergelijkbare of zelfs lagere totale parameteraantallen in veel gevallen.

Betekenis en Claims

Het artikel stelt dat voor tabulaire impliciete ensemble's hoe leden mogen afwijken van een gedeelde ruggengraat een centraal ontwerpvraagstuk is. Door voorbij de vaste rank-1-beperking te gaan, blootlegt LoMETab de adapterrang en initialisatieschaal als praktische, controleerbare assen voor het beheer van ensemble-diversiteit.

De auteurs positioneren hun bijdrage bescheiden als het bieden van een "controleerbare familie van impliciete ensemble's" in plaats van een vaste oplossing. Ze benadrukken dat de optimale configuratie dataset-afhankelijk is en dat de primaire waarde van LoMETab ligt in het vermogen om de vorm en schaal van lid-afwijkingen af te stemmen op specifieke taken. Het werk suggereert dat toekomstig onderzoek kan verkennen of deze controleerbaarheid vertaalt naar verbeterde onzekerheidsschatting of detectie van buiten-de-verdeling data, hoewel dit wordt geïdentificeerd als richtingen voor toekomstig werk in plaats van huidige resultaten.