Technische Zusammenfassung: LoMETab: Über Rank-1-Ensembles hinaus für tabellarisches Deep Learning

Problemstellung

Jüngste Benchmarks im Bereich des tabellarischen Deep Learning offenbaren einen „engen Leistungscluster", in dem führende Methoden – einschließlich gradientenboosteter Entscheidungsbäume (GBDTs), aufmerksamkeitsbasierter Architekturen und impliziter Ensembles wie TabM – mit vergleichbarer Wirksamkeit performen. Während Deep Ensembles eine bewährte Methode zur Verbesserung der Modellleistung sind, skaliert das Training von $K$ unabhängigen Netzwerken linear mit den Kosten. Implizite Ensembles, wie BatchEnsemble und TabM, adressieren dies, indem sie die meisten Parameter teilen und member-spezifische Perturbationen einführen.

Allerdings verlassen sich bestehende implizite Ensembles auf eine fixe Rank-1-Struktur. In TabM moduliert jedes Mitglied eine gemeinsame Gewichtsmatrix $W$ über eine Rank-1-Maske ($W_k = W \odot (s_k r_k^\top)$). Dieses Design fehlt eine explizite Achse zur Erhöhung der Kapazität der member-spezifischen Modulation. Folglich ist die Ensemble-Diversität – der Haupttreiber von Ensemble-Gewinnen – nicht direkt kontrollierbar; sie muss sich implizit aus fixen Rank-1-Masken und Trainingsdynamiken ergeben. Vorarbeiten deuten darauf hin, dass unter bestimmten Bedingungen BatchEnsemble-Mitglieder zu nahezu identischen Funktionen konvergieren können, was darauf hindeutet, dass eine Rank-1-Modulation möglicherweise keine bedeutende Diversität realisiert.

Methodik: LoMETab

Die Autoren schlagen LoMETab vor, eine Rank-$r$-Generalisierung multiplikativer impliziter Ensembles, die entwickelt wurde, um die Einschränkungen fixer Rank-1-Strukturen zu überwinden.

Kernformulierung

Anstelle einer Rank-1-Maske weist LoMETab jedem Mitglied $k$ ein Paar von Low-Rank-Adaptermatrizen zu, $A_k \in \mathbb{R}^{d_{out} \times r}$ und $B_k \in \mathbb{R}^{d_{in} \times r}$. Das effektive Gewicht für Mitglied $k$ ist definiert als:
$$W_k = W \odot (1 + A_k B_k^\top)$$
Hierbei ist $W$ das gemeinsame Basengewicht, und $A_k B_k^\top$ bildet eine Residualmatrix mit einem Rang von höchstens $r$. Der Term $(1 + A_k B_k^\top)$ wirkt als multiplikative Perturbation mit Identitäts-Residuum. Wenn das Residuum nahe null ist, verhält sich das Mitglied wie das gemeinsame Gewicht; größere Residuen induzieren member-spezifische Abweichungen.

Architektur und Training

• Architektur: LoMETab wird in einen tabellarischen MLP-Rückgrat eingefügt. Eine gemeinsame stückweise lineare Einbettung verarbeitet die Eingabe, die dann über $K$ Mitglieder kopiert wird. Jede verborgene lineare Schicht wird durch eine LoMETab-Linear-Schicht ersetzt, die das gemeinsame Gewicht mit member-spezifischen Adaptern kombiniert.
• Trainingsziel: Das Modell wird unter Verwendung einer mitgliederspezifischen Verlustfunktion trainiert, die den durchschnittlichen Aufgabenverlust über alle $K$ Mitglieder optimiert. Dies ermöglicht es parallelen Submodellen, sich trotz des gemeinsamen Rückgrats zu spezialisieren.
• Inferenz: Die endgültigen Vorhersagen werden durch Mittelung der Ausgaben aller $K$ Mitglieder erhalten (Mittelung der Wahrscheinlichkeiten für Klassifikation, skalare Ausgaben für Regression).

Theoretische Ausdruckskraft

Die Arbeit etabliert eine strikte Hierarchie in Hypothesenklassen. Für jeden Rang $r \ge 2$ enthält die Menge der darstellbaren effektiven Gewichte in LoMETab strikt die Menge, die durch BatchEnsemble (Rank-1) darstellbar ist. Spezifisch kann jede BatchEnsemble-Maske $s_k r_k^\top$ als $1 + A_k B_k^\top$ dargestellt werden, da die Differenz $s_k r_k^\top - 1$ einen Rang von höchstens 2 hat. Somit erweitert LoMETab den Designraum für $r \ge 2$ strikt.

Hauptbeiträge

1. Rank-$r$-Generalisierung: Einführung von LoMETab, das fixe Rank-1-Masken durch multiplikative Hadamard-Perturbationen mit Identitäts-Residuum und Low-Rank ersetzt, parametrisiert durch den Adapterrang $r$ und die Initialisierungsskala $\sigma_{init}$.
2. Kontrollierbare Diversität: Nachweis, dass die hinzugefügte Rangkapazität als messbare prädiktive Diversität manifestiert wird. Die Autoren zeigen, dass LoMETab eine höhere paarweise Kullback–Leibler-(KL)-Divergenz aufrechterhält als additive Low-Rank-Ablationen. Darüber hinaus bietet das $(r, \sigma_{init})$-Gitter eine breite Kontrolle über die Diversität und variiert die paarweise KL-Divergenz um mehrere Größenordnungen.
3. Datensatzabhängige Feinabstimmung: Empirische Belege dafür, dass optimale Konfigurationen für Rang und Initialisierungsskala datensatzabhängig sind. Die Arbeit argumentiert gegen eine „fixe Rank-1"-Konstruktion und schlägt stattdessen eine kontrollierbare Familie impliziter Ensembles vor, bei der $r$ und $\sigma_{init}$ als praktische Feinabstimmungsachsen dienen.

Experimentelle Ergebnisse

Die Autoren evaluierten LoMETab auf 37 akademischen Datensätzen (einschließlich TabM-Benchmark und TabZilla-Quellen) und 77 Evaluierungsaufgaben.

• Benchmark-Leistung: LoMETab erreicht eine mittlere Rangfolge von 2,1 ± 1,3 über 37 Datensätze hinweg, übertrifft TabM (2,3 ± 1,8) und konkurriert mit starken GBDT-Baselines (z. B. XGBoost, CatBoost) sowie neueren neuronalen Architekturen. Es belegt den ersten Platz auf 14 Datensätzen und liegt bei 89,2 % der Datensätze unter den Top drei.
• Diversitätskontrolle:
  • Multiplikativ vs. Additiv: LoMETab hält eine „aufrechterhaltene Lücke" in der paarweisen KL-Divergenz im Vergleich zu einem additiven Low-Rank-Ensemble ($W_k = W + A_k B_k^\top$) aufrecht, das schnell zu geringer Diversität konvergiert.
  • Gitter-Sweep: Das Durchlaufen von $r \in \{1, 2, 4, 8, 16\}$ und $\sigma_{init} \in \{0,1, \dots, 3,0\}$ zeigt, dass die Diversität gemeinsam durch diese Achsen gesteuert wird. Ein niedriger $\sigma_{init}$ führt unabhängig vom Rang zu geringer Diversität, während ein höherer $\sigma_{init}$ die Rangachse aktiviert und die Diversität signifikant erhöht.
  • Aufgabenbezogene Metriken: Erhöhte Diversität korreliert mit einer höheren Argmax-Abweichung bei der Klassifikation und einer höheren Ambiguität bei der Regression.
• Leistungs-Diversitäts-Trade-off: Obwohl Diversität die Leistung im Allgemeinen verbessert, ist die Beziehung nicht strikt monoton. Die Feinabstimmung von $r$ und $\sigma_{init}$ ermöglicht eine datensatzspezifische Optimierung, die oft eine einfache Skalierung der Ensemblegröße $K$ in TabM übertrifft.
• Parametereffizienz: Trotz der erhöhten Ausdruckskraft verursacht LoMETab nicht notwendigerweise eine höhere Parameteranzahl als TabM. Die Hyperparameteroptimierung wählt oft kompaktere Konfigurationen (z. B. kleinere verborgene Dimensionen) bei höheren Rängen aus, was in vielen Fällen zu vergleichbaren oder sogar niedrigeren Gesamtparameterzahlen führt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass für tabellarische implizite Ensembles die Art und Weise, wie Mitglieder von einem gemeinsamen Rückgrat abweichen dürfen, eine zentrale Designfrage ist. Durch die Überwindung der fixen Rank-1-Beschränkung macht LoMETab den Adapterrang und die Initialisierungsskala als praktische, kontrollierbare Achsen zur Steuerung der Ensemble-Diversität sichtbar.

Die Autoren formulieren ihren Beitrag bescheiden als Bereitstellung einer „kontrollierbaren Familie impliziter Ensembles" anstelle einer festen Lösung. Sie betonen, dass die optimale Konfiguration datensatzabhängig ist und dass der primäre Wert von LoMETab in seiner Fähigkeit liegt, Form und Ausmaß der Mitgliedabweichungen an spezifische Aufgaben anzupassen. Die Arbeit legt nahe, dass zukünftige Forschung untersuchen könnte, ob diese Kontrollierbarkeit zu einer verbesserten Unsicherheitsschätzung oder Out-of-Distribution-Erkennung führt, obwohl dies als Richtungen für zukünftige Arbeit und nicht als aktuelle Ergebnisse identifiziert wird.