Technische Samenvatting: LimiX-2M

1. Probleemstelling

Tabulaire Foundation Models (TFMs) hebben recentelijk aangetoond het vermogen te hebben om traditionele boom-ensembles (bijv. XGBoost, CatBoost) te evenaren of te overtreffen. De auteurs identificeren echter twee kritieke inefficiënties in huidige TFM-architecturen die de nauwkeurigheid-efficiëntie-afweging beperken:

1. Low-Rank Collapse in Embeddings: Standaard TFMs (bijv. TabPFN-v2) mappen scalaire numerieke cellen doorgaans naar hoogdimensionale verborgen ruimtes via een enkele lineaire projectie, aangevuld met feature-ID's of positionele embeddings. De auteurs stellen dat deze "affine scalaire tokenisatie" de variatie in waarden injecteert via een essentieel eendimensionaal kanaal. Bijgevolg vertonen de feature-matrices in ondiepe lagen een extreem lage effectieve rang (soms instortend tot enkelvoudige cijfers), wat leidt tot significante parameterredundantie en zwakke waardesensitiviteit. Theoretische analyse (Propositie 3.1 en Stelling B.1) suggereert dat zonder extra niet-lineariteit de rang van geëmbedde inputs en vroege verborgen toestanden begrensd wordt door een kleine constante (bijv. 2 voor single-head attention, $H+1$ voor multi-head), ongeacht de omvang van de verborgen dimensie.
2. Attention Bottlenecks en Misalignment: Bestaande bidirectionele attention-stacks volgen vaak een Feature-Attention $\to$ Sample-Attention $\to$ FFN (F$\to$S$\to$N) volgorde. Deze ordening dwingt feature-level attention om over kolommen te integreren op basis van louter ruwe, zwak geconditioneerde waarden voordat er kolom-niveau statistieken zijn vastgesteld. Bovelijk, aangezien de uiteindelijke voorspellingen vaak alleen de target-token consumeren, worden de sample-level attention-berekeningen uitgevoerd over features effectief genegeerd, wat leidt tot zwakke trainingssignalen voor delen van het netwerk die de readout niet direct beïnvloeden.

2. Methodologie

Het paper stelt LimiX-2M voor, een verenigd framework dat deze problemen aanpakt via twee primaire componenten:

A. RaBEL (Radial-Basis Embedding Layer)

Om low-rank collapse te mitigeren, vervangen de auteurs de standaard lineaire projectie door RaBEL, een compacte, gelokaliseerde Radial Basis Function (RBF) expansie.

• Mechanisme: In plaats van een directe lineaire projectie, wordt elke scalaire input $x_{i,j}$ uitgebreid naar een bank van gelokaliseerde niet-lineaire features $\phi_j(x_{i,j})$ met behulp van Gaussian kernels. Deze features worden vervolgens geprojecteerd naar de modeldimensie.
• Exponent Gating: Om om te gaan met real-world tabulaire data die orders van grootte overspant en heteroskedasticiteit vertoont, introduceert RaBEL een "exponent gate". Dit mechanisme conditioneert de RBF-centra en bandbreedtes op basis van de log-amplitude van de inputwaarde. Dit stelt het model in staat om schaalinvariantie en lokaliteit te behouden over verschillende waarderegimes zonder breekbare harde binning.
• Effect: Dit ontwerp injecteert niet-lineariteit in de tokenizer-fase, wat de effectieve rang van ondiepe representaties verhoogt en de conditionering van de eerste geleerde laag verbetert zonder dat diepe stapeling nodig is om kromming te ontdekken.

B. Reordered Bidirectional Attention (S$\to$N$\to$F)

De auteurs stellen voor de attention-stack te herordenen van de standaard F$\to$S$\to$N naar Sample-Attention $\to$ FFN $\to$ Feature-Attention (S$\to$N$\to$F).

• Sample-Attention Eerst: Het model aggregeert eerst kolom-niveau correlaties en distributieve statistieken (bijv. momenten, prevalentie) over samples heen.
• Intermediaire Conditionering: Een lichtgewicht Feed-Forward Network (FFN) comprimeert en conditioneert deze signalen.
• Feature-Attention Tweede: De feature-attention laag modelleert vervolgens inter-feature relaties met behulp van deze rijkere, beter geconditioneerde inputs.
• Readout Alignment: De uiteindelijke voorspelling wordt verkregen via attention pooling over alle feature-tokens, waardoor alle attention-berekeningen (zowel sample- als feature-niveau) direct bijdragen aan de output, wat de trainingssignalen versterkt.

3. Belangrijkste Bijdragen

1. Diagnose van Low-Rank Collapse: Het paper biedt theoretische bewijzen en empirisch bewijs (via Singular Value Decomposition van verborgen toestanden) dat standaard lineaire+ID embeddings leiden tot ernstige low-rank collapse in vroege lagen, wat grote verborgen dimensies inefficiënt maakt.
2. RaBEL Architectuur: De introductie van een compacte, RBF-gebaseerde cel-encoder die scalaire inputs uitbreidt naar gelokaliseerde niet-lineaire features, wat de effectieve rang van ondiepe representaties aanzienlijk verhoogt en de conditionering verbetert.
3. Reordered Attention Stack: De identificatie van een "permutatie-orde pathologie" in standaard bidirectionele attention en het voorstel van een S$\to$N$\to$F stack die kolom-niveau statistieken vaststelt vóór feature aggregatie en alle attention-signalen naar de readout routeert.
4. LimiX-2M Model: De realisatie van een 2M-parameter model dat deze componenten integreert, waarmee wordt aangetoond dat principiële niet-lineaire embeddings en de herontwerp van de attention-orde een betere nauwkeurigheid-efficiëntie-afweging ontsluiten.

4. Experimentele Resultaten

De auteurs evalueerden LimiX-2M tegen een breed scala aan baselines, inclusief boom-ensembles (XGBoost, LightGBM, CatBoost), gespecialiseerde diepe architecturen (TabNet, SAINT, FT-Transformer) en andere foundation models (TabPFN-v2, TabICL, Mitra).

• Prestaties: Ondanks dat het slechts 1.92M parameters heeft, presteert LimiX-2M beter dan de 7.24M-parameter TabPFN-v2 en de 27M-parameter TabICL op de meeste veelgebruikte tabulaire benchmarks (dekking van classificatie- en regressietaken over OpenML-CC18, TabZilla, TabArena, TALENT, en BCCO suites).
• Efficiëntie: Het model bereikt aanzienlijk lagere trainings- en inferentiekosten. Op GPU is LimiX-2M ongeveer 2$\times$ sneller dan TabPFN-v2 en >10$\times$ sneller dan TabICL.
• Ablatie Studies:
  • Het vervangen van de lineaire embedding door RaBEL verhoogt de numerieke rang en Rank@99% van de eerste drie lagen aanzienlijk vergeleken met een baseline met dezelfde architectuur.
  • De S$\to$N$\to$F ordening (Reordered Bidirectional Attention) presteert consistent beter dan de standaard F$\to$S$\to$N ordening.
  • Toy-experimenten op synthetische Directed Acyclic Graphs (DAGs) laten zien dat de S$\to$N$\to$F architectuur hogere attention scores toekent aan directe oorzaken van de target variabele vergeleken met de standaard ordening.

5. Betekenis en Claims

Het paper claimt dat de primaire beperkingen van huidige TFMs niet louter een gebrek aan capaciteit zijn, maar structurele inefficiënties in hoe waarden getokeniseerd worden en hoe attention gerouteerd wordt. Door de "waarde-bottleneck" aan te pakken via RaBEL en de "readout-misalignment" via herordende attention, demonstreert LimiX-2M dat:

• Waarde-bewuste tokenisatie een cruciale hefboom is voor het verbeteren van de nauwkeurigheid–efficiëntie-afweging.
• Readout-gealigneerde routing ervoor zorgt dat alle computationele middelen direct bijdragen aan de uiteindelijke voorspelling.
• Hoge prestaties op tabulaire data vereisen niet noodzakelijkerwijs enorme parameter-aantallen; een 2M-parameter model kan grotere foundation models overtreffen wanneer de architectuur geoptimaliseerd is voor de specifieke statistische eigenschappen van tabulaire data (bijv. stuksgewijze trends, zware staarten en gemengde typen).

De auteurs concluderen dat deze bevindingen wijzen op een pad naar meer betrouwbare schaling voor tabulaire foundation models, waarbij men verder gaat dan eenvoudige parameter-scaling naar architecturale principes die beter aansluiten bij de intrinsieke structuur van de data.