Technische Samenvatting: Naar het voortrainen van tekstencoders voor TabPFN

Probleemstelling

Tabulaire fundamentele modellen, zoals geïllustreerd door TabPFN, hebben sterke voorspellende capaciteiten aangetoond op datasets die numerieke en categorische gegevens bevatten. Ze missen echter natuurlijke ondersteuning voor tekstkenmerken met een hoge cardinaliteit. Huidige standaardpipelines pakken dit aan door tekst te embedden via een taalmodel (LM) en de resulterende hoog-dimensionale vectoren te comprimeren naar een klein aantal scalaire kenmerken met behulp van Principal Component Analysis (PCA) voordat ze in TabPFN worden ingevoerd.

Deze aanpak introduceert twee kritieke beperkingen:

1. Informatie-bottleneck: De PCA-stap verwerpt het merendeel van de embedding-dimensies, waardoor de semantische rijkdom wordt weggestreept voordat de data de tabulaire modellen bereikt.
2. Niet-differentieerbaarheid: De compressie voorkomt dat de pipeline volledig differentieerbaar is, wat de mogelijkheid elimineert om het taalmodel te finetunen op basis van de voorspellende signalen van TabPFN.

Alternatieve end-to-end benaderingen (bijv. ConTextTab, TabSTAR) die PCA vermijden, vereisen vaak uitgebreid voortrainen op collecties van echte wereldgegevens (zoals T4), die vaak van lage kwaliteit zijn door web-scrapes. Deze methoden kunnen de prestaties op puur numerieke en categorische taken verslechteren vergeleken met modellen die zijn voorgetraind op grote hoeveelheden synthetische data, en ze kunnen het model vastleggen aan specifieke LMs of verbalisatiestrategieën.

Methodologie

De auteurs stellen de TabPFN Text Adapter voor, een lichtgewicht, post-training alignment-strategie geïnspireerd door multimodale alignment-technieken in Large Language Models (bijv. LLaVA, TableGPT). Het kerndoel is om LM-tekstembeddings direct te projecteren in de interne embedding-ruimte van TabPFN zonder de gewichten van het fundamentele model of de zin-encoder aan te passen.

Architectuur en Pipeline

1. Kenmerk-scheiding: Tekstkolommen worden gescheiden van numerieke en categorische kolommen. TabPFN verwerkt de laatste met zijn standaard encoder om de robuuste prestaties te behouden.
2. Tekst-verbalisatie: Voor kolommen met vrije tekst wordt elke cel geverbaliseerd door de kolomnaam toe te voegen (bijv. kolomnaam: tekst). Deze contextualisering helpt het taalmodel om identieke tekstwaarden met verschillende betekenissen te onderscheiden.
3. Embedding Generatie: De geverbaliseerde tekst wordt gecodeerd met een sentence transformer (specifiek all-MiniLM-L6-v2), wat hoog-dimensionale embeddings produceert.
4. Adapter Projectie: Een lichtgewicht adapter brengt deze embeddings in kaart naar een korte sequentie van tokens (1 tot 10) binnen de 192-dimensionale embedding-ruimte van TabPFN.
   • Structuur: De adapter spiegelt de feature encoder van TabPFN: een lineaire laag voor classificatietaken en een 2-laagse MLP voor regressietaken.
   • Token Aantal: Ablatie-studies suggereren het gebruik van 5 tokens per tekstcel voor classificatie (balans tussen prestaties en rekenkracht) en 1 token voor regressie (wat optimale resultaten oplevert).
5. Fusie: De aangepaste teksttokens worden geconcateneerd met standaard tabulaire embeddings en gevoed aan de transformer-blokken van TabPFN.

Trainingsprocedure

• Bevriezen: Zowel de sentence transformer als de TabPFN-architectuur zijn bevroren. Alleen de adapter-gewichten worden bijgewerkt.
• Initialisatie: De adapter wordt geïnitialiseerd vanuit de originele TabPFN-encodergewichten om een sterk startpunt te bieden dat is uitgelijnd met de verwachte embedding-distributie van TabPFN.
• Data: Het voortrainen maakt gebruik van een subset van de STRABLE benchmark, waarbij specifiek datasets worden geselecteerd met betekenisvolle vrije tekstkolommen (onderscheidend van categorische tekst door meer dan 20 unieke waarden te hebben).
• Permutatie-invariantie: Om de adapter aan te moedigen mappings te leren die invariant zijn voor de ordening van de embedding-dimensies, wordt een willekeurige permutatie toegepast op de dimensies van de LM-embedding vóór de adapter tijdens de training. Tijdens de inferentie-ensembling worden verschillende permutaties gebruikt voor elk ensemble-lid, en worden de voorspellingen gemiddeld.

Belangrijkste Bijdragen

1. Verwijdering van de PCA-bottleneck: De adapter elimineert het informatieverlies geassocieerd met PCA-compressie door tekst direct naar de token-ruimte van het model te projecteren.
2. Behoud van Numerieke Sterktes: Door de kerngewichten van TabPFN bevroren te houden en alleen een lichtgewicht adapter te trainen, behoudt de methode de superieure prestaties van het model op numerieke en categorische signalen, die vaak in het gedrang komen bij end-to-end tekst-tabulaire pipelines.
3. Efficiëntie: De aanpak is computationeel efficiënter te trainen dan end-to-end voortraining en vermijdt de kwadratische complexiteitsstraffen van excessieve token-aantallen door het aantal geprojecteerde tokens per taaktype te optimaliseren.
4. Modality Alignment: Het draagt succesvol het principe van alignment over van visuele instructie-tuning (LLaVA) en tabel-naar-LLM systemen (TableGPT) naar het domein van tabulaire voorspelling.

Resultaten

De methode is geëvalueerd op TextTabBench, een benchmark bestaande uit 13 datasets (6 classificatie, 7 regressie) met vrije langtekstkolommen.

• Regressie: De TabPFN Text Adapter overtrof alle baselines, inclusief ConTextTab en de PCA-30 baseline. Dit werd bereikt met aanzienlijk minder tokens dan de PCA-30 aanpak, wat een computationeel voordeel biedt vanwege de kwadratische complexiteit van aandachtmechanismen.
• Classificatie: De adapter behaalde een prestatie die zeer dicht bij de PCA-30 baseline lag (84,5% vs. 86,4% genormaliseerde ROC-AUC), maar overtrof deze niet. Het bleef opvallend achter bij ConTextTab (97,65%), wat suggereert dat voor classificatie de specifieke voortraining van ConTextTab op tekstrijke real-world data nog steeds een voordeel heeft, of dat de token-compressiestrategie voor dit taartype verdere verfijning vereist.

Ablatie-inzichten:

• Token Aantal: Optimale token-aantallen verschillen per taak (10 tokens voor classificatie, 1 voor regressie), waarschijnlijk door architecturale verschillen in de feature encoders van TabPFN (lineair vs. MLP) en pretraining priors.
• Fusie-diepte: Vroege fusie (vóór de eerste transformer-laag) presteerde consequent beter dan late fusie, wat aangeeft dat TabPFN profiteert van het verwerken van teksttokens samen met numerieke kenmerken vanaf het begin.
• Initialisatie: Het initialiseren van de adapter vanuit TabPFN-gewichten bood duidelijke voordelen voor regressie, hoewel het effect bescheiden was voor classificatie.

Betekenis en Beperkingen

Het artikel positioneert de TabPFN Text Adapter als een vitale eerste stap naar het optimaliseren van de volledige tekst-encoder pipeline voor TabPFN. Het biedt een eenvoudigere, goedkopere en flexibelere alternatief voor end-to-end voortraining, en stelt de state-of-the-art tabulaire fundamentele model erin geslaagd om tekstuele kenmerken te benutten zonder de numerieke kracht op te offeren.

Beperkingen:
De auteurs erkennen dat de huidige adapter dezelfde voorgetrainde lineaire laag of MLP toepast over alle taken, terwijl het belang van specifieke embedding-dimensies per taak kan variëren. Ze hypothetiseren dat het mappen van hoog-dimensionale LM-embeddings naar een enkele TabPFN-token aanzienlijke informatieverlies introduceert. Toekomstig werk wordt voorgesteld om een adapter te ontwikkelen die kan conditioneren op de volledige tekstkolom of zelfs andere kolommen (inclusief targets) om dynamisch te bepalen hoe dimensies te reduceren, om zo het statistische redenevermogen van TabPFN effectiever te benutten.