Language Model Representations for Efficient Few-Shot Tabular Classification

Probleemstelling

Het web bevat een overvloed aan gestructureerde data in de vorm van tabellen (van productcatalogi tot wetenschappelijke datasets). Deze tabellen bevatten vaak rijke semantische informatie in kolomnamen en tekstuele waarden. Hoewel Large Language Models (LLMs) steeds vaker worden ingezet voor semantische zoekopdrachten, is het nog een uitdaging om deze modellen efficiënt te gebruiken voor het classificeren van gestructureerde tabellataren.

Traditionele methoden voor tabelclassificatie (zoals Gradient Boosted Trees) maken geen gebruik van de semantische kennis die LLMs hebben opgedaan. Bestaande LLM-benaderingen voor tabellen hebben echter grote nadelen:

1. Hoge rekentijd: Het serialiseren van hele tabellen voor in-context learning (prompting) is computatierijk en onpraktisch bij schaal (vanwege de kwadratische complexiteit van transformers).
2. Resource-intensief: Het fine-tunen van LLMs op tabellataren vereist dagen aan GPU-tijd en grote datasets.
3. Naïeve embeddings: Het direct gebruiken van LLM-embeddings van rijen zonder aanpassing presteert slecht vergeleken met gespecialiseerde modellen.

De centrale vraag is: Kunnen we bestaande, reeds ingezette LLM-infrastructuur hergebruiken voor few-shot tabelclassificatie zonder gespecialiseerde modellen of intensieve hertraining?

Methodologie: TaRL (Table Representation with Language Model)

De auteurs introduceren TaRL, een lichtgewicht raamwerk dat off-the-shelf LLM-embeddings gebruikt voor few-shot classificatie zonder gradient-based training. De methode bestaat uit vier kerncomponenten:

1. Serialisatie: Elke rij van de tabel wordt omgezet in een menselijk leesbare tekstreeks (bijv. "Feature A: 1.2, Feature B: 3.4"). Belangrijk is dat rijen afzonderlijk worden ge-embed, wat de rekentijd drastisch verlaagt ten opzichte van het serialiseren van de hele context.
2. Kernel-gebaseerde Classificatie: Het probleem wordt benaderd als een kernel-regressie taak. De voorspelling voor een query-rij wordt gemaakt door een gewogen som van de labels van de ondersteunende set (support set) te berekenen, gebaseerd op de gelijkenis (cosine similarity) tussen de embeddings.
3. Geometrische Correctie (Common Component Removal - CCR): LLM-embeddings vertonen vaak anisotropie (ze zijn niet uniform verdeeld in de vectorruimte, maar clusteren rond bepaalde richtingen). Dit verstoort de afstandsmetingen. TaRL lost dit op door het gemiddelde embedding-vector (het "gemeenschappelijke component") van alle embeddings af te trekken. Dit verbetert de isotropie en de discriminatie tussen klassen aanzienlijk.
4. Temperatuur Kalibratie ($\gamma$): De schaal van de gelijkenissscores varieert per taak. TaRL introduceert een temperatuurparameter $\gamma$ in de softmax-functie om de verdeling van de gewichten aan te passen.
   • Een hoge $\gamma$ maakt de verdeling scherper (dichtbij een nearest-neighbor classifier).
   • Een lage $\gamma$ maakt de verdeling uniformer (meer gemiddelde over voorbeelden).
   • In plaats van een heuristiek te gebruiken, trainen de auteurs een meta-learner (mTaRL). Deze eenvoudige regressiemodel voorspelt de optimale $\gamma$ voor een nieuwe taak op basis van statistieken van de support set (zoals gemiddelde gelijkenis en variantie), zonder gradient-based training op de taak zelf.

Kernbijdragen

• TaRL Framework: Een lichtgewicht methode die bestaande LLM-embeddings direct inzet voor few-shot tabelclassificatie, zonder gespecialiseerde architectuur of fine-tuning.
• Semantische Aanpassingen: Identificatie en validatie van twee cruciale technieken: CCR voor het oplossen van anisotropie en dynamische temperatuurkalibratie voor taak-specifieke aanpassing.
• Meta-Learning voor Kalibratie: Het introduceren van mTaRL, een meta-learner die binnen enkele minuten traint en de optimale temperatuurparameter per taak voorspelt, wat de prestaties dicht bij een "oracle" (perfecte kalibratie) brengt.
• Efficiëntie: Een aanpak die tot 1000x sneller is dan autoregressieve LLM-inferentie (in-context learning) en vergelijkbare prestaties levert met state-of-the-art gespecialiseerde modellen in data-schaarse scenario's ($k \leq 32$).

Resultaten

De methode is getest op de CARTE-CLF en TabArena benchmarks, met een focus op datasets met rijke semantische content.

• Prestaties: In low-data regimes ($k \leq 32$) presteert mTaRL concurrerend met state-of-the-art gespecialiseerde modellen zoals TabPFN en ConTextTab, vooral op datasets met betekenisvolle kolomnamen en tekstuele features.
• Impact van CCR en Kalibratie: Experimenten tonen aan dat naïeve toepassing van LLM-embeddings slecht presteert (net boven willekeur). Het toevoegen van CCR en temperatuurkalibratie leidt tot een enorme verbetering.
• Modelkeuze: Llama 3.1-8B en TabuLa-8B tonen de sterkste prestaties. Interessant is dat een kleiner encoder-only model (MiniLM) soms beter presteert dan grotere modellen op specifieke taken, maar gespecialiseerde tabel-fine-tuned modellen (TabuLa) doen het over het algemeen het beste.
• Semantische vs. Non-semantische Data: TaRL excelleert op semantisch rijke datasets (CARTE). Op datasets met weinig semantische informatie (TabArena) presteren traditionele methoden zoals XGBoost en TabPFN beter, wat aantoont dat de kracht van TaRL ligt in het benutten van semantische context.
• Snelheid: Met caching van embeddings is TaRL extreem snel. Zelfs zonder caching is het aanzienlijk sneller dan het direct gebruiken van LLMs voor in-context learning.

Betekenis en Conclusie

Dit werk bewijst dat het niet nodig is om zware, gespecialiseerde modellen te bouwen of LLMs opnieuw te trainen om gestructureerde web-data te begrijpen. Door bestaande LLM-infrastructuur slim aan te passen (via geometrische correctie en temperatuurkalibratie), kan men een efficiënte, semantisch gedreven oplossing creëren voor tabelclassificatie.

De belangrijkste implicatie is voor organisaties die al LLMs inzetten voor taken zoals semantische zoekopdrachten; zij kunnen deze infrastructuur direct hergebruiken voor het classificeren van gestructureerde data (bijv. support tickets, productmetadata) met minimale rekentijd en zonder extra training. Dit opent de weg voor schaalbare, few-shot learning op het web.