Towards Universal Tabular Embeddings: A Benchmark Across Data Tasks

Probleemstelling

Tabulaire data is de dominante vorm voor gestructureerde data in databases en bedrijfsapplicaties. Er is een groeiende interesse in tabulaire foundation modellen die universele representaties (embeddings) van tabulaire data leren, die over verschillende taken en domeinen kunnen worden overgedragen zonder extra training.

Echter, er ontbreekt een gestandaardiseerde evaluatieframework voor deze modellen. Bestaande benchmarks zijn vaak:

• Taken-specifiek: Ze evalueren modellen alleen voor één taak (bijv. alleen voorspelling of alleen zoekopdrachten).
• Niet vergelijkbaar: Ze gebruiken verschillende granulariteitsniveaus (cel, rij, kolom, tabel) en incompatibele protocollen.
• Gebrek aan universaliteit: Het is onduidelijk welk model het beste presteert voor een specifieke toepassing, omdat er geen gemeenschappelijke basis is voor vergelijking.

Het doel van dit paper is om deze kloof te dichten door een uitgebreide benchmark te introduceren die de prestaties van tabulaire embeddings systematisch evalueert.

Methodologie: TEmBed

De auteurs introduceren TEmBed (Tabular Embedding Test Bed), een uitgebreid benchmark-framework dat embeddings evalueert op vier verschillende representatieniveaus:

1. Cel (Cell): Individuele waarden.
2. Rij (Row): Individuele records.
3. Kolom (Column): Attributen/schema's.
4. Tabel (Table): De volledige dataset.

Opzet van de Benchmark:

• Datasets: De benchmark omvat 69 datasets uit diverse bronnen, waaronder bestaande publicaties en nieuw ontwikkelde datasets (bijv. gebaseerd op Wikidata en GitTables).
• Taken: Er worden zes specifieke taken geëvalueerd:
  1. Rij-ähnlijkheid (Row Similarity Search): Zoeken naar vergelijkbare rijen (bijv. voor duplicate detection).
  2. Triplet-evaluatie: Het beoordelen van semantische relaties in een hiërarchie (bijv. fictie vs. non-fictie boeken).
  3. Tabulaire Voorspelling (Tabular Prediction): Het gebruik van rij-embeddings als features voor classificatie en regressie.
  4. Kolom-ähnlijkheid (Column Similarity Search): Het vinden van joinbare kolommen voor data-integratie.
  5. Tabel-terugvinding (Table Retrieval): Het vinden van relevante tabellen in een data lake.
  6. Celsemantische Zoekopdracht (Cell Level Semantic Retrieval): Het vinden van semantisch equivalente cellen over verschillende tabellen heen.
• Modellen: Er worden diverse modellen vergeleken, waaronder gespecialiseerde tabulaire modellen (HyTrel, TabPFN, TabICL, SAP-RPT-1, TabuLa-8B) en algemene tekst-embedding modellen (GritLM, IBM Granite R2, MiniLM).
• Hardware & Reproduceerbaarheid: Alle experimenten zijn uitgevoerd op een uniforme hardware-configuratie (NVIDIA A100 GPU, AMD EPYC CPU) om prestaties en resource-verbruik (tijd, geheugen) eerlijk te vergelijken.

Belangrijkste Bijdragen

1. Eerste Omvattende Benchmark: TEmBed is het eerste framework dat tabulaire embeddings evalueert over meerdere datasets, taken én granulariteitsniveaus (cel tot tabel).
2. Open Source Toolkit: De auteurs hebben een extensibel open-source toolkit vrijgegeven (op GitHub) waarmee nieuwe modellen en datasets eenvoudig kunnen worden toegevoegd.
3. Empirische Studie: Een grondige analyse van de state-of-the-art modellen, inclusief prestaties, rekenkosten en generalisatievermogen.
4. Praktische Gids: Het biedt concrete richtlijnen voor practitioners over welk model ze moeten kiezen voor hun specifieke gebruiksscenario.

Resultaten

De resultaten tonen aan dat er geen enkel "universeel" model is dat op alle taken en niveaus het beste presteert. De keuze van het model is sterk afhankelijk van de taak:

• Semantische Zoekopdrachten (Similarity Tasks):
  • Voor taken zoals rij-ähnlijkheid, kolom-zoekopdrachten en tabel-terugvinding presteren algemene tekst-embedding modellen (zoals GritLM, IBM Granite R2 en MiniLM) vaak beter dan gespecialiseerde tabulaire modellen.
  • Deze modellen zijn goed in het vastleggen van semantische betekenis, zelfs als de data als tekst wordt gesequenced.
• Voorspellende Taken (Tabular Prediction):
  • Voor classificatie en regressie taken presteren modellen die specifiek zijn ontworpen voor voorspelling (zoals TabPFN, TabICL en SAP-RPT-1) aanzienlijk beter dan tekst-embedding modellen.
  • Interessant is dat embeddings die uit deze voorspellende modellen worden gehaald, vaak niet goed werken voor semantische zoekopdrachten. Dit suggereert dat ze fundamenteel verschillende aspecten van de data coderen.
• Resource Verbruik:
  • Er is een duidelijke trade-off tussen prestaties en resources. Grote modellen (zoals GritLM met 7B parameters) vereisen veel VRAM (tot 80GB) en zijn trager, maar leveren vaak de beste resultaten voor zoekopdrachten.
  • Kleiner, gespecialiseerde modellen zijn sneller en lichter, maar missen soms de semantische diepgang voor complexe zoekopdrachten.
• Data Kwaliteit:
  • De prestaties variëren sterk afhankelijk van de data-kwaliteit (bijv. "schoon" vs. "vuil" data met LaTeX-formatting). Sommige modellen (zoals GritLM) zijn robuuster tegen ruis dan anderen (zoals MiniLM).

Significantie en Conclusie

Dit paper legt de basis voor de ontwikkeling van echt universele tabulaire representatiemodellen. De belangrijkste conclusie is dat de huidige staat van de techniek nog niet zo ver is dat één model alle taken kan vervullen.

• Praktische Impact: Practitioners moeten bewust kiezen tussen modellen die geoptimaliseerd zijn voor semantische zoekopdrachten (gebruik tekst-embeddings) en modellen die geoptimaliseerd zijn voor voorspelling (gebruik gespecialiseerde tabulaire foundation modellen).
• Toekomstige Richting: De auteurs suggereren dat toekomstig onderzoek zich moet richten op hybride benaderingen die de sterktes van beide werelden combineren, of op lichte, taak-adaptieve fine-tuning strategieën om de kloof tussen taalbegrip en tabulaire semantiek te overbruggen.

TEmBed fungeert als een cruciale standaard om de voortgang in dit veld objectief te meten en de ontwikkeling van robuustere, general-purpose tabulaire modellen te sturen.