Technische Samenvatting: MulTaBench

Probleemstelling

Tabulaire Foundation-modellen (TFM's) hebben recentelijk state-of-the-art prestaties gevestigd in toezichtgeleerd tabulair leren door gebruik te maken van vooropleiding op gestructureerde numerieke en categorische gegevens. Deze modellen zijn echter fundamenteel unimodaal; ze missen native ondersteuning voor ongestructureerde modaliteiten zoals tekst en afbeeldingen. Bestaande benaderingen voor Multimodaal Tabulair Leren (MMTL) vertrouwen doorgaans op bevroren, vooraf getrainde embeddings (bijvoorbeeld van LLM's of VLM's) om ongestructureerde invoer te verwerken voordat deze aan tabulaire leraars worden aangeleverd.

Het artikel stelt dat deze aanpak om twee hoofdredenen suboptimaal is:

1. Informatieverlies: Vooraf getrainde embeddings zijn geoptimaliseerd voor brede, globale semantische inhoud (bijvoorbeeld het onderscheiden van een röntgenfoto van een mammogram) en fungeren als verliesrijke samenvattingen. Ze werpen vaak fijne details weg (bijvoorbeeld precieze grootte-inschattingen, gelokaliseerde afwijkingen of specifieke tekstuele nuances) die cruciaal zijn voor specifieke downstream voorspellende taken.
2. Taken-agnostische beperkingen: Bestaande benchmarks richten zich vaak slechts op het gelijktijdig voorkomen van modaliteiten in plaats van op de noodzaak van doelbewuste representaties (Target-Aware Representations, TAR). In veel MMTL-taken hangt de optimale representatie van een ongestructureerde modaliteit sterk af van het specifieke voorspeldoel en de context die door andere modaliteiten wordt geboden. Huidige benchmarks falen erin om datasets te isoleren waar taken-agnostische embeddings het benodigde voorspellende signaal niet kunnen vastleggen.

Methodologie

Het Cureringsproces

Om de lacune in benchmarking aan te pakken, hebben de auteurs een algoritmisch proces ontwikkeld om datasets te selecteren die voldoen aan twee specifieke eigenschappen:

1. Gemeenschappelijk Signaal: De ongestructureerde modaliteit (tekst of afbeelding) moet aanvullende informatie bieden die de voorspellende prestaties verbetert wanneer deze wordt gecombineerd met gestructureerde tabulaire gegevens, verder dan wat elke modaliteit afzonderlijk bereikt.
2. Doelbewustzijn: De dataset moet aantonen dat doelbewuste representaties (TAR) – embeddings die specifiek zijn afgestemd op het voorspeldoel – beter presteren dan bevroren, kant-en-klare embeddings.

Experimentele Voorwaarden:
Het proces evalueert kandidaat-datasets met behulp van vijf diverse tabulaire leraars (LightGBM, CatBoost, TabM, TabPFNv2, TabPFN-2.5) onder vier voorwaarden:

• Unimodaal Gestructureerd: Alleen tabulaire kenmerken.
• Unimodaal Ongestructureerd: Alleen ongestructureerde kenmerken (via embeddings).
• Gemeenschappelijk Bevroren: Tabulair + Ongestructureerd (met behulp van bevroren embeddings).
• Gemeenschappelijk TAR: Tabulair + Ongestructureerd (met behulp van embeddings die zijn fijngefineerd op het doel).

TAR-implementatie:
Om TAR te genereren, fine-tunen de auteurs de laatste drie lagen van de encoder (met behulp van LoRA) op het voorspeldoel als een voorverwerkingsstap. Deze aanpassing wordt onafhankelijk uitgevoerd van de gestructureerde kenmerken en de downstream tabulaire leraar. Voor regressietaken worden continue labels gediscretiseerd in bins om het trainen te stabiliseren.

Acceptatiecriteria:
Een dataset wordt alleen opgenomen in de benchmark als, voor ten minste 3 van de 5 leraars:

• De Gemeenschappelijk Bevroren voorwaarde beter presteert dan beide unimodale baselines (verificatie van Gemeenschappelijk Signaal).
• De Gemeenschappelijk TAR voorwaarde beter presteert dan de Gemeenschappelijk Bevroren voorwaarde (verificatie van Doelbewustzijn).

MulTaBench Dataset

Met behulp van dit proces hebben de auteurs MulTaBench opgebouwd, een benchmark bestaande uit 40 datasets:

• 20 Afbeelding-Tabulaire datasets: Gecureerd uit openbare bronnen en literatuur, variërend over domeinen zoals gezondheidszorg (bijvoorbeeld CheXpert, CBIS-DDSM), e-commerce en biologie. Dit vertegenwoordigt de grootste afbeelding-tabulaire benchmark tot nu toe.
• 20 Tekst-Tabulaire datasets: Afgeleid van bestaande benchmarks (bijvoorbeeld CARTE, TextTabBench, AutoML Multimodal), gefilterd om te voldoen aan de strikte cureringscriteria.
• Diversiteit: De benchmark balanceert classificatie- en regressietaken, met variërende steekproefgroottes (400 tot 114.000 rijen) en aantallen kenmerken.

Belangrijkste Resultaten

1. Superioriteit van Doelbewuste Representaties

De kernbevinding is dat TAR consistent beter presteert dan bevroren embeddings over de MulTaBench-datasets heen.

• Generalisatie: De prestatiewinsten door het afstemmen van embeddings generaliseren over verschillende tabulaire leraars (van GBDT's tot TFM's), encoder-schalen (Kleine versus Grote modellen) en embedding-dimensies (15, 30, 60 of ruwe 384 dimensies).
• Grootte van de Winst: Hoewel de omvang van de verbetering per dataset varieert, is het trendpatroon robuust. Bijvoorbeeld, in de tekst-tabulaire subset verbeterde TAR de prestaties ten opzichte van bevroren embeddings voor alle geteste leraars.
• Kwalitatief Bewijs: Analyse van attentiekaarten (met DINO-v3) op afbeeldingsdatasets (bijvoorbeeld CheXpert, PetFinder) onthult dat TAR de focus van de encoder verschuift van irrelevante globale kenmerken naar specifieke, taakrelevante gebieden (bijvoorbeeld longweefsel voor longontstekingdetectie, dierenoren voor leeftijdsvoorspelling), terwijl bevroren embeddings verspreid blijven of gefocust op taak-irrelevante details.

2. Beperkingen van Bestaande Benchmarks

Toen de auteurs hun cureringsproces toepasten op bestaande tekst-tabulaire benchmarks (56 unieke datasets uit bronnen zoals CARTE en TextTabBench), vonden ze dat:

• Ongeveer 23% faalde in het Gemeenschappelijk Signaal-criterium (de ongestructureerde modaliteit voegde geen waarde toe).
• Van de overige, 36% faalde in het Doelbewustzijn-criterium (bevroren embeddings waren voldoende).
• Slechts 41% van de oorspronkelijke pool slaagde voor beide criteria.
  Dit suggereert dat veel bestaande benchmarks de specifieke uitdagingen die nieuwe multimodale architecturen vereisen, niet effectief isoleren, waardoor de voordelen van TAR mogelijk worden gemaskeerd.

3. Robuustheid en Rekenkosten

• Encoder-schaal: Het vergroten van de embedding-modelgrootte (van Klein naar Groot) verbeterde de downstream-prestaties, maar TAR presteerde zelfs bij de grotere schaal significant beter dan bevroren embeddings. Opmerkelijk is dat een afgestemd Klein model vaak beter presteerde dan een bevroren Groot model.
• Dimensionaliteit: De winsten door TAR waren geen artefacten van PCA-compressie; ze bleven bestaan zelfs bij het gebruik van ruwe 384-dimensionale embeddings.
• Kosten: TAR introduceert aanzienlijke rekenkundige overhead, voornamelijk vanwege de fijnafstapstap. Tekst-TAR is opmerkelijk duurder dan Afbeelding-TAR vanwege de grotere effectieve datasetgrootte (meerdere tekstkolommen).

Betekenis en Claims

Het artikel positioneert MulTaBench als een noodzakelijk instrument voor de ontwikkeling van de volgende generatie Multimodale Tabulaire Foundation-modellen.

• Overbrugging van de Kloof: De auteurs betogen dat huidige architecturen (inclusief PFN's en gezamenlijke modelleringbenaderingen zoals TabSTAR of AutoGluon-Multimodal) niet succesvol state-of-the-art tabulaire prestaties hebben behouden terwijl ze TAR voor tekst en afbeeldingen leerden. MulTaBench richt zich expliciet op datasets waar deze capaciteit vereist is.
• Toekomstige Richtingen: De benchmark is ontworpen om onderzoek te faciliteren naar architecturen die de contextualiseringsvoordelen van TAR combineren met de robuustheid en efficiëntie van In-Context Learning (ICL). De auteurs suggereren dat toekomstige modellen idealiter het beste van beide werelden zouden moeten benutten, mogelijk door TFM's te koppelen aan LLM's/VLM's of door synthetische priors uit te breiden om multimodale kenmerken op te nemen.
• Bescheiden Claims: De auteurs erkennen dat hun cureringsproces het rekenkundige probleem verweeft met de algoritmische oplossing (selectiebias), waardoor het moeilijk is om a priori te voorspellen of een nieuwe dataset zal slagen. Ze stellen echter dat het proces succesvol een distincte klasse van MMTL-taken isoleert waar statische representaties falen, en zo een rigoureuze testomgeving biedt voor het evalueren van echte multimodale foundation-modellen.

Kortom, MulTaBench toont aan dat voor hoog-impact multimodale tabulaire taken taakspecifieke aanpassing van ongestructureerde representaties niet alleen gunstig is, maar vaak noodzakelijk, en dat het de eerste grootschalige, rigoureus gecureerde benchmark biedt om onderzoek in deze richting te stimuleren.