Technische Samenvatting: CoMET - Modulaire Multimodale Classificatie zonder Fine-Tuning

Probleemstelling

Multimodale classificatietaken vereisen doorgaans complexe, end-to-end trainingspijplijnen die het fijnstemmen van grote fundamentele modellen op specifieke datasets omvatten. Deze aanpak is rekenkundig duur, tijdrovend en vereist vaak dataset-specifieke hyperparameter-tuning. Hoewel Fundamentele Modellen voor Tabulaire Data (TFM's) recentelijk hebben aangetoond dat ze sterke voorspellende taken kunnen uitvoeren via in-context learning zonder fijnstemming, is hun toepassing grotendeels beperkt tot tabulaire data of vereiste fijnstemming bij toepassing in multimodale settings. De kernuitdaging die door dit artikel wordt aangepakt, is hoe het "out-of-the-box"-karakter van TFM's kan worden benut voor multimodale classificatie (combinatie van tekst, afbeeldingen en tabulaire data) zonder enige taakspecifieke training of backpropagation, terwijl de mismatch tussen standaard modale encoders (die vaak vaste tokens zoals CLS outputten) en de invoereisen van de TFM wordt overwonnen.

Methodologie: CoMET

De auteurs stellen CoMET (Composing Modality Encoders with Tabular foundation models) voor, een modulaire pijplijn die bevroren voorgeöordeelde backbones combineert met een TFM. De methode werkt in vier distincte stappen:

1. Functie-extractie: Elke niet-tabulaire modale (bijv. afbeelding, tekst) wordt door een bevroren, voorgeöordeelde backbone geleid (bijv. DINOv3 voor afbeeldingen, ELECTRA voor tekst) om sample-specifieke token-niveau embeddings te extraheren.
2. Pooling: Token-embeddings worden geaggregeerd tot vaste vectorrepresentaties. Het artikel introduceert PALPooling (Pseudo Attention Label Pooling) als een lichtgewicht, adaptief alternatief voor standaard CLS-tokens of gemiddelde pooling.
   • PALPooling-mechanisme: In plaats van backpropagation past PALPooling een lineaire scorevector aan via ridge-regressie. Het maakt gebruik van "Pseudo Attention Labels" (PAL's) die zijn afgeleid van de eigen voorspelde labelverdelingen van de TFM. Specifiek wordt de trainingsdata opgesplitst in een support-set en een query-set. De TFM voorspelt op de query-set, en een scorefunctie (gebaseerd op de Jensen-Shannon-divergentie tussen voorspellingen en de voorafgaande labelfrequenties) genereert doelen voor een ridge-regressiemodel. Dit model leert tokens te wegen om de verschuiving ten opzichte van de voorafgaande verdeling te maximaliseren, waardoor effectief informatieve tokens worden geïdentificeerd zonder gradiëntafname door de TFM.
3. Dimensionaliteitsreductie (PCA): De gepoolde embeddings worden gecomprimeerd met Principal Component Analysis (PCA). De auteurs tonen aan dat PCA niet slechts een compressiemiddel is, maar een cruciale adapter die de geometrie van de embeddings van de bevroren encoder afstemt op de voorgeöordeelde prior van de TFM (die synthetisch en hoog-rang is).
4. Voorspelling: De gecomprimeerde, geconcateneerde multimodale features (tabulair + geprojecteerd niet-tabulair) worden samen met een support-set van gelabelde voorbeelden ingevoerd in de TFM (specifiek TabICLv2). De TFM voert in-context learning uit om de labelverdeling voor het query-sample te voorspellen.

Belangrijkste Bijdragen

1. PCA als voldoende adapter: Het artikel toont aan dat het toepassen van PCA op embeddings van bevroren backbones voldoende is om TFM's concurrerende multimodale classifiers te maken. Deze projectie verbetert de prestaties aanzienlijk door het effectieve rank van de embeddings te verhogen, ze af te stemmen op de synthetische voorgeöordeelde verdeling van de TFM, en signalen tussen tabulaire en niet-tabulaire features in evenwicht te brengen.
2. CoMET-framework: Een eenvoudig te implementeren, modulair framework dat state-of-the-art (SOTA) resultaten bereikt op diverse multimodale benchmarks zonder enige fijnstemming. Componenten (encoders, TFM's) kunnen onafhankelijk van elkaar worden vervangen.
3. PALPooling: Een nieuwe, trainingsvrije adaptieve poolingsmethode. Het vermijdt de noodzaak van backpropagation door de TFM door het gebruik van pseudo-labels die zijn afgeleid van de eigen outputs van het model. Het presteert consistent beter dan CLS-tokens en gemiddelde pooling, vooral in scenario's waarin CLS-tokens er niet in slagen taakrelevante features te vangen (bijv. afbeeldingen met meerdere objecten).
4. Schaalbare hiërarchische classificatie: De auteurs tonen de toepassing van CoMET op hiërarchische classificatie (H-CoMET) aan. Door grote classificatieproblemen (bijv. >500k samples, >2.000 klassen) op te splitsen in kleinere subtaken binnen een boomstructuur, maakt de methode snelle, schaalbare inferentie mogelijk zonder aparte modellen te trainen voor elke subtak.

Resultaten

Het artikel evalueert CoMET op unimodale en multimodale benchmarks:

• Unimodale prestaties: Op afbeeldings- en tekstdatasets komt CoMET met PCA en PALPooling de prestaties van lineaire probing en multi-layer perceptrons (MLP's) gelijk of overtreft deze, vaak met een aanzienlijke marge (bijv. +3,4% tot +6,2% op ImageNet-subsets).
• Multimodale benchmarks: CoMET bereikt concurrerende of SOTA-resultaten op datasets die tekst, afbeeldingen en tabulaire data combineren (bijv. Jigsaw Toxicity, PetFinder, MM-IMDb, Airbnb). Het presteert beter dan eerdere multimodale TFM-aanpakken zoals MMPFN, die fijnstemming vereisten met modale-specifieke projectoren.
• Hiërarchische schaling: Op grote hiërarchische datasets zoals iNaturalist (2.896 klassen) en Amazon MM bereikt H-CoMET hoge nauwkeurigheid (82,50% op iNaturalist) met inferentietijden onder de 6 minuten, wat aanzienlijk beter presteert dan vlakke classifiers en gelijkstaat aan of beter is dan SOTA hiërarchische tekstmodellen.
• Efficiëntie: De methode vereist geen trainingstijd voor de TFM of encoders. Het aanpassen van PALPooling duurt seconden (bijv. 16s tot 54s voor afbeeldingsdatasets).

Betekenis en Claims

Het artikel betoogt dat de compositie van fundamentele modellen een eenvoudige, krachtige en "out-of-the-box" oplossing biedt voor multimodaal leren. De primaire betekenis ligt in het uitdagen van de noodzaak van complexe, end-to-end trainingspijplijnen voor nieuwe problemen.

• Modulariteit: De aanpak staat toe dat backbones of TFM's onafhankelijk worden vervangen naarmate ze verbeteren, waardoor toekomstige vooruitgang wordt geërfd zonder hertraining.
• Trainingsvrije efficiëntie: Het toont aan dat sterke voorspellende prestaties kunnen worden bereikt door Bayesiaanse inferentie te amortiseren via in-context learning, zelfs voor niet-tabulaire data, mits de embeddings correct worden aangepast (via PCA) en gepooled (via PALPooling).
• Schaalbaarheid: De methode maakt het verwerken van enorme datasets en fijnmazige klasseruimtes (duizenden klassen) mogelijk, die vaak onberekenbaar zijn voor traditionele fijnstemmingsaanpakken vanwege rekenkundige beperkingen.

De auteurs houden een bescheiden standpunt, waarbij ze erkennen dat hoewel PCA een eenvoudige adapter is, meer verfijnde dimensionaliteitsreductiemethoden die geïnformeerd zijn door TFM's verdere winst kunnen opleveren. Zij merken ook op dat het huidige werk zich richt op tekst- en afbeeldingsmodaliteiten, maar dat het sjabloon generaliseerbaar is naar andere domeinen met kant-en-klare encoders (bijv. audio, video).