MultiModalPFN: Extending Prior-Data Fitted Networks for Multimodal Tabular Learning

Ce papier présente MMPFN, une extension du modèle TabPFN conçue pour unifier le traitement des données tabulaires et non tabulaires (comme les images et le texte) grâce à des projecteurs de modalités innovants, démontrant ainsi des performances supérieures sur divers ensembles de données multimodaux.

L'essentiel

🌟 Le Problème : Le Chef Cuisinier qui ne parle que des ingrédients secs

Imaginez un chef cuisinier très talentueux, disons TabPFN. Ce chef est une superstar pour cuisiner des plats à base d'ingrédients secs et structurés (comme des tableaux Excel, des statistiques de ventes ou des résultats médicaux). Il est si bon qu'il peut deviner le goût d'un plat juste en regardant la liste des ingrédients, même s'il n'a jamais cuisiné ce plat précis auparavant.

Mais il y a un gros problème :
Dans la vraie vie (comme dans les hôpitaux ou le marketing), les données ne sont pas seulement des tableaux.

• Un médecin a un tableau de résultats sanguins ET une radio (image).
• Un vendeur a un historique de ventes ET des avis clients écrits (texte).

Le chef TabPFN est excellent avec les tableaux, mais il est perdu face aux images et aux textes. Il ne sait pas comment "goûter" une photo ou lire un commentaire. Si on lui donne une photo, il ne sait pas quoi en faire.

🚀 La Solution : MultiModalPFN (Le Chef qui a grandi)

Les chercheurs (Wall Kim et son équipe) ont créé une nouvelle version du chef, appelée MultiModalPFN. C'est comme si on avait donné au chef un traducteur universel et un assistant de cuisine pour qu'il puisse utiliser tous les ingrédients, pas seulement les secs.

Voici comment ça marche, étape par étape, avec des analogies :

1. Les Traducteurs Spéciaux (Les Encodeurs)

Avant de donner les ingrédients au chef, il faut les préparer.

• Pour les images, on utilise un traducteur spécial (comme un expert en art) qui regarde la photo et la décrit en mots simples.
• Pour le texte, on utilise un autre expert (comme un bibliothécaire) qui lit les avis et résume l'essentiel.
• Pour les tableaux, le chef TabPFN garde son expertise habituelle.

2. Le Pont Magique : Le Projecteur de Modalité

C'est ici que la magie opère. Le chef TabPFN ne comprend que le langage des "tableaux". Si on lui donne une description d'image en langage courant, il ne comprendra pas.

C'est là qu'intervient le Projecteur de Modalité. Imaginez-le comme un pont ou un pont-levis qui transforme les descriptions d'images et de textes en un langage que le chef TabPFN comprend parfaitement. Il prend l'information complexe de l'image et la transforme en "briques de données" standardisées, exactement comme les lignes d'un tableau.

3. Le Problème du "Bruit" et la Solution (MGM et CAP)

C'est le point le plus astucieux de l'article.

• Le problème : Une image contient énormément de détails (des milliers de pixels). Si on essaie de tout donner au chef, il y a trop d'informations d'un coup. C'est comme si on essayait de faire entrer un éléphant dans une pièce : l'éléphant (l'image) prend toute la place, et le chef oublie les autres ingrédients (le tableau). C'est ce qu'ils appellent le "déséquilibre de l'attention".
• La solution (MGM) : Au lieu de donner une seule description de l'image, le système crée plusieurs petites versions (des "tokens") de cette image. C'est comme si on découpait l'éléphant en plusieurs petits morceaux digestes pour mieux les analyser.
• La solution (CAP) : Ensuite, un autre outil (le Pooler) regroupe ces petits morceaux en un seul résumé compact et équilibré. C'est comme un chef qui prend tous les ingrédients préparés, les mélange, et n'en garde que l'essentiel pour ne pas submerger le plat final.

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé ce nouveau système sur des tas de problèmes réels :

• Santé : Diagnostiquer des maladies en regardant à la fois les analyses de sang (tableau) et les radios (image).
• Vente : Prédire si un produit va se vendre en croisant les prix (tableau) et les commentaires clients (texte).

Le verdict ?
MultiModalPFN bat presque tous les autres systèmes actuels.

1. Il est plus fort : Il utilise mieux toutes les informations disponibles.
2. Il est économe : Il n'a pas besoin de manger des montagnes de données pour apprendre. Comme le chef original, il est très efficace même avec peu d'exemples (ce qui est crucial en médecine où les données sont rares).
3. Il est flexible : On peut lui donner n'importe quel mélange de données (texte + image + tableau) et il s'adapte.

💡 En résumé

Imaginez que vous avez un expert très doué pour les chiffres, mais qui est muet et aveugle.
MultiModalPFN, c'est comme lui donner des oreilles (pour entendre les textes), des yeux (pour voir les images) et un cerveau de traduction (le projecteur) qui transforme tout ce qu'il voit et entend en chiffres qu'il adore.

Résultat : On obtient un super-héros de la data qui peut résoudre des problèmes complexes en utilisant toutes les informations dont il dispose, sans se laisser submerger par la quantité d'informations. C'est une avancée majeure pour l'avenir de l'intelligence artificielle dans des domaines comme la santé ou le commerce.

Résumé technique

1. Problématique

Le papier aborde la limitation actuelle des modèles fondationnels pour les données tabulaires, spécifiquement TabPFN (Prior-Data Fitted Network). Bien que TabPFN excelle sur les données purement tabulaires en traitant l'apprentissage supervisé comme une inférence bayésienne amortie, il échoue à intégrer des modalités hétérogènes (images, texte) courantes dans des domaines comme la santé ou le marketing.

Les défis principaux identifiés sont :

• Incompatibilité des modalités : Les approches existantes peinent à combiner efficacement des données structurées (tabulaires) avec des données non structurées (images, texte) sans perdre la performance ou nécessiter un temps d'entraînement prohibitif.
• Déséquilibre d'attention (Attention Imbalance) : Dans les architectures multimodales basées sur des Transformers, une disparité dans le nombre de tokens entre les modalités (ex: beaucoup de tokens d'image vs peu de tokens tabulaires) conduit à un déséquilibre où la modalité dominante absorbe la majorité de l'attention, étouffant le signal des autres modalités.
• Compression excessive : Les représentations non tabulaires (comme le token [CLS] d'un encodeur d'image) sont souvent trop compressées pour capturer toute l'information nécessaire lorsqu'elles sont fusionnées avec des données tabulaires.

2. Méthodologie : MMPFN

Les auteurs proposent MMPFN (Multi-Modal Prior-data Fitted Network), une extension de TabPFN conçue pour traiter unifiément les entrées tabulaires, images et texte. L'architecture se compose de trois blocs principaux :

A. Encodeurs par Modalité

• Tabulaire : Utilise l'encodeur TabPFN v2 (frozen pendant le fine-tuning).
• Image : Utilise DINOv2 (ViT-B/14) pour extraire le token [CLS] global.
• Texte : Utilise un encodeur basé sur ELECTRA (token [CLS] extrait).

B. Projecteur de Modalité (Modality Projector)

C'est le cœur de l'innovation, conçu pour aligner les embeddings non tabulaires sur l'espace tabulaire de TabPFN. Il comprend deux sous-composants clés :

1. MLP à Portes Multi-têtes (MGM - Multi-head Gated MLP) :
   • Au lieu d'utiliser un seul token [CLS] compressé, le MGM étend l'embedding non tabulaire en N tokens parallèles.
   • Il utilise des unités de porte (GLU - Gated Linear Units) pour moduler la contribution de chaque tête, permettant de capturer divers aspects de l'information non tabulaire et d'éviter la sur-compression.
2. Pooler à Attention Croisée (CAP - Cross-Attention Pooler) :
   • Pour résoudre le problème de déséquilibre d'attention, le CAP prend les N tokens générés par le MGM et les comprime en un ensemble compact de K tokens (via une attention croisée avec des vecteurs requêtes apprenables).
   • Cela garantit que la modalité non tabulaire occupe un nombre de tokens équilibré par rapport aux tokens tabulaires, empêchant une modalité de dominer le budget d'attention.

C. Backbones et Entraînement

• Les embeddings multimodaux (tabulaires + tokens projetés) sont injectés dans le backbone TabPFN pré-entraîné.
• Seuls le projecteur de modalité, le backbone TabPFN et la tête de prédiction sont fine-tunés. Les encodeurs d'entrée (DINOv2, ELECTRA) restent figés.
• L'inférence suit le protocole standard de TabPFN : concaténation des données d'entraînement et de test pour une inférence en contexte (in-context inference).

3. Contributions Clés

1. Première extension de TabPFN aux données hétérogènes : MMPFN est le premier cadre capable d'étendre les réseaux à données préalables (PFN) pré-entraînés sur des distributions tabulaires synthétiques à des entrées multimodales (tabulaire + image/texte).
2. Identification et résolution des modes d'échec :
   • Identification du problème de compression excessive des embeddings non tabulaires.
   • Identification du déséquilibre d'attention dû aux disparités de comptage de tokens.
   • Introduction du MGM et du CAP comme solutions architecturales spécifiques à ces problèmes.
3. Performance et Efficacité : Démonstration que MMPFN surpasse les méthodes de l'état de l'art tout en conservant les avantages de TabPFN (performance élevée sur petits jeux de données, entraînement léger).

4. Résultats Expérimentaux

Les expériences ont été menées sur des jeux de données médicaux (PAD-UFES-20, CBIS-DDSM) et généraux (Airbnb, Salary, Cloth, PetFinder).

• Performance Globale : MMPFN surpasse systématiquement les méthodes concurrentes (TabPFN seul, CatBoost, AutoGluon, MMCL, TIP, TIME, etc.) sur presque tous les jeux de données, tant pour les paires Tabulaire-Image que Tabulaire-Texte.
• Analyse de l'Équilibre d'Attention :
  • Les expériences montrent que lorsque le nombre de tokens non tabulaires est trop élevé sans CAP, la performance chute car l'attention se focalise excessivement sur l'image/texte au détriment des données tabulaires.
  • L'utilisation de CAP rétablit l'équilibre et améliore les résultats.
• Robustesse en Régime de Données Limitées :
  • Même avec seulement 10% des données d'entraînement, MMPFN maintient une performance supérieure à celle de modèles comme TIP (qui utilise un pré-entraînement auto-supervisé lourd). Cela confirme la capacité des priors synthétiques de TabPFN à généraliser efficacement avec peu d'exemples réels.
• Évolutivité : L'ajout de modalités complémentaires (ex: ajouter du texte à des données tabulaires + image) améliore continuellement les performances, prouvant que le modèle exploite bien les signaux complémentaires.

5. Signification et Impact

Ce travail est significatif car il comble le fossé entre les modèles fondationnels tabulaires puissants et le besoin croissant d'analyser des données multimodales complexes.

• Efficacité : Contrairement aux approches qui nécessitent un pré-entraînement massif sur des données multimodales réelles, MMPFN réutilise un modèle pré-entraîné sur des données synthétiques, ne nécessitant qu'un fine-tuning léger.
• Généralité : La méthode fonctionne aussi bien sur des données médicales (où les données sont rares et précieuses) que sur des données commerciales.
• Architecture : La proposition du projecteur de modalité (MGM + CAP) offre une nouvelle direction pour la fusion de modalités dans les architectures basées sur des Transformers, en traitant spécifiquement le problème du comptage de tokens et de l'alignement des espaces d'embedding.

En résumé, MMPFN démontre qu'il est possible de créer un modèle fondationnel unifié pour les données structurées et non structurées, offrant une solution scalable et performante pour l'apprentissage sur des données hétérogènes.