Résumé Technique : VIP-COP : Optimisation du Contexte pour les Modèles Fondationnels Tabulaires

1. Énoncé du Problème

Les Modèles Fondationnels Tabulaires (TFM), tels que TabPFN, sont apparus comme des outils puissants pour l'apprentissage en contexte (ICL) sur des données structurées. Ces modèles agissent comme des « algorithmes en boîte », effectuant des prédictions sur de nouvelles tâches via une seule passe avant en utilisant des données d'entraînement étiquetées comme contexte, sans nécessiter d'entraînement spécifique à la tâche. Cependant, les TFM font face à un goulot d'étranglement critique : les limites de la longueur du contexte.

Les TFM préentraînés sont généralement entraînés sur des jeux de données avec des contraintes spécifiques de taille et de dimensionalité. Lorsque les données d'inférence dépassent ces distributions de préentraînement (en termes de nombre d'échantillons $n$ ou de nombre de caractéristiques $d$), les modèles souffrent d'un comportement hors distribution et d'une généralisation dégradée. Bien que les TFM éliminent le besoin d'entraînement de modèle, ils reportent le fardeau de l'optimisation sur le contexte d'entrée. La sélection du sous-ensemble optimal d'échantillons et de caractéristiques devient un problème d'optimisation combinatoire (Optimisation de Contexte Difficile ou HardCOp).

Les approches existantes se divisent en deux catégories présentant des limitations :

• Heuristiques : Méthodes agnostiques au modèle (par exemple, échantillonnage aléatoire, clustering) qui optimisent des objectifs génériques mais échouent à prendre en compte les biais inductifs spécifiques du TFM.
• Optimisation de Prompt Doux (SoftCOp) : Méthodes qui apprennent des tokens de contexte abstraits et continus. Elles nécessitent l'accès aux internes du modèle (gradients), produisent des représentations latentes ininterprétables et manquent de la capacité de filtrer explicitement le bruit ou de sélectionner des points de données spécifiques.

Le défi central consiste à effectuer HardCOp — sélectionner des sous-ensembles discrets et interprétables d'échantillons et de caractéristiques — qui maximise les performances pour un TFM figé et boîte noire, en particulier lorsque les données sont surdimensionnées, bruyantes ou augmentées.

2. Méthodologie : VIP-COP

Les auteurs proposent VIP-COP (Very Important Predictors for Context OPtimization), un algorithme rapide, any-time et boîte noire conçu pour identifier les échantillons et les caractéristiques les plus influents pour une tâche TFM donnée.

Concept Central : Attribution de Valeur comme Allocation de Crédit

VIP-COP formule la sélection de contexte comme un problème d'allocation de crédit. Puisque la performance d'un TFM sur un ensemble de requêtes reflète la valeur collective du contexte, la contribution de n'importe quel échantillon ou caractère individuel dépend des autres membres du contexte. Les auteurs estiment la Valeur d'Importance pour la Prédiction (VIP) pour chaque élément en utilisant les valeurs de Shapley de la théorie des jeux coopératifs.

Cadre Algorithmique

VIP-COP estime les valeurs de Shapley via une extension de KernelSHAP, formulée comme un problème de régression linéaire où :

• Variable Dépendante : Performance de validation ($y_{val}$) obtenue lorsqu'un sous-ensemble spécifique est utilisé comme contexte.
• Variables Indépendantes : Indicateurs binaires ($c_i \in \{0, 1\}$) représentant la présence d'un échantillon ou d'une caractéristique spécifique dans le contexte.
• Objectif : Les coefficients de régression approximent les scores VIP.

Pour gérer l'explosion combinatoire des sous-ensembles possibles, VIP-COP emploie une stratégie de raffinement itératif :

1. Régression en Ligne : Il effectue une Descente de Gradient Stochastique (SGD) par mini-lots pour mettre à jour les estimations VIP.
2. Échantillonnage Guidé par la Valeur : Au lieu d'un échantillonnage aléatoire uniforme, de nouveaux sous-ensembles de contexte sont générés par échantillonnage d'importance. La probabilité de sélectionner un élément est proportionnelle à son estimation VIP actuelle, mise à l'échelle par un paramètre de température $\tau$.
3. Planification de la Température : Pour équilibrer l'exploration (trouver de nouveaux éléments à haute valeur) et l'exploitation (affiner les estimations des éléments à haute valeur connus), l'algorithme exécute des instances parallèles avec des plans de température variables (inspirés de Hyperband).
4. Élagage Multi-Fidélité : Le processus itère sur un budget spécifié par l'utilisateur $R$. À chaque tour, de nouveaux sous-ensembles sont notés via une seule passe avant TFM, et la régression est mise à jour.

Propriétés Clés

• Boîte Noire : Ne nécessite aucun accès aux gradients ou aux internes du modèle, le rendant compatible avec les TFM propriétaires et open-source.
• Any-Time et Conscient du Budget : Les performances s'améliorent de manière monotone avec le temps de calcul supplémentaire ; les utilisateurs peuvent arrêter l'optimisation à tout moment.
• Interprétable : Produit des « Très Importants Prédicteurs » discrets (lignes et colonnes spécifiques), contrairement aux prompts doux.
• Robuste : Isole explicitement le signal du bruit, le rendant efficace pour l'augmentation de données (sélection d'échantillons augmentés utiles) et le débruitage (filtrage des caractéristiques non pertinentes).

3. Contributions Clés

1. Optimisation de Contexte au Moment du Test : Introduction de VIP-COP, une méthode pour sélectionner des échantillons et des caractéristiques VIP pour n'importe quel TFM, adressant spécifiquement les scénarios où les données d'entrée dépassent la capacité du contexte.
2. Innovation Algorithmique : Une formulation novatrice de l'estimation des valeurs de Shapley utilisant une régression KernelSHAP itérative avec échantillonnage d'importance guidé par la valeur et élagage multi-fidélité. Cela équilibre les gains de performance rapides avec une estimation précise de la valeur.
3. Propriétés Souhaitables : La méthode se caractérise par sa rapidité (minutes), son caractère boîte noire, son interprétabilité et sa robustesse au bruit et à l'augmentation.
4. Validation Empirique : Des expériences extensives démontrant une surperformance constante par rapport aux heuristiques et aux bases optimisées sur divers jeux de données, dimensions et paramètres de bruit.

4. Résultats Expérimentaux

Les auteurs ont évalué VIP-COP sur 38 jeux de données de classification multi-classes du benchmark TALENT en utilisant TabPFN-v1 (limité à $n_C=1024, d_C=100$).

• Bases de Comparaison : Comparé aux heuristiques (Aléatoire, Ensemble, XLContext) et aux méthodes optimisées (Représentations KMeans, Arbre de Décision + TFM).
• HardCOp Original : VIP-COP a amélioré les performances de 1,54 % à 14,68 % par rapport aux bases de comparaison. Il a nettement surpassé toutes les bases de comparaison sauf DT+TFM (qui était compétitif sur les jeux de données à grand $n$ mais moins sur les plus petits).
• Augmentation de Données (DA) : Dans des configurations où les données étaient augmentées (potentiellement introduisant du bruit), VIP-COP a amélioré les performances de 4,80 % à 15,05 %. Il a exploité avec succès les augmentations informatives tout en filtrant les augmentations non informatives, une capacité où d'autres bases de comparaison ont lutté.
• Bruit de Données (DN) : Dans des conditions bruyantes (échantillons ou caractéristiques supprimés remplacés par du bruit), VIP-COP a montré des gains massifs, en particulier dans les scénarios de bruit de caractéristiques (amélioration de 154,11 % à 240,81 %), démontrant une robustesse supérieure dans l'isolation du signal.
• Efficacité : L'algorithme s'exécute à environ 1,4 seconde par tour. Les gains de performance sont généralement obtenus en quelques minutes (par exemple, ~2,5 minutes pour 100 tours), établissant un compromis favorable performance-latence (frontière de Pareto).

5. Signification et Revendications

L'article revendique que VIP-COP élève l'optimisation de contexte d'une pratique heuristique à un composant central et principiel des Modèles Fondationnels Tabulaires. En traitant la sélection de contexte comme un problème d'attribution de valeur, VIP-COP permet aux TFM de :

• Opérer efficacement sur des échelles de données dépassant leurs limites de préentraînement.
• Tirer parti des stratégies d'augmentation de données sans être dégradés par le bruit associé.
• Fonctionner comme des outils robustes et boîte noire pour les modèles propriétaires et open-source.

Les auteurs positionnent VIP-COP comme une solution unifiant l'efficacité, l'efficience et la robustesse, permettant un apprentissage en contexte fiable sur des données structurées sans nécessiter de modifications architecturales au modèle fondationnel sous-jacent. Le travail suggère que pour les TFM, le « modèle » est effectivement le contexte, et optimiser ce contexte est la clé pour débloquer leur plein potentiel dans des scénarios réels, bruyants et à grande échelle.