Résumé technique : LUCoS (Sélection de contexte non supervisée latente)

Énoncé du problème

Dans l'apprentissage tabulaire à faible nombre d'étiquettes, la sélection des instances à étiqueter constitue un défi critique. Les récents Modèles Fondamentaux Tabulaires (MFT), tels que TabPFN, reposent sur l'apprentissage en contexte (ICL), où la performance prédictive est hautement sensible aux instances étiquetées spécifiques choisies comme « ensemble de contexte ». Bien que des expériences avec oracles supervisés démontrent que des ensembles de contexte soigneusement sélectionnés peuvent surpasser significativement une sélection aléatoire sous le même budget d'étiquetage, le cas de démarrage à froid—où les instances doivent être sélectionnées avant que toute étiquette ne soit disponible—reste largement non abordé dans la littérature sur les MFT.

Les méthodes actuelles de sélection d'instances non supervisée opèrent généralement dans l'espace de caractéristiques tabulaire original. Cependant, les données tabulaires manquent d'une métrique naturelle en raison de types de caractéristiques hétérogènes, d'échelles mixtes, de sparsité et d'interactions non linéaires. Par conséquent, les distances géométriques dans l'espace brut sont souvent peu fiables pour la similarité prédictive, ce qui entraîne des méthodes de sélection se comportant de manière incohérente, voire pire qu'un échantillonnage aléatoire, à mesure que le budget d'étiquetage augmente.

Méthodologie : LUCoS

Les auteurs proposent LUCoS (Sélection de contexte non supervisée latente), un pipeline en quatre étapes conçu pour effectuer une sélection d'instances sans accès aux étiquettes. L'hypothèse centrale est que le remplacement de la géométrie peu fiable de l'espace de caractéristiques original par une géométrie latente significative induite par un MFT non supervisé permet à des méthodes de sélection géométrique simples d'identifier des ensembles de contexte informatifs.

Le cadre se compose de deux composants principaux :

1. Carte de représentation ($\phi$) : Les instances d'entraînement non étiquetées sont plongées dans un espace latent de haute dimension à l'aide de l'encodeur d'un Réseau Pré-ajusté (PFN) non supervisé. Plus précisément, les auteurs utilisent l'Encodeur PIN issu de TabClustPFN, qui génère des plongements de 512 dimensions indépendants des affectations de clusters. Cette étape crée un espace de représentation pertinent pour la tâche où les distances euclidiennes reflètent mieux la similarité prédictive.
2. Sélecteur géométrique ($\sigma$) : Des instances représentatives sont sélectionnées dans cet espace latent en utilisant le clustering K-Medoids avec une distance euclidienne. Le nombre de médoides ($K$) est fixé au budget d'étiquetage. K-Medoids est choisi car :
   • Il sélectionne de vraies instances d'entraînement (médoides) plutôt que des centroïdes synthétiques, satisfaisant l'exigence que les échantillons sélectionnés soient annotables.
   • Il minimise un objectif de couverture explicite, garantissant que le sous-ensemble sélectionné couvre la distribution des données.
   • Il est déterministe (jusqu'à l'initialisation) et ne nécessite aucune connaissance a priori des classes.

Flux du pipeline :

1. Plonger les données d'entraînement non étiquetées dans l'espace latent via l'encodeur PFN non supervisé.
2. Appliquer K-Medoids pour sélectionner $K$ médoides représentatifs dans l'espace latent.
3. Re mapper les indices sélectionnés vers l'espace de caractéristiques original et interroger un oracle (expert) pour obtenir les étiquettes.
4. Utiliser le sous-ensemble étiqueté résultant comme ensemble en contexte pour un MFT supervisé (TabPFN-2.5) afin de prédire sur des données de test invisibles.

Contributions clés

1. Validation empirique de la sensibilité : Les auteurs démontrent que la performance des MFT dans les régimes à faible nombre d'étiquettes est hautement sensible aux instances de contexte spécifiques sélectionnées. Une analyse par oracle supervisé (utilisant un Algorithme Memétique à État Stationnaire) révèle un écart de performance substantiel (jusqu'à $\approx 0,19$ $\Delta$AUC aux plus petits budgets) entre la sélection aléatoire et la sélection optimisée, indiquant une marge de progression significative.
2. Cadre LUCoS : La proposition d'un pipeline principé, sans étiquettes, qui découple l'apprentissage de représentation de la sélection. En effectuant la sélection dans l'espace latent d'un PFN non supervisé, LUCoS permet à des méthodes géométriques simples (K-Medoids) d'identifier des sous-ensembles à haute performance.
3. Évaluation comparative complète : Évaluation sur 67 jeux de données OpenML-CC18 couvrant six budgets à faible nombre d'étiquettes ($1C$ à $32C$, où $C$ est le nombre de classes). LUCoS atteint le premier rang en AUC moyen, Précision et F1 sur tous les budgets.
4. Décomposition du mécanisme : L'article décompose les gains de LUCoS en composants sélecteur et représentation :
   • Aux plus petits budgets ($1C$), le gain est principalement piloté par l'effet du sélecteur (imposant une couverture via K-Medoids), l'espace latent contribuant peu au-delà des caractéristiques brutes.
   • À partir des budgets intermédiaires ($4C$), l'effet de représentation devient dominant. Dans ce régime, la sélection dans l'espace de caractéristiques original se dégrade (tombant souvent en dessous du hasard), tandis que l'espace latent « sauve » la performance. Cet effet de « sauvetage » est observé dans la majorité des jeux de données (78 % des cas).

Résultats

• Performance : LUCoS surpasse constamment les références, y compris l'échantillonnage aléatoire, K-Medoids dans l'espace original, RDSS et ZCore. Il se classe premier sur les six budgets d'étiquetage.
• Comparaison avec l'oracle : LUCoS récupère environ 13–20 % de l'écart entre la sélection aléatoire et l'oracle supervisé, malgré le fonctionnement sans aucune information d'étiquette.
• Robustesse : Les résultats sont stables sous une analyse de type « leave-one-dataset-out », une suppression progressive de jeux de données, et à travers différentes métriques d'évaluation (AUC, ACC, F1).
• Modes d'échec des alternatives : K-Medoids dans l'espace original et d'autres méthodes non supervisées (RDSS, ZCore) échouent à battre de manière fiable la sélection aléatoire, particulièrement à mesure que le budget augmente, confirmant que la géométrie de l'espace de représentation est le goulot d'étranglement critique.

Importance et affirmations

L'article soutient que la sélection de contexte non supervisée fiable pour les données tabulaires dépend moins de la sophistication de l'algorithme de sélection et davantage de la définition de la représentativité au sein d'une géométrie de représentation significative.

Les auteurs affirment que :

• La « marge de progression » dans l'apprentissage tabulaire à quelques exemples est substantielle mais ne peut être accessible en appliquant simplement des méthodes de sélection basées sur la distance conçues pour la vision ou le langage aux caractéristiques tabulaires brutes.
• L'induction d'une géométrie latente via des PFN non supervisés est une condition préalable nécessaire à une sélection d'instances efficace dans le cas de démarrage à froid.
• L'amélioration de l'apprentissage de représentation pour les données tabulaires est aussi critique que la conception d'heuristiques de sélection complexes.

Ce travail positionne la sélection de contexte non supervisée comme un pont entre les données non étiquetées abondantes et les prédictions fortes et sensibles au contexte des MFT. Les auteurs reconnaissent des limites, notamment la restriction aux tâches de classification avec $\le 10$ classes, le coût computationnel de K-Medoids sur des pools très grands, et le couplage actuel à TabClustPFN comme source de représentation. Ils suggèrent que les travaux futurs devraient explorer les tâches de régression, des approximations évolutives, et déterminer si d'autres modèles d'incorporation ou stratégies de sélection peuvent encore améliorer les performances.