Résumé Technique : SeBA - Apprentissage Faiblement Supervisé par Alignement Séparé à la Naissance pour les Données Tabulaires

1. Énoncé du Problème

L'article traite de l'Apprentissage Faiblement Supervisé (SS-FSL) pour les données tabulaires. Dans ce contexte, un modèle doit apprendre à classifier des données en utilisant un très petit nombre d'exemples étiquetés (l'ensemble de support) tout en exploitant un grand pool de données non étiquetées.

Bien que le SS-FSL soit bien établi en vision par ordinateur (CV) et en traitement du langage naturel (NLP), il reste sous-exploré pour les données tabulaires. Le principal goulot d'étranglement pour l'application des méthodes standard de SS-FSL aux données tabulaires est la dépendance aux cadres d'Apprentissage Auto-supervisé (SSL) qui nécessitent une augmentation des données.

• Le Défi de l'Augmentation : En CV, les augmentations (par exemple, recadrage, rotation) préservent le sens sémantique. Pour les données tabulaires, définir des augmentations significatives n'est pas trivial. Les stratégies courantes comme le masquage par zéro, le bruit gaussien ou l'échantillonnage à partir de distributions marginales déforment souvent la sémantique, génèrent des échantillons hors distribution ou violent les contraintes de caractéristiques (par exemple, rendre une variable catégorielle non entière), sapant ainsi l'efficacité du SSL.
• Limitations Actuelles : Les méthodes de préentraînement tabulaire existantes contournent souvent le SSL entièrement, s'appuyant plutôt sur la détection de clusters, des modèles de diffusion ou de l'apprentissage par méta sur des tâches auto-générées, ce qui peut ne pas exploiter pleinement le potentiel des paradigmes d'apprentissage par contraste.

2. Méthodologie : Alignement Séparé à la Naissance (SeBA)

Les auteurs proposent SeBA, un cadre d'embedding conjoint qui élimine le besoin d'augmentations de données conçues à la main. Au lieu de créer des paires positives via l'augmentation, SeBA les construit en séparant les données « à la naissance » en deux vues indépendantes et complémentaires.

Mécanisme Central

1. Séparation des Données : Pour chaque mini-lot de données non étiquetées, un masque binaire $m$ est échantillonné. Ce masque divise les caractéristiques de chaque point de données $x$ en deux vues :

   • Vue Caractéristique ($x_f$) : Caractéristiques où le masque est 0 ($x \odot (1-m)$).
   • Vue Cible ($x_t$) : Caractéristiques où le masque est 1 ($x \odot m$).
     Ces vues sont complémentaires et indépendantes.

2. Graphe de Similarité Cible : Les paires positives sont définies sur la base de la Vue Cible. Pour un échantillon $x$, son plus proche voisin $x'$ est identifié au sein du lot en utilisant uniquement les caractéristiques de la vue cible ($x_t$ et $x'_t$). Cette relation de plus proche voisin sert de « vérité terrain » pour la similarité sémantique.

3. Objectif d'Alignement : Le modèle est entraîné pour aligner la représentation de la Vue Caractéristique ($x_f$) avec la représentation de la vue caractéristique de son plus proche voisin ($x'_f$).

   • Projecteur Conditionné : Puisque la vue caractéristique $x_f$ ne contient pas intrinsèquement d'informations sur le masque $m$ utilisé pour la créer, SeBA emploie un projecteur conditionné $\pi(h, m)$. Ce projecteur prend la sortie de l'encodeur $h$ et le masque $m$ comme entrées, permettant au modèle d'apprendre un espace latent spécifique à la tâche qui tient compte du schéma de séparation spécifique.
   • Fonction de Perte : L'alignement est optimisé en utilisant la perte InfoNCE, qui rapproche les représentations des paires positives ($z, z'$) et éloigne les échantillons non liés.

4. Gestion des Spécificités Tabulaires :

   • Séparation Sensible au Type : Pour éviter de diviser une seule variable catégorielle (encodée via one-hot) entre les vues, le masque est appliqué à la représentation originale avant l'encodage.
   • Imputation des Données Manquantes : Les caractéristiques séparées sont remplacées par des zéros (imputation par zéro), ce que les auteurs ont trouvé supérieur à l'échantillonnage à partir de distributions marginales pour leur encodeur MLP léger.
   • Ensemble : Pour gérer la diversité des jeux de données et éviter de sélectionner un ratio de séparation sous-optimal, les auteurs entraînent plusieurs modèles avec différents ratios de séparation fixes ($r \in \{0.1, \dots, 0.5\}$) et combinent leurs prédictions lors de l'inférence.

3. Contributions Clés

• Cadre de Préentraînement Novel : Introduction de SeBA, la première méthode SS-FSL pour les données tabulaires qui remplace la construction de paires positives basée sur l'augmentation par un graphe de plus proches voisins dérivé de la séparation des données.
• Justification Théorique : Une analyse théorique pour des données gaussiennes démontrant que la probabilité qu'un plus proche voisin dans la vue cible appartienne à une classe différente décroît exponentiellement à mesure que la dimensionnalité de la vue cible et la séparation entre les classes augmentent. Cela valide que la correspondance des plus proches voisins dans la vue cible produit des paires positives significatives.
• Validation Empirique : Des expériences extensives montrant que SeBA génère un espace de sortie qui améliore la relation caractéristique-étiquette, surpassant les références de l'état de l'art dans la majorité des cas.

4. Résultats Expérimentaux

Les auteurs ont évalué SeBA sur 8 jeux de données de référence standard (provenant d'OpenML-CC18) et 3 jeux de données supplémentaires difficiles (à haute dimension et épars : CNAE, Devnagari, FashionMNIST).

• Performance : SeBA a atteint des performances de l'état de l'art (SOTA) dans 17 cas sur 24 à travers les configurations 1-shot, 5-shot et 10-shot. Il se classait parmi les trois premières méthodes dans les 7 cas restants.
• Robustesse : SeBA a démontré une stabilité supérieure par rapport à des concurrents comme STUNT et D2R2-c, présentant une variance plus faible dans les résultats à travers différentes graines aléatoires.
• Forces Spécifiques :
  • SeBA a obtenu les meilleures performances sur des jeux de données avec des valeurs purement catégorielles (DNA, PIX).
  • L'écart de performance entre SeBA et les références était particulièrement prononcé sur les jeux de données à haute dimension (par exemple, PIX, SEM).
• Études d'Ablation :
  • Projecteur Conditionné : Essentiel pour la performance, en particulier dans les régimes à faible quantité de données (1-shot).
  • Architecture de l'Encodeur : Un MLP léger à 2 couches a surpassé une architecture FT-Transformer plus complexe.
  • Prétraitement : La normalisation combinée à l'imputation par zéro a produit les meilleurs résultats.
  • Ratio de Séparation : L'ensemble de modèles entraînés avec différents ratios a fourni les résultats les plus robustes par rapport à un ratio fixe unique.

5. Signification et Revendications

L'article revendique que la performance inférieure des méthodes SSL dans l'apprentissage faiblement supervisé tabulaire n'est pas une limitation inhérente aux données tabulaires, mais plutôt une conséquence de la dépendance à des stratégies d'augmentation inappropriées.

En repensant le SSL à travers l'Alignement Séparé à la Naissance, les auteurs démontrent que :

1. Il est possible de construire des paires positives significatives pour les données tabulaires sans augmentation manuelle.
2. Cette approche produit des représentations qui améliorent considérablement la relation caractéristique-étiquette, comme en témoigne l'augmentation de la cohérence des étiquettes dans l'espace latent par rapport à l'espace d'entrée.
3. SeBA ouvre une nouvelle voie pour le paradigme SS-FSL dans les données tabulaires, offrant une solution pratique, légère et hautement efficace pour des domaines tels que la médecine, la finance et la science où les données étiquetées sont rares.

Le travail positionne SeBA comme une étape fondamentale pour les applications contraintes par les données, suggérant que la recherche future devrait explorer des stratégies d'alignement sans augmentation similaires pour l'apprentissage de représentations tabulaires.