Résumé Technique : Hypernetworks pour la Sélection Dynamique de Caractéristiques

Définition du Problème

La Sélection Dynamique de Caractéristiques (DFS), également appelée apprentissage actif de caractéristiques, traite des scénarios d'apprentissage automatique où les caractéristiques doivent être acquises séquentiellement sous des contraintes budgétaires. Contrairement à l'apprentissage supervisé standard où un ensemble de caractéristiques fixe est disponible, la DFS exige qu'un modèle sélectionne un sous-ensemble de caractéristiques pour chaque échantillon individuel en fonction des informations disponibles.

Le défi central réside dans la croissance exponentielle des chemins possibles d'acquisition de caractéristiques ($2^M$ pour $M$ caractéristiques). Les approches existantes reposent généralement sur un seul prédicteur partagé, entraîné pour performer de manière optimale en moyenne sur tous les états d'observation possibles. Les auteurs soutiennent que cette approche d'"amortissement" impose un compromis structurel : un seul ensemble de paramètres ne peut simultanément être optimal pour chaque sous-ensemble de caractéristiques possible. Cela entraîne des performances sous-optimales sur des sous-ensembles spécifiques, des décisions séquentielles peu fiables et un surajustement aux petits sous-ensembles de caractéristiques, en particulier lorsque les politiques d'acquisition sont biaisées. De plus, les méthodes existantes qui conditionnent un réseau partagé sur un masque binaire (méthodes d'encodage) souffrent de bornes de complexité structurelle élevées qui évoluent avec la somme des dimensions d'entrée et de tâche, plutôt que de manière indépendante.

Méthodologie : Hyper-DFS

Pour pallier ces limitations, l'article propose Hyper-DFS, un cadre qui utilise un hypernetwork pour générer à la demande des paramètres de classificateur spécifiques à chaque sous-ensemble.

1. Architecture de l'Hypernetwork

Au lieu d'entraîner un unique prédicteur partagé, Hyper-DFS emploie un hypernetwork $g_\phi$ qui prend l'"état de connaissance" (l'ensemble des caractéristiques observées) en entrée et produit les poids $\theta$ pour un réseau prédicteur principal $f_\theta$. Cela permet au modèle de maintenir un ensemble de paramètres distinct et optimal pour chaque sous-ensemble de caractéristiques, sans la surcharge mémoire liée au stockage de $2^M$ modèles séparés.

2. Encodage Lisse des Ensembles de Caractéristiques (Set Transformer)

Une innovation cruciale réside dans l'encodage du sous-ensemble de caractéristiques. Les auteurs soutiennent que les masques binaires standards sont de mauvais signaux de conditionnement car ils traitent toutes les positions de caractéristiques comme interchangeables, échouant à capturer les relations sémantiques entre les caractéristiques.

• Encodeur Set Transformer : La méthode utilise un Set Transformer (spécifiquement des blocs d'attention induits) pour encoder le sous-ensemble observé.
• Encodages de Présence/Absence : Pour chaque caractéristique $i$, le modèle apprend deux encodages distincts : $e^1_i$ (présente) et $e^0_i$ (absente). L'entrée de l'encodeur est construite en sommant ces encodages sur la base du masque binaire.
• Espace de Conditionnement Continu : Cette approche mappe les masques de caractéristiques discrets vers une représentation continue où des sous-ensembles fonctionnellement similaires (ceux induisant des prédicteurs optimaux similaires) sont géométriquement proches. Cette régularité aide l'hypernetwork à généraliser à des sous-ensembles non vus en satisfaisant les contraintes de Lipschitz, garantissant que de petits changements dans le masque d'entrée ne provoquent pas de changements drastiques et instables dans les poids générés.

3. Stratégies de Stabilisation de l'Entraînement

Les auteurs identifient et atténuent deux instabilités d'entraînement spécifiques inhérentes aux hypernetworks dans le contexte de la DFS :

• Dérive de Variance : La norme des poids générés peut varier considérablement avec la cardinalité du sous-ensemble. Cela est résolu en utilisant le schéma d'encodage de présence/absence (qui maintient le nombre total de tokens constant à $M$) combiné à une normalisation $L_2$ du vecteur de conditionnement.
• Dilution et Effondrement des Gradients : Le mélange de nombreux sous-ensembles différents dans un seul lot peut causer une annulation des gradients, et le réseau compresseur (utilisé pour réduire la dimension d'entrée pour les données d'images) est sujet à un effondrement de représentation. Les auteurs emploient :
  • Pré-entraînement avec Masques Restreints : Initialement, les lots utilisent un nombre fixe et réduit de vecteurs d'état de connaissance (effectivement un seul sous-ensemble par lot) pour stabiliser le réseau principal et le compresseur.
  • Échauffement Linéaire du Taux d'Apprentissage : Empêche l'optimiseur de prendre des pas trop grands avant que l'hypernetwork et le compresseur ne se soient co-adaptés.
  • Pertes Auxiliaires : Un régularisateur d'échelle garantit que les poids générés maintiennent une variance appropriée, et une pénalité de variance empêche l'encodeur ou l'hypernetwork de s'effondrer en des cartes constantes.

Contributions Clés

1. Analyse Structurelle : L'article démontre que les approches DFS existantes basées sur la concaténation de masques sont des instances de méthodes d'encodage avec des bornes de complexité structurelle élevées ($\Omega(\epsilon^{-(m_1+m_2)})$), tandis que les hypernetworks offrent une borne plus efficace ($O(\epsilon^{-m_1/r})$) en découplant la dimension de conditionnement.
2. Cadre Hyper-DFS : Introduction d'une DFS basée sur un hypernetwork générant des classificateurs spécifiques à chaque sous-ensemble, utilisant des Set Transformers pour créer un espace de conditionnement lisse et conscient des fonctions.
3. Solutions d'Entraînement : Identification et résolution de la dérive de variance et de l'instabilité des gradients dans l'entraînement des hypernetworks pour la DFS via des encodages d'absence, une normalisation et un masquage de lots contrôlé.
4. Évaluation Complète : Évaluation sur des données synthétiques, tabulaires réelles et des ensembles de données d'images, démontrant des performances supérieures et une meilleure généralisation.

Résultats Expérimentaux

Les auteurs ont évalué Hyper-DFS par rapport à huit méthodes DFS de l'état de l'art (incluant des approches gourmandes, par apprentissage par renforcement et multi-modèles) sur des ensembles de données divers.

• Données Tabulaires : Hyper-DFS (et sa variante ensembliste, HyperEns) a obtenu le meilleur rang moyen et la plus haute moyenne AUAC-F1 sur les benchmarks tabulaires synthétiques et réels (par exemple, Diabetes, Metabric, MiniBooNE). Il a systématiquement surpassé de solides références à modèle unique comme RePa et VIP.
• Données d'Images : Sur les benchmarks de patches d'images (MNIST, FashionMNIST, SVHN, Imagenette, PCam), les variantes d'Hyper-DFS ont obtenu les scores les plus élevés sur quatre des cinq ensembles de données, surpassant les approches multi-modèles dédiées.
• Généralisation Zero-Shot : Une découverte significative est la capacité d'Hyper-DFS à généraliser à des sous-ensembles de caractéristiques jamais vus durant l'entraînement. Sur des sous-ensembles tenus de côté, Hyper-DFS a nettement surpassé les références à modèle unique (comme VIP) et était compétitif ou supérieur aux références multi-modèles (comme MoE). Cela suggère que l'espace de conditionnement lisse capture efficacement la relation entre les sous-ensembles de caractéristiques et les prédicteurs optimaux.
• Efficacité : Bien que l'entraînement d'un hypernetwork soit plus coûteux que celui d'un réseau unique, il reste computationnellement faisable et s'adapte mieux que le stockage de centaines de classificateurs distincts.

Importance et Revendications

L'article revendique que la spécialisation par sous-ensemble est une exigence fondamentale pour une DFS optimale, ce que les prédicteurs partagés ne peuvent atteindre. En utilisant un hypernetwork, la méthode proposée comble le fossé entre la solution idéale (mais intraitable) d'avoir un prédicteur unique pour chaque sous-ensemble et le prédicteur partagé traitable mais sous-optimal.

Les auteurs soulignent que l'espace de conditionnement lisse créé par le Set Transformer permet au modèle de généraliser à des combinaisons de caractéristiques non vues, une capacité critique pour le déploiement réel où les budgets d'acquisition peuvent varier ou où de nouvelles combinaisons de caractéristiques peuvent émerger. Les résultats suggèrent qu'Hyper-DFS offre un compromis robuste entre les approches amorties à modèle unique et les méthodes coûteuses motif par motif, offrant des améliorations substantielles tant en performance prédictive qu'en généralisation zero-shot à travers les modalités.