SEAL: Searching Expandable Architectures for Incremental Learning

Résumé Technique : SEAL (Searching Expandable Architectures for Incremental Learning)

Formulation du Problème
L'apprentissage incrémental (IL - Incremental Learning) exige que les modèles apprennent à partir d'un flux séquentiel de tâches tout en équilibrant la plasticité (la capacité à apprendre de nouvelles informations) et la stabilité (la préservation des connaissances passées). Un défi majeur dans ce domaine est l'oubli catastrophique, où l'apprentissage de nouvelles données écrase les représentations précédentes. Bien que la recherche d'architecture neuronale (NAS - Neural Architecture Search) ait montré des succès dans des contextes statiques, les approches actuelles de NAS basées sur l'IL souffrent souvent de coûts de calcul élevés en répétant le processus de recherche pour chaque tâche, ainsi que d'une consommation de ressources irréaliste due à une expansion illimitée du modèle. De plus, de nombreuses méthodes actuelles reposent sur des tampons de rejeu (replay buffers) ou des seuils d'expansion fixes qui ne s'adaptent pas bien aux scénarios d'incrémentalité de données (data-incremental), où des échantillons de données disjoints arrivent séquentiellement sans accès futur possible.

Méthodologie
Les auteurs proposent SEAL, un cadre de NAS conçu spécifiquement pour l'apprentissage incrémental de données. Contrairement aux méthodes antérieures qui traitent la conception de l'architecture et la politique d'expansion comme des processus séparés ou séquentiels, SEAL optimise conjointement l'architecture du réseau de neurones et sa politique d'expansion au sein d'une phase de recherche unique.

Les composants clés du cadre SEAL incluent :

1. Espace de Recherche Unifié : SEAL utilise un super-réseau OFA (Once-For-All) basé sur MobileNetV3 pour définir l'espace de recherche. Cela permet une évaluation rapide des architectures candidates via l'ajustement fin (fine-tuning) de poids pré-entraînés plutôt que par un entraînement à partir de zéro. L'espace de recherche est contraint pour garantir que toute expansion résulte en un sous-réseau OFA valide.
2. Politique d'Expansion Dynamique : Au lieu d'étendre le modèle à chaque tâche, SEAL emploie une métrique d'estimation de capacité pour déterminer quand l'expansion est nécessaire. Le modèle est étendu uniquement si la perte de cross-entropie actuelle sur les nouvelles données dépasse un seuil relatif par rapport aux itérations précédentes (Éq. 10). Cela empêche une croissance inutile et préserve la complexité du modèle.
3. Optimisation Multi-Objectifs : Le cadre formule le problème comme une tâche d'optimisation bi-objectif résolue via l'algorithme génétique NSGA-II. Les deux objectifs sont :
   • Précision Incrémentale : Une fonction équilibrant la précision moyenne sur l'ensemble de tâches final par rapport au nombre de paramètres (Éq. 12).
   • Robustesse (Platitude) : Une métrique de platitude invariante par rescalage qui mesure la stabilité du paysage de perte sous des perturbations de bruit multiplicatif (Éq. 14). Cela vise à guider la recherche vers des minima plus plats, qui sont plus robustes aux changements de distribution.
4. Stratégie d'Entraînement : Pour atténuer l'oubli catastrophique lors de l'expansion, SEAL emploie un entraînement par cross-distillation. Après une étape d'expansion, le modèle est entraîné à l'aide d'une fonction de perte combinée composée de la perte de cross-entropie standard et d'une perte de divergence de Kullback-Leibler (KL) par rapport aux cibles douces (soft targets) du modèle pré-expansion (Éq. 11).
5. Modélisation de Substitut (Surrogate Modeling) : Pour accélérer la recherche, SEAL utilise des mécanismes de commutation adaptative (similaires à MSuNAS) pour sélectionner le modèle de substitut le plus précis (parmi les processus gausiens ou les fonctions de base radiale) pour prédire les métriques de performance, évitant ainsi le besoin de réentraîner entièrement chaque candidat.

Contributions Clés

• Optimisation Conjointe : SEAL est présenté comme le premier cadre de NAS qui recherche conjointement l'architecture optimale et sa politique d'expansion dans une seule phase, réduisant considérablement la charge de calcul par rapport aux méthodes de recherche tâche par tâche.
• Efficacité des Ressources : En intégrant des sous-réseaux OFA et une expansion conditionnelle, SEAL alloue une capacité supplémentaire uniquement lorsque cela est nécessaire, ce qui le rend adapté aux environnements à ressources contraintes comme l'IoT et le TinyML.
• Intégration de la Platitude : Ce travail intègre une métrique de robustesse basée sur la platitude directement dans l'objectif de NAS pour l'IL, démontrant que l'optimisation pour des minima plats améliore la stabilité et la généralisation dans les scénarios d'apprentissage séquentiel.
• Focus sur l'Incrémentalité de Données : Le cadre cible spécifiquement le cadre d'incrémentalité de données (données disjointes, même espace d'étiquettes) sans dépendre d'un stockage explicite de données ou de tampons de rejeu.

Résultats Expérimentaux
SEAL a été évalué sur trois ensembles de données de référence : CIFAR-10, CIFAR-100 et ImageNet16-120. Les expériences ont comparé SEAL à des bases de référence d'IL standards (Naive, EWC, SI, LwF) et à une borne supérieure d'entraînement conjoint (Joint Training).

• Performance : SEAL a obtenu une précision moyenne (AA) compétitive ou supérieure par rapport aux bases de référence. Par exemple, sur CIFAR-10, SEAL a atteint une précision de 95,35 %, surpassant EWC (93,87 %) et SI (94,31 %). Sur CIFAR-100, il a atteint 83,94 %, dépassant LwF (83,21 %).
• Oubli et Transfert : Le cadre a démontré un oubli moyen réduit par rapport à plusieurs bases de référence (ex: 4,81 % sur CIFAR-100 contre 5,50 % pour LwF). Cependant, sur CIFAR-10, le transfert vers l'avant (FWT) était inférieur à certaines bases de référence, ce que les auteurs attribuent à un potentiel surapprentissage des tâches les plus récentes lorsque les tâches sont très similaires.
• Multi-Objectif vs Mono-Objectif : Les résultats ont indiqué que l'approche multi-objectif (optimisant à la fois la précision et la platitude) offrait de meilleurs compromis que l'optimisation mono-objectif. Plus précisément, les modèles optimisés pour la platitude avaient tendance à avoir moins de paramètres tout en maintenant une précision élevée.
• Études d'Ablation : Les expériences ont confirmé que l'initialisation des poids expansés à partir du super-réseau OFA (plutôt que par des poids aléatoires) améliorait considérablement la précision et réduisait l'oubli. De même, l'utilisation de la perte de cross-distillation s'est révélée cruciale pour maintenir la performance et réduire l'oubli après l'expansion.
• Signification Statistique : Les tests de Friedman ont confirmé que les différences de performance entre SEAL et les bases de référence étaient statistiquement significatives sur tous les ensembles de données et métriques.

Signification et Revendications
L'article affirme que SEAL offre une solution plus pratique pour le déploiement réel en s'alignant sur les desiderata clés du NAS pour l'IL : efficacité, scalabilité et adaptabilité. En évitant le réentraînement redondant et la croissance incontrôlée du modèle, SEAL répond aux pièges des approches actuelles de NAS basées sur l'IL. Les auteurs soulignent que l'intégration de la platité comme objectif de conception aide à créer des modèles robustes aux perturbations introduites par les nouvelles tâches. Bien que l'étude se concentre sur l'apprentissage incrémental de données, les auteurs suggèrent que le cadre pourrait être étendu à d'autres contextes d'IL, tout en notant que les hypothèses concernant la généralisation de l'architecture à travers les divisions de données pourraient nécessiter des ajustements pour les scénarios d'incrémentalité de domaine ou de classe. Ce travail positionne la combinaison du NAS et de l'expansion sélective comme une direction prometteuse pour un apprentissage efficace et adaptatif.