Résumé Technique : MAGMAX Réglable

Énoncé du Problème

L'apprentissage continu (CL) vise à entraîner des modèles de manière séquentielle sur plusieurs tâches tout en atténuant l'oubli catastrophique (CF). Bien que les récents progrès des modèles préentraînés de grande taille (LPM) et des techniques de fusion de modèles comme MAGMAX (Sélection de Magnitude Maximale) aient démontré des performances CL efficaces, les méthodes existantes optimisent principalement la performance moyenne sur l'ensemble des tâches. Elles ne parviennent pas à répondre à la nécessité pratique de construire des modèles adaptés à des environnements de déploiement variables ou à des préférences utilisateurs spécifiques. Par exemple, un système de diagnostic médical dans un hôpital peut prioriser la détection de tumeurs, tandis qu'un autre privilégie les anomalies cardiaques, bien que tous deux reposent sur le même LPM de base. Les techniques CL actuelles, y compris MAGMAX, ne fournissent pas adéquatement un mécanisme pour ajuster flexiblement les priorités de performance par tâche. De plus, la dépendance de MAGMAX à l'égard de la sélection de magnitude maximale élément par élément entraîne souvent la domination du vecteur de tâche de la dernière tâche entraînée sur le modèle fusionné, conduisant potentiellement à des performances sous-optimales sur les tâches antérieures.

Méthodologie

L'article propose MAGMAX Réglable, un cadre de fusion de modèles conscient des préférences conçu pour contrôler la performance spécifique à chaque tâche dans le CL. La méthode étend MAGMAX en introduisant un vecteur de préférence qui dicte le nombre d'éléments sélectionnés à partir de chaque vecteur de tâche lors du processus de fusion.

Mécanisme Central : MAGMAX Réglable

Dans MAGMAX standard, le vecteur de tâche fusionné est formé en sélectionnant l'élément ayant la magnitude absolue maximale parmi tous les vecteurs de tâche pour chaque indice de paramètre. MAGMAX Réglable modifie cela en imposant une contrainte de budget définie par un vecteur de préférence $\mathbf{n}_T = (n_1, \dots, n_T)$, où $\sum n_t = d$ (le nombre total de paramètres du modèle).

• Processus de Sélection : L'algorithme itère sur les tâches dans l'ordre inverse (de la dernière tâche $T$ à la première). Pour chaque tâche $t$, il identifie les paramètres non sélectionnés où le vecteur de la tâche $t$ présente la magnitude la plus élevée parmi les tâches restantes.
• Application du Budget : Si le nombre d'éléments naturellement sélectionnés dépasse le budget $n_t$, l'excédent est aléatoirement écarté pour respecter le quota. Si le budget n'est pas atteint après le premier passage, l'algorithme effectue des itérations d'alignement supplémentaires (fixées à $K=2$ dans les expériences) pour attribuer les paramètres restants non sélectionnés aux tâches qui n'ont pas encore atteint leur budget.
• Résultat : Cela permet au modèle fusionné d'être biaisé vers des tâches spécifiques en allouant plus de paramètres à leurs vecteurs de tâche correspondants, contrôlant ainsi le compromis de performance entre les tâches précoces et tardives.

Construction Automatique des Préférences

Pour éliminer le besoin de spécification manuelle du vecteur de préférence, les auteurs proposent un mécanisme basé sur la similarité. Celui-ci exploite une petite quantité de métadonnées ($D_{meta}$) provenant de l'environnement de déploiement cible pour calculer la similarité avec les ensembles de données d'entraînement ($D_t$).

1. Basé sur les Caractéristiques (OT) : Si des ensembles de caractéristiques sont disponibles, la similarité est calculée en utilisant la distance de Transport Optimal (OT) entre les caractéristiques intégrées de la tâche d'entraînement et les métadonnées.
2. Basé sur les Étiquettes : Si seuls les ensembles d'étiquettes sont disponibles, la similarité est calculée en se basant sur le produit scalaire des distributions d'étiquettes empiriques.
   Le vecteur de préférence $n_t$ est ensuite construit en allouant les paramètres proportionnellement à ces scores de similarité.

Contributions Clés

1. Cadre MAGMAX Réglable : Une nouvelle méthode de fusion de modèles qui régule le nombre d'éléments sélectionnés à partir de chaque vecteur de tâche via un vecteur de préférence, permettant un contrôle flexible de la performance par tâche dans l'apprentissage continu.
2. Automatisation Basée sur la Similarité : Une méthode pour construire automatiquement des vecteurs de préférence appropriés adaptés aux environnements cibles en exploitant la similarité des ensembles de données (via la distance OT ou la distribution d'étiquettes) entre de petites quantités de métadonnées cibles et les ensembles de données d'entraînement.
3. Validation Empirique : Démonstration, via des benchmarks CL (CIFAR-100 et ImageNet-R), que le cadre construit avec succès des modèles fusionnés adaptés à divers environnements cibles, surpassant ou égalant les méthodes de référence dans des scénarios de déploiement spécifiques.

Résultats Expérimentaux

Les auteurs ont évalué MAGMAX Réglable sur des configurations d'apprentissage incrémental de classes utilisant CIFAR-100 et ImageNet-R avec un nombre variable de tâches ($T \in \{5, 20, 50\}$).

• Contrôlabilité : En variant un coefficient de scaling $\alpha$ dans le vecteur de préférence, la méthode a réussi à déplacer le focus de performance. Des valeurs élevées de $\alpha$ ont priorisé les tâches antérieures, tandis que des valeurs faibles de $\alpha$ ont priorisé les tâches ultérieures, démontrant la capacité à échanger la performance entre les tâches.
• Adaptation à l'Environnement Cible : Dans des expériences simulant des environnements cibles diversifiés (mélanges équilibrés et déséquilibrés de tâches), MAGMAX Réglable utilisant le contrôle de similarité basé sur les étiquettes a constamment atteint une précision moyenne supérieure ou comparable par rapport aux méthodes de référence (MAGMAX, TIES-Merging, Model Soup et mélange aléatoire).
• Robustesse : Le contrôle de préférence basé sur les étiquettes a montré une robustesse supérieure face au nombre variable de tâches dans l'environnement cible par rapport à l'approche basée sur l'OT, en particulier lorsque l'environnement cible impliquait un petit nombre de tâches.

Signification et Revendications

L'article revendique que MAGMAX Réglable offre une solution pratique pour déployer des modèles d'apprentissage continu dans des scénarios où les priorités de tâches diffèrent selon les applications ou les utilisateurs. En permettant un contrôle conscient des préférences sans le coût computationnel du réentraînement à partir de zéro, la méthode permet aux praticiens disposant de ressources limitées de personnaliser les modèles fusionnés pour des besoins de déploiement spécifiques. Les auteurs notent que si la méthode répond efficacement au besoin d'une priorisation flexible des tâches, elle dépend de la disponibilité de métadonnées pour approximer l'environnement cible et ne prend pas actuellement en compte les dépendances entre les tâches d'entraînement.