Résumé Technique : Le dilemme oubli-rétention : Théorie de l'oubli certifié dans l'apprentissage continu

Formulation du Problème

Le papier traite de l'intersection entre l'oubli machine (Machine Unlearning) et l'apprentissage continu (Continual Learning - CL). Alors que l'oubli machine vise à supprimer l'influence de données spécifiques pour satisfaire aux réglementations sur la vie privée (par exemple, le « droit à l'oubli »), et que le CL vise à apprendre des tâches séquentielles sans oubli catastrophique, la combinaison des deux présente un défi théorique et pratique fondamental.

Les algorithmes d'oubli certifié existants (par exemple, les méthodes basées sur le Hessien ou le gradient) sont conçus pour des contextes statiques. Ils échouent dans les contextes de CL car :

1. Évolution complexe du modèle : Les modèles de CL évoluent dynamiquement sur des tâches non-i.i.d., encodant les informations passées de manières complexes que les algorithmes certifiés actuels ne peuvent pas effectivement inverser.
2. Objectifs conflictuels : L'objectif du CL est d'empêcher l'oubli (préserver la connaissance historique), tandis que l'oubli nécessite un oubli ciblé.
3. Contraintes de stockage et d'accès : De nombreuses méthodes d'oubli certifié nécessitent la rétention complète des données ou échouent à gérer des séquences de demandes d'oubli arbitraires et asynchrones, courantes dans les environnements dynamiques.

Les auteurs formalisent le problème du CL-Unlearning (CLU) comme un processus séquentiel en deux étapes :

1. Étape d'apprentissage : Le modèle est mis à jour sur une nouvelle tâche $D_t$ en utilisant un schéma régularisé par $\ell_2$ pour atténuer l'oubli.
2. Étape d'oubli : Lors de la réception d'une demande de suppression d'un ensemble de tâches passées $S_t$, le système doit produire un modèle indiscernable de celui qui aurait été réentraîné sur les données restantes, satisfaisant des garanties d'oubli certifié $(\epsilon, \delta)$.

La principale métrique de performance est le Risque Excédentaire Post-Oubli ($E_{LU}$), qui se décompose en deux termes concurrents :

• Perte d'oubli ($E_U$) : L'erreur introduite par l'approximation du modèle réentraîné (le coût de l'« oubli »).
• Risque excédentaire de CL ($E_L$) : L'erreur encourue par l'algorithme de CL sur les tâches retenues (le coût de la « rétention »).

Méthodologie

Le papier établit un fondement théorique pour le CLU et propose trois approches algorithmiques :

1. Fondement Théorique

Les auteurs dérivent une borne supérieure pour le risque excédentaire de CL ($E_L$) dans les modèles non-convexes sous régularisation $\ell_2$. Ils prouvent que le paramètre de régularisation optimal $\lambda$ pour minimiser le risque excédentaire de CL peut différer considérablement de celui requis pour minimiser la perte d'oubli, mettant en évidence le compromis inhérent.

2. CLU basé sur le Gradient (Oubli Naturel)

Cette approche tire parti du phénomène d'« oubli naturel » inhérent au CL, où l'influence des tâches passées lointaines décroît au fil du temps en raison des mises à jour séquentielles.

• Mécanisme : Au lieu d'étapes d'oubli explicites, la méthode ajoute un bruit gaussien aux paramètres du modèle. L'échelle du bruit est calibrée sur la base d'une borne théorique supérieure ($\gamma_t$) de l'erreur d'approximation, qui quantifie l'influence résiduelle des tâches supprimées.
• Avantage : Elle nécessite zéro surcharge de stockage au-delà de l'état actuel du modèle.
• Limitation : Elle est moins efficace pour les tâches récentes où l'oubli naturel n'a pas encore eu lieu, entraînant une perte d'oubli plus élevée.

3. CLU basé sur le Hessien

Cette approche adapte les méthodes d'oubli certifié de second ordre au contexte du CL pour parvenir à un oubli précis et ciblé.

• Mécanisme : Elle utilise des informations de Hessien stockées (ou des approximations comme le Gauss-Newton ou les Hessiens diagonaux) et des mises à jour du modèle ($\Delta_t$) pour calculer un terme de correction ($\bar{\Delta}_t$). Ce terme approxime le modèle réentraîné en une seule étape, même pour des séquences d'oubli arbitraires et asynchrones.
• Défi : Gérer les demandes asynchrones crée un « désordre temporel », où l'influence des suppressions passées se propage dans les mises à jour suivantes. Les auteurs dérivent un terme de correction récursif pour tenir compte de cela.
• Coût : Elle entraîne une surcharge de stockage proportionnelle au nombre d'événements d'oubli et à la dimension de l'approximation du Hessien.

4. Stratégie Hybride (Hessien Amélioré par l'Oubli)

Pour équilibrer les coûts de stockage et la précision, les auteurs proposent une stratégie hybride.

• Mécanisme : Elle utilise la méthode basée sur le Hessien pour les demandes d'oubli récentes (où l'oubli naturel est faible) et s'appuie sur l'oubli naturel pour les tâches passées lointaines.
• Implémentation : L'algorithme rejette les informations de Hessien stockées pour les tâches plus anciennes qu'un certain seuil temporel (déterminé par l'écart entre les événements d'oubli).
• Bénéfice : Cela réduit la complexité de stockage de $O(t \cdot d)$ à $O(\max(t_i - t_{i-1}) \cdot d)$, où $t_i$ sont les temps d'oubli, tout en maintenant un faible taux d'erreur d'oubli.

Résultats Clés

Des expériences ont été menées sur MNIST, CIFAR-10 et CIFAR-100 en utilisant des architectures ResNet-18 et des backbones CNN avec des séquences de tâches non-i.i.d.

1. Sensibilité à l'ordre : Les bornes théoriques et les expériences confirment que les séquences d'oubli synchrones-avancées (où les tâches supprimées sont strictement plus récentes que le dernier événement d'oubli) produisent des erreurs d'approximation plus faibles que les séquences asynchrones. Les demandes asynchrones accumulent des termes d'erreur supplémentaires dus au désordre temporel.
2. Compromis Précision vs Stockage :
   • Oubli Naturel (basé sur le gradient) : Atteint le stockage le plus bas (proche de zéro) mais souffre de l'erreur d'approximation la plus élevée, particulièrement pour les tâches récentes.
   • Hessien Pur : Atteint des erreurs d'approximation proches d'un réentraînement complet (ex: ~0,009 sur CIFAR-100) mais nécessite une mémoire importante (jusqu'à 5 fois supérieure à l'oubli naturel dans la variante Gauss-Newton).
   • Hybride (Amélioré par l'Oubli) : Réduit considérablement l'utilisation de la mémoire (comparable au Hessien diagonal) avec seulement une augmentation modeste de l'erreur d'approximation (~0,045), offrant un juste milieu pratique.
3. Garanties Certifiées : Les bornes supérieures théoriques ($\gamma_T$) ont été validées par rapport aux erreurs empiriques. Les bornes tiennent pour les méthodes basées sur le gradient et le Hessien, garantissant un oubli certifié $(\epsilon, \delta)$.
4. Compromis Rétention-Oubli : L'augmentation de la force de régularisation $\lambda$ réduit l'erreur d'oubli (en limitant la dérive des paramètres) mais dégrade la précision de test du CL pur, validant empiriquement la tension théorique entre rétention et oubli.

Signification et Revendications

Le papier affirme fournir le premier fondement théorique reliant l'oubli certifié et l'apprentissage continu. Sa signification réside dans :

• Formalisation du Compromis : Il définit rigoureusement le « dilemme oubli-rétention » en décomposant le risque post-oubli en risque excédentaire de CL et perte d'oubli, prouvant que minimiser l'un exacerbe souvent l'autre.
• Bornes Théoriques : Il établit les premières bornes de risque excédentaire pour le CL régularisé par $\ell_2$ dans des contextes non-convexes et étend la théorie de l'oubli certifié à des schémas de requêtes dynamiques et séquentielles.
• Algorithmes Pratiques : Il introduit une stratégie hybride qui résout le goulot d'étranglement du stockage des méthodes d'oubli de second ordre sans sacrifier les garanties théoriques de l'oubli certifié.
• Référentiel (Benchmarking) : Il fournit une base de référence rigoureuse (Oubli Naturel) et démontre que, bien que simple, celle-ci est insuffisante pour les tâches récentes, nécessitant les améliorations basées sur le Hessien proposées.

Les auteurs concluent que bien que leur travail se concentre sur l'algorithme de CL fondamental régularisé par $\ell_2$, il ouvre la voie à l'extension de la théorie de l'oubli certifié à des méthodes de CL plus sophistiquées, telles que les approches basées sur la mémoire ou l'Elastic Weight Consolidation (EWC).