Résumé Technique : Extension du Trick du Noyau aux Fonctions d'Influence

Énoncé du Problème

Les fonctions d'influence, initialement développées en statistiques robustes et adaptées au machine learning par Koh et Liang [1], fournissent une méthode pour estimer comment les paramètres et les sorties d'un modèle changent lorsque des points de données d'entraînement sont perturbés ou supprimés. Cette capacité est cruciale pour l'oubli machine (machine unlearning), l'interprétabilité et la vie privée. Cependant, l'application standard des fonctions d'influence aux modèles d'apprentissage profond à grande échelle se heurte à un goulot d'étranglement significatif en matière d'évolutivité.

Le défi computationnel central réside dans le Produit Vecteur-Hessien Inverse (IHVP), $H_{\theta^*}^{-1} \nabla_\theta L_{D_f}(\theta^*)$, requis pour approximer le changement de paramètres ($\theta_r^*$) après la suppression d'un ensemble à oublier $D_f$. Dans la formulation originale, la matrice Hessienne $H_{\theta^*}$ évolue avec le carré du nombre de paramètres du modèle ($d_\theta$). Pour les grands modèles (par exemple, les réseaux de neurones profonds), la matérialisation et l'inversion de cette matrice sont irréalisables. Bien que des méthodes itératives comme les gradients conjugués (CG) évitent de matérialiser la Hessienne, elles reposent toujours sur des Produits Vecteur-Hessien (HVP) qui évoluent avec la taille du modèle, rendant le processus computationnellement coûteux lorsque $d_\theta$ est grand par rapport à la taille de l'ensemble de données.

Méthodologie

Les auteurs proposent une représentation duale des fonctions d'influence qui déplace la complexité computationnelle de l'échelle de la taille du modèle ($d_\theta$) vers l'échelle de la taille de l'ensemble de données ($|D|$) et de la dimension de sortie ($d_{out}$). Cette approche est fondée sur la théorie des modèles linéarisables et le Noyau Tangent Neural (NTK).

1. Linéarisation et Reparamétrisation

La méthode suppose que le modèle $f(\cdot, \theta)$ est « linéarisable », ce qui signifie que son comportement tout au long de l'entraînement peut être approximé par sa linéarisation autour d'un point de référence $\theta'$ (généralement l'initialisation). Les auteurs définissent un modèle linéarisé $f^{lin}$ et un risque empirique régularisé correspondant $\hat{L}_D(\theta)$.

La clé de la dérivation est la Proposition 3.1, qui établit que pour n'importe quel sous-ensemble de données, la différence entre les paramètres optimaux du modèle linéarisé et l'ensemble complet de données réside dans un sous-espace linéaire spécifique de $\mathbb{R}^{d_\theta}$ :
$$\hat{\theta}_r^* - \hat{\theta}^* = \nabla_\theta f(X, \theta')^\top \Delta \alpha_r^*$$
où $\Delta \alpha_r^* \in \mathbb{R}^{d_{out}|D|}$.

Cette observation permet aux auteurs de reparamétrer le problème d'optimisation. Au lieu d'optimiser sur l'espace de paramètres de haute dimension $\theta$, ils optimisent sur la variable duale $\Delta \alpha$. Le problème contraint en $\theta$ est transformé en un problème non contraint dans l'espace $\Delta \alpha$ :
$$\tilde{L}_D(\Delta \alpha) := \frac{1}{|D|} \sum_{(x,y) \in D} \left( \ell(g^{lin}(x, \Delta \alpha), y) + \frac{\lambda}{2} \|\phi(\Delta \alpha) - \theta'\|_2^2 \right)$$
où $g^{lin}$ implique le NTK empirique, $K(\cdot, \cdot) = \nabla_\theta f(\cdot, \theta') \nabla_\theta f(\cdot, \theta')^\top$.

2. Fonctions d'Influence Duales

Dans l'espace $\Delta \alpha$, l'influence de la suppression de points de données est approximée en résolvant un système linéaire impliquant la Hessienne du risque dual, $H_{\Delta \alpha^*}$. Crucialement, cette Hessienne évolue avec $d_{out}|D| \times d_{out}|D|$ plutôt qu'avec $d_\theta \times d_\theta$.

L'approximation pour le changement de la variable duale est :
$$\Delta \alpha_r^* \approx \frac{|D_f|}{|D|} H_{\Delta \alpha^*}^{-1} \nabla_{\Delta \alpha} \tilde{L}_{D_f}(0)$$
Les auteurs montrent que ce système peut être résolu efficacement. Spécifiquement, si l'ensemble à oublier $D_f$ est grand, la dimension du système linéaire à résoudre diminue en réalité, car les composantes connues de $\Delta \alpha_r^*$ correspondant à $D_f$ peuvent être isolées.

3. Estimation des Changements

Une fois $\Delta \alpha_r^*$ obtenu, les changements dans les sorties du modèle et la perte pour les points de test peuvent être estimés en utilisant le NTK :

• Changement de Sortie : $f^{lin}(x_t, \hat{\theta}_r^*) - f^{lin}(x_t, \hat{\theta}^*) \approx K(x_t, X) \Delta \alpha_r^*$
• Changement de Perte : Estimé via le gradient de la perte duale par rapport à $\Delta \alpha$.

Cette formulation permet le calcul de l'influence pour des modèles avec un nombre infini de paramètres, à condition que le NTK admette une forme analytique.

Contributions Clés

1. Représentation Duale : L'article introduit une formulation duale des fonctions d'influence où la complexité computationnelle dépend de la taille de l'ensemble de données ($|D|$) et de la dimension de sortie ($d_{out}$) plutôt que du nombre de paramètres du modèle ($d_\theta$).
2. Efficacité pour les Grands Modèles : La méthode offre une alternative efficace aux fonctions d'influence originales lorsque $d_\theta \gg d_{out}|D|$. Elle évite la nécessité de calculer des HVP par rapport à l'espace de paramètres massif.
3. Applicabilité aux Largeurs Infinies : Le cadre étend l'analyse d'influence aux réseaux de neurones de largeur infinie en exploitant le NTK analytique, permettant l'estimation des changements de paramètres et de sorties dans la limite d'un nombre infini de paramètres.
4. Raccourci Computationnel : Les auteurs identifient que dans l'espace dual, la taille du système linéaire diminue à mesure que la taille de l'ensemble à oublier ($|D_f|$) augmente, offrant un gain d'efficacité contre-intuitif pour les tâches d'oubli à grande échelle.

Résultats Expérimentaux

Les auteurs valident leur méthode sur des versions linéarisées de Réseaux de Neurones Fully Connected (FCNN) et Convolutionnels (CNN) entraînés sur des sous-ensembles de MNIST et CIFAR-10.

• Temps d'Exécution : La méthode dans l'espace $\Delta \alpha$ surpasse constamment la méthode originale dans l'espace $\theta$ dans les scénarios de « démarrage à froid » (première exécution) et de « démarrage à chaud » (exécution répétée). L'écart de performance s'élargit à mesure que la taille du modèle augmente par rapport à l'ensemble de données.
• Précision : La performance d'oubli (mesurée par la distance relative $\ell_2$ entre les paramètres oubliés et réentraînés, et la précision sur l'ensemble à oublier) est comparable à la méthode originale.
• Effet de la Régularisation ($\lambda$) : Les expériences sur des modèles non linéaires montrent que des valeurs plus élevées de la constante de régularisation $\lambda$ font que la dynamique d'entraînement des modèles non linéaires ressemble davantage à leurs linéarisations. Cela améliore la fiabilité de la représentation duale pour les modèles non linéaires, bien que cela se fasse au prix d'une précision de test plus faible.
• Réseaux de Largeur Infinie : La méthode estime avec succès les changements de sortie et de perte pour des FCNN et CNN de largeur infinie, les estimations correspondant étroitement aux changements réels calculés via la Descente de Gradient par Noyau.

Importance et Revendications

L'article revendique que la représentation duale offre une solution évolutive pour l'oubli machine et l'analyse d'influence dans des contextes où la taille du modèle est prohibitivement grande pour les méthodes traditionnelles basées sur l'espace des paramètres.

• Évolutivité : Elle permet l'estimation de l'influence pour des modèles où l'évaluation des fonctions d'influence originales dans l'espace des paramètres est irréalisable.
• Extension Théorique : Elle fournit un pont théorique pour analyser l'influence dans la limite de largeur infinie des réseaux de neurones.
• Limites : Les auteurs déclarent explicitement que la méthode est limitée aux modèles linéarisables. Bien qu'une forte régularisation ($\lambda$) puisse approximer des modèles non linéaires comme linéarisables, cela dégrade les performances du modèle. De plus, la méthode nécessite de matérialiser ou d'opérer implicitement sur la matrice NTK, qui évolue avec le produit de la taille de l'ensemble de données et de la dimension de sortie, devenant potentiellement un goulot d'étranglement pour des très grands ensembles de données avec de nombreuses classes.

Le travail ne revendique pas de résoudre le problème d'oubli pour tous les modèles d'apprentissage profond, mais fournit plutôt un outil spécialisé et efficace pour des scénarios où l'ensemble de données est petit par rapport à la capacité du modèle ou où le modèle peut être efficacement traité comme linéaire.