Résumé Technique : Forme et Fonction : L'Oubli Machine comme Problème d'Alignement des États

Définition du Problème

L'article comble une lacune critique dans l'évaluation de l'oubli machine : l'accent mis sur la performance du modèle (fonction) néglige souvent la géométrie interne et l'état du modèle (forme). Ceci est particulièrement aigu pour les optimiseurs à état comme l'online L-BFGS, qui maintiennent non seulement des vecteurs de paramètres ($w_t$) mais aussi une mémoire finie de paires de courbure ($Z_t$) utilisées pour approximer l'inverse du Hessien.

Les auteurs soutiennent que les méthodes d'oubli actuelles, qui traitent souvent l'oubli comme un problème de correction de paramètres, sont insuffisantes. Dans les optimiseurs à état, les données supprimées influencent la trajectoire des futures paires de courbure et des directions de mise à jour, même après que les paires de courbure explicites contenant ces données aient tourné hors de la fenêtre de mémoire. Par conséquent, un modèle qui a « oublié » des données dans ses paramètres peut toujours posséder un état couplé (paramètres + mémoire) géométriquement incohérent avec l'état contrefactuel qui aurait émergé si les données n'avaient jamais été traitées. Le problème central est reformulé comme un problème d'alignement d'état contrefactuel : l'objectif est d'aligner l'état réel de l'optimiseur avec l'état généré par un flux d'événements édité par une suppression.

Méthodologie

Cadre Théorique

L'article formule l'oubli pour l'online L-BFGS (o-LBFGS) dans un cadre d'apprentissage séquentiel.

• Flux d'Événements : Les auteurs distinguent entre le flux d'événements réel ($H_t$) et le flux contrefactuel édité par suppression ($H_t^{-D}$), qui exclut des échantillons spécifiques.
• Définition de l'État : L'état de l'apprenant est défini comme $\theta_t = (w_t, Z_t)$, où $Z_t$ contient les paires de courbure $\{(v_i, r_i)\}$.
• Erreur d'Alignement d'État : Une nouvelle métrique, $\Delta_t$, est introduite pour mesurer la distance entre l'état oublié et l'état de l'oracle contrefactuel.
• Bornes Récursives : Sous les hypothèses de convexité forte, de régularité, de gradients bornés et de mises à jour contractantes, les auteurs dérivent une borne récursive sur la déviation d'état. Ils démontrent que l'erreur se compose de deux composantes :
  1. Mémoire Directe : Paires de courbure explicites contenant des données supprimées, qui disparaissent après $\tau$ mises à jour (la taille de la fenêtre de mémoire).
  2. Mémoire Indirecte : Influence résiduelle persistant à travers la trajectoire des paramètres, générant de nouvelles paires de courbure et de nouvelles directions de mise à jour. Cette influence décroît géométriquement mais persiste au-delà de la fenêtre de mémoire directe.

Certificats pour l'Oubli

L'article propose une méthode pour l'Oubli Certifié par l'État. Contrairement aux travaux antérieurs qui calibrent le bruit uniquement sur la sensibilité des paramètres, cette approche calibre l'injection de bruit sur la borne totale de déviation d'état ($\alpha_t$). Cette borne prend en compte à la fois la perturbation initiale et la mémoire indirecte résiduelle, garantissant que l'état oublié randomisé est indiscernable de l'idéal contrefactuel dans le cadre d'une garantie probabiliste définie.

Benchmark Expérimental

Les auteurs introduisent un benchmark conscient de l'état qui évalue les interventions d'oubli selon quatre métriques d'erreur distinctes :

1. Erreur de Paramètres : Déviation du vecteur de poids.
2. Erreur de l'Opérateur de Mémoire : Déviation de la mémoire de courbure/approximation de l'inverse du Hessien.
3. Erreur d'État Combiné : La déviation conjointe de $(w_t, Z_t)$.
4. Erreur de Direction de Mise à Jour : La divergence dans les futures directions de mise à jour par gradient.

Les interventions testées incluent :

• Rejeu Oracle : Réentraînement sur le flux contrefactuel exact (vérité terrain).
• Rejeu de Fenêtre : Rejouer une fenêtre récente d'événements pour reconstruire l'état.
• Correction Uniquement Paramètres : Ajustement de $w_t$ tout en laissant $Z_t$ intact.
• Correction Uniquement Mémoire : Réinitialisation ou suppression des paires de courbure contaminées tout en laissant $w_t$ intact.
• Suppression de Paires Contaminées : Suppression de paires de courbure spécifiques.
• Suppression et Remplissage : Rejet des paramètres et de la mémoire, puis poursuite.

Résultats Clés

1. L'Alignement des Paramètres Sous-estime la Persistance

Les expériences sur des surfaces de perte quadratiques et ridge-logistiques démontrent que la correction uniquement du vecteur de paramètres ($w_t$) échoue à réaliser un véritable oubli. Bien que les interventions uniquement sur les paramètres puissent réduire l'erreur de paramètres, elles laissent la mémoire de courbure ($Z_t$) contaminée. Cela crée un « état hybride » où les paramètres supposent que les données ont été supprimées, mais où la mémoire encode encore des directions de mise à jour basées sur la trajectoire originale. Cet désalignement entraîne la plus grande erreur de trajectoire future parmi les méthodes non-oracles, dépassant souvent l'erreur de ne faire aucune correction.

2. Mémoire Indirecte et Horizon de Suppression

L'étude confirme que les données supprimées persistent via une mémoire indirecte. Même après que les paires de courbure contaminées aient tourné hors de la fenêtre L-BFGS (nettoyage de la mémoire directe), la trajectoire des paramètres altérée génère de nouvelles paires de courbure qui portent le « fantôme » des données supprimées.

• Compromis Taille de Mémoire : Des fenêtres de mémoire plus grandes ($\tau$) retiennent la contamination directe plus longtemps mais ralentissent également le taux d'alignement d'état. Des fenêtres plus courtes raccourcissent l'horizon de suppression mais peuvent compromettre l'efficacité de l'optimisation.
• Dynamique de Décroissance : La déviation d'état ne disparaît pas immédiatement lors du nettoyage de la mémoire ; elle décroît géométriquement au fil du temps, dépendant de la contractivité de l'optimiseur.

3. Insuffisance des Interventions Locales

Les éditions locales (modification uniquement des paramètres ou uniquement de la mémoire) échouent à reconstruire l'état contrefactuel.

• Réinitialisation Uniquement Mémoire : Bien qu'elle supprime la contamination directe, elle échoue à reconstruire la trajectoire des paramètres qui aurait naturellement généré la mémoire contrefactuelle, entraînant des erreurs significatives de direction de mise à jour.
• Suppression et Remplissage : La suppression agressive des données peut être préjudiciable, éloignant l'optimiseur de la trajectoire contrefactuelle davantage que de ne rien faire, car elle détruit des informations utiles partagées par les histoires réelle et contrefactuelle.

4. Succès du Rejeu Stratégique

Le Rejeu de Fenêtre est la seule méthode non-oracle démontrée comme approchant de manière fiable une récupération exacte. En reconstruisant l'état conjoint paramètres-mémoire à partir d'une fenêtre de données cohérente avec la demande de suppression, il aligne à la fois la forme et la fonction. Son efficacité est maximale lorsque les données supprimées tombent dans la fenêtre de rejeu. À mesure que les données passent de la mémoire directe à la mémoire indirecte, l'efficacité du rejeu diminue, mais elle reste supérieure aux corrections partielles.

Signification et Revendications

L'article revendique que l'oubli machine pour les optimiseurs à état est fondamentalement un problème de reconstruction d'état, et non simplement un problème de correction de paramètres.

• Changement Ontologique : Les auteurs soutiennent que l'oubli doit être évalué en fonction de la capacité du système à assumer la « forme et la fonction » de l'idéal contrefactuel. Un modèle qui performe bien mais possède un état interne désaligné n'est pas véritablement oublié.
• Nouvelle Norme d'Évaluation : L'article introduit des métriques conscientes de l'état qui révèlent l'insuffisance des méthodes d'évaluation actuelles centrées sur les paramètres, qui manquent souvent les informations résiduelles stockées dans la mémoire géométrique de l'optimiseur.
• Contribution Théorique : Il fournit les premières bornes récursives sur la déviation d'état contrefactuel pour l'online L-BFGS, distinguant les effets de mémoire directe et indirecte, et offre un cadre pour l'oubli certifié par l'état qui prend en compte l'état complet de l'optimiseur.
• Implication Pratique : Les résultats suggèrent que l'oubli fiable dans des environnements en ligne et contraints par la mémoire nécessite soit une reconstruction complète de l'état (via le rejeu), soit une compréhension plus sophistiquée de la façon dont la mémoire de courbure propage les effets de suppression, plutôt qu'une simple perturbation des paramètres.

Les auteurs maintiennent une modestie concernant leur portée, notant que leurs bornes théoriques reposent sur des hypothèses de convexité et que leurs expériences utilisent des flux synthétiques, laissant l'application aux modèles déployés à grande échelle, non convexes, comme travail futur.