Résumé technique : Sidecars de processus pour la révocabilité de l'état appris

Énoncé du problème

Les modèles de langage de grande taille (LLM) déployés subissent souvent un pipeline d'entraînement multi-étapes : un modèle de base est adapté pour des compétences publiques, puis affiné sur des faits privés ou propriétaires (la « phase de mémoire »), et enfin soumis à un entraînement de sécurité (la « phase de sécurité ») pour apprendre des comportements de refus concernant ces entités spécifiques. Un défi critique surgit lorsque la mémoire privée doit être révoquée (par exemple, pour la conformité à la confidentialité) après que la phase de sécurité a été appliquée.

L'objectif est de produire un « oracle contrefactuel » ($\theta_{AS}$) : un modèle qui a subi exactement le même entraînement de sécurité que l'artefact déployé ($\theta_{AMS}$) mais qui n'a jamais appris la mémoire privée en premier lieu. L'édition de l'espace des poids standard, spécifiquement l'arithmétique de tâches (soustraire le delta de mémoire $\Delta M = \theta_{AM} - \theta_A$ de $\theta_{AMS}$), échoue dans ce contexte. Cela est dû au fait que l'optimiseur de sécurité agit comme une application non linéaire $T$ qui « transporte » la direction de la mémoire. La direction présente dans le modèle final est $DT(\theta_A)\Delta M$, et non simplement $\Delta M$. L'arithmétique de tâches naïve suppose implicitement que la jacobienne $DT(\theta_A)$ est l'identité, ignorant comment l'entraînement de sécurité courbe la direction de la mémoire.

Méthodologie : Sidecars de processus

Le papier introduit les sidecars de processus, une famille d'éditions à deux coefficients conçue pour estimer et annuler la direction de mémoire transportée. L'édition est définie par :
$$\hat{\theta}(\lambda, \gamma) = \theta_{AMS} - \lambda \Delta M - \gamma \hat{R}_{S \leftarrow M}$$
où $\hat{R}_{S \leftarrow M}$ est une estimation de la direction de transport résiduelle.

Estimation de la direction transportée

La méthode estime le produit jacobien-vecteur (JVP) $J_S(\Delta M) = DT(\theta_A)\Delta M$ en utilisant une sécante centrée à travers le processus réalisé de l'entraînement de sécurité futur. Au lieu de calculer la jacobienne exacte de toute la trace d'optimisation AdamW, la méthode calcule :
$$\hat{J}_{S,\epsilon}(\Delta M) = \frac{T(\theta_A + \epsilon \Delta M) - T(\theta_A - \epsilon \Delta M)}{2\epsilon}$$
L'implémentation fixe $\epsilon = 1$, correspondant à l'échelle naturelle de l'édition de mémoire. Puisque $T(\theta_A + \Delta M) = \theta_{AMS}$ est l'artefact expédié, la méthode ne nécessite que le calcul d'une trace de sécurité supplémentaire à $\theta_A - \Delta M$. Le sidecar résiduel est alors $\hat{R}_{S \leftarrow M} = \hat{J}_{S,\epsilon}(\Delta M) - \Delta M$.

La famille bidimensionnelle

La famille d'édition recherche deux coefficients :

1. $\lambda$ : Contrôle la soustraction du delta de mémoire brut.
2. $\gamma$ : Contrôle la soustraction de la direction de transport estimée.

Cette famille englobe :

• L'arithmétique de tâches naïve : $\gamma = 0$.
• La ligne Process-JVP : $\gamma = \lambda$ (soustraction de la direction transportée complète).
• La famille 2D complète : Permet à $\gamma$ de varier indépendamment, permettant des corrections hors-diagonale qui tiennent compte des effets de courbure finie dans le paysage de validation.

Un sélecteur déployable choisit $(\lambda, \gamma)$ à partir d'une grille mise en cache basée sur des métriques de validation (AUC du secret, rétention des compétences et marge de refus) sans accéder à l'oracle contrefactuel ou aux données de test.

Contributions clés

1. Preuve théorique de la nécessité du premier ordre

Le papier prouve que chaque fois que l'entraînement de sécurité courbe la direction de la mémoire (c'est-à-dire que $DT(\theta_A)\Delta M \neq \Delta M$), toute édition scalaire restreinte à la ligne de mémoire brute laisse une erreur contrefactuelle de premier ordre.

• Théorème 2 : Montre que l'édition exacte du sidecar à $(\lambda, \gamma) = (1, 1)$ récupère l'oracle contrefactuel $\theta_{AS}$ jusqu'à une erreur de second ordre ($O(\|\Delta M\|^2$), en traitant AdamW comme une application à états augmentés sur les paramètres et les moments.
• Théorème 3 : Prouve que pour toute édition d'arithmétique de tâches scalaire, l'erreur est bornée inférieurement par la composante de la direction transportée orthogonale à la ligne de mémoire brute. Le sidecar de processus fournit précisément cette composante manquante.

2. Avantage de second ordre de la famille 2D

Le papier démontre que la famille 2D complète offre des avantages par rapport à la ligne Process-JVP ($\gamma = \lambda$) au second ordre.

• Théorème 4 : Établit une frontière quadratique locale. Si l'objectif de validation possède des propriétés de courbure spécifiques (anisotropie de la Hessienne et projections hors-diagonales), la famille 2D peut trouver une correction hors-diagonale ($\zeta = \lambda - \gamma \neq 0$) qui améliore strictement la ligne Process-JVP 1D. Cet avantage est piloté par la sélection de validation à courbure finie, et non seulement par la annulation de premier ordre.

3. Critique de l'unlearning par gradient ascendant

Le papier identifie un mode de défaillance locale pour l'unlearning par gradient ascendant (FT-unlearn).

• Proposition 5 : Une fois que l'entraînement de sécurité réduit le gradient de sécurité de premier ordre, les directions d'ascension de la mémoire avec une courbure de sécurité positive font augmenter la perte de sécurité au second ordre. Cela explique pourquoi le FT-unlearn provoque souvent l'effondrement du comportement de refus lors de la tentative d'oubli.

Résultats expérimentaux

La méthode a été évaluée sur trois échelles de modèles (Qwen-2.5-0.5B, Qwen-2.5-1.5B, Llama-3.2-1B) et une échelle de 9B avec 20 essais indépendants par échelle.

• Préservation du refus : Le sidecar de processus 2D sélectionné par validation a amélioré la fermeture du refus (récupération de la marge de refus de l'oracle de sécurité uniquement) par rapport à l'arithmétique de tâches naïve dans 60/60 essais.
• Oubli du secret : Les deux méthodes ont obtenu un AUC de secret comparable (distinguabilité proche du hasard), indiquant que l'amélioration du refus n'a pas été obtenue au détriment de l'oubli.
• 2D vs 1D : La famille 2D complète a battu la ligne Process-JVP appariée (tranche diagonale $\gamma = \lambda$) dans 60/60 essais appariés.
• Signification statistique : L'agrégation par clusters de modèles-données a produit 15 moyennes de blocs positives avec un test de signe exact $p = 2^{-15} \approx 3.05 \times 10^{-5}$. Une réplication de confirmation fraîche sur des graines non vues (70 essais au total) a reproduit l'effet avec $p \approx 9.5 \times 10^{-7}$.
• Performance de référence : L'unlearning par gradient ascendant (FT-unlearn) a entraîné une fermeture de refus négative (ex: -15 à -55), indiquant un effondrement complet de la politique de sécurité. Les baselines de fusion de modèles (TIES, DARE) ont échoué à récupérer la direction transportée, héritant de l'incomplétude de premier ordre de l'arithmétique de tâches naïve.

Signification et revendications

Le papier affirme que les sidecars de processus sont la famille d'édition géométriquement correcte pour révoquer la mémoire apprise sous un entraînement de sécurité ultérieur.

• Correction de premier ordre : Ils sont nécessaires pour annuler la direction de mémoire transportée, une tâche que l'arithmétique de tâches scalaire ne peut accomplir.
• Précision de second ordre : Le sidecar idéal récupère l'oracle contrefactuel jusqu'à une erreur de second ordre.
• Robustesse empirique : La famille 2D fournit des gains pratiques par rapport aux lignes 1D en exploitant la géométrie de validation à courbure finie, surpassant systématiquement les baselines de l'arithmétique de tâches naïve et de la Process-JVP à travers différentes échelles de modèles et architectures.
• Viabilité du déploiement : La méthode fonctionne comme une édition sur place en utilisant uniquement l'artefact expédié, le delta de mémoire et une trace de sécurité supplémentaire, sans nécessiter de réentraînement ni d'accès à l'oracle contrefactuel.

Les auteurs soulignent que le coefficient hors-diagonal ($\zeta$) est une quantité locale à l'essai déterminée par la géométrie de validation, et non une loi d'échelle universelle, et que le succès de la méthode repose sur la « trace réalisée » spécifique du processus d'entraînement de sécurité.