Résumé technique : Temper-Then-Tilt : Unapprentissage principalisé pour les modèles génératifs par tempérance et guidage par classificateur

1. Énoncé du problème

Le papier traite de l'apprentissage de l'oubli (machine unlearning) dans les grands modèles génératifs, spécifiquement la tâche consistant à supprimer l'influence d'un « ensemble à oublier » ($D_f$) d'un modèle entraîné sur un ensemble de données complet $D = D_r \sqcup D_f$ (où $D_r$ est l'ensemble à conserver) sans réentraîner le modèle à partir de zéro.

Les auteurs cadrent l'oubli non pas comme un problème de mise à jour de paramètres, mais comme une tâche de correction de distribution. Ils supposent que le modèle original approxime une distribution de vérité terrain $p$ sur $D$, qui est un mélange de la distribution cible de rétention $p_r$ et de la distribution d'oubli $p_f$. L'objectif est d'apprendre à échantillonner de $p_r$ en ayant accès à $p$, $D_r$ et $D_f$.

Le défi central identifié est que l'oubli guidé par classificateur standard (incliner la distribution de base $p$ à l'aide d'un classificateur pour distinguer $D_r$ de $D_f$) échoue lorsque la distribution d'oubli $p_f$ est hautement concentrée (pics nets, à haute confiance). Dans les régimes à échantillons finis, même de petites erreurs de classification dans de tels contextes peuvent entraîner une fuite d'information significative, car les modes nets de $p_f$ ne sont pas suffisamment supprimés par le classificateur seul.

2. Méthodologie : T3-Unlearning

Les auteurs proposent le Temper-Then-Tilt Unlearning (T3-Unlearning), une procédure d'inférence en deux étapes qui gèle le modèle de base et applique une stratégie de repondération légère :

1. Tempérance (Tempering) : La distribution de base $p$ est d'abord « tempérée » en élevant sa puissance à $1/T$ (où $T \geq 1$). Cette opération aplatit les pics de haute confiance dans la distribution, réduisant l'ampleur de la correction requise par l'étape suivante.
   $$p^{(T)}(z) \propto p(z)^{1/T}$$
2. Inclinaison (Tilting) : Un classificateur léger $\hat{f}$, entraîné pour distinguer les échantillons de rétention ($S=1$) des échantillons d'oubli ($S=0$), est utilisé pour incliner la distribution tempérée. L'estimateur final est :
   $$\hat{p}_r^{(T)}(z) \propto p(z)^{1/T} \cdot \hat{f}(z)$$

Implémentation pour les LLM :
Pour les grands modèles de langage (LLM), la méthode gèle les paramètres pré-entraînés $\theta^*$. Une petite tête linéaire de faible rang est entraînée au-dessus des états cachés agrégés du modèle gelé pour prédire la probabilité a posteriori $P(S=1 | x, y)$.

• Entraînement : Le classificateur est entraîné à l'aide de la perte d'entropie croisée sur les étiquettes de rétention/oubli. Les états cachés sont mis en cache pour éviter les passages avant répétés à travers le modèle de base.
• Inférence : La distribution du prochain jeton est échantillonnée à partir de :
  $$\hat{p}_r^{(T)}(y | x) = \text{softmax}\left( \frac{\ln p_{\theta^*}(y | x)}{T} + \ln \hat{f}(x, y) \right)$$

3. Contributions clés

Analyse théorique

Le papier fournit des garanties en échantillon fini liant l'risque excessif ($\delta$) du classificateur de substitution à l'erreur d'oubli, définie via deux métriques :

• Erreur de rétention ($E_r$) : $KL(p_r \parallel \hat{p}_r)$, mesurant la fidélité à la distribution de rétention.
• Erreur d'oubli ($E_f$) : $\|p_r - \hat{p}_r\|_{1, p_f}$, mesurant la fuite dans les régions accentuées par la distribution d'oubli.

Principaux résultats théoriques :

1. Limites de l'inclinaison standard : Pour les estimateurs non tempérés ($T=1$), l'Erreur d'Oubli suit une échelle de $O(\|p_f\|_\infty \sqrt{\delta})$. Les auteurs prouvent que cette dépendance vis-à-vis de la densité de crête $\|p_f\|_\infty$ est inévitable (Théorème 3.5), ce qui signifie que les méthodes standard échouent pour les ensembles d'oubli concentrés.
2. Avantages de la tempérance : L'estimateur T3-Unlearning atteint une borne d'Erreur d'Oubli proportionnelle à $O(\|p_f\|_\infty^{1/T} \cdot \delta^{1/2k})$. En augmentant $T$, la dépendance vis-à-vis de la netteté de $p_f$ devient sous-linéaire, améliorant considérablement la robustesse contre les distributions d'oubli concentrées.
3. Compromis : La tempérance introduit un terme de biais dans l'Erreur de Rétention qui augmente à mesure que l'entropie de $p_r$ diminue. La méthode établit un compromis fondé : $T$ doit être suffisamment grand pour dompter $\|p_f\|_\infty$ mais pas trop grand pour que la distorsion de la distribution de base surpasse les gains.

Résultats empiriques

Les expériences ont été menées sur le benchmark TOFU en utilisant Llama 3.1 8B, comparant T3-Unlearning aux bases telles que GradAscent, GradDiff, WGA et diverses variantes NPO/SimNPO.

• Qualité d'oubli (FQ) : T3-Unlearning a systématiquement surpassé toutes les bases, atteignant les scores FQ les plus élevés (0,914 pour 5 % d'oubli, 0,671 pour 10 % d'oubli), indiquant une indiscernabilité statistique supérieure par rapport à un modèle réentraîné.
• Utilité générative (MU-ROUGE) : Bien que certaines bases aient atteint une utilité globale du modèle (MU) élevée, T3-Unlearning a obtenu le MU-ROUGE le plus élevé (moyenne harmonique des scores ROUGE-L), démontrant qu'il préserve mieux la qualité de génération que les méthodes qui se contentent de supprimer les probabilités.
• Efficacité :
  • Paramètres : T3-Unlearning n'entraîne que 0,03 % des paramètres du modèle (une tête linéaire avec $h=20$), contrairement au réglage fin complet ou aux méthodes basées sur LoRA.
  • Temps d'exécution : En mettant en cache les états cachés, la version « pré-traitée » de T3-Unlearning a réduit le temps d'exécution à quelques secondes (ex: ~5s pour un split de 5 %) contre des centaines de secondes pour les bases de réglage fin.

4. Signification et affirmations

Le papier affirme que T3-Unlearning offre un cadre principalisé pour l'oubli qui surmonte les limitations statistiques des approches de guidage par classificateur existantes.

• Nécessité théorique : Les auteurs soutiennent que la tempérance n'est pas simplement une heuristique mais une condition nécessaire pour réussir l'oubli de distributions concentrées. Sans elle, l'Erreur d'Oubli est fondamentalement limitée par la netteté de l'ensemble d'oubli, quelle que soit la précision du classificateur.
• Efficacité pratique : La méthode découple l'oubli de l'espace de paramètres de haute dimension du modèle de base, permettant un « oubli rapide et efficace en mémoire » sans le coût de calcul du réentraînement ou du réglage fin complet.
• Robustesse : L'approche fournit des garanties provables en échantillon fini qui traitent directement les modes de défaillance des méthodes précédentes, particulièrement dans les scénarios où l'ensemble d'oubli consiste en des informations spécifiques à haute confiance (ex: données privées ou protégées par le droit d'auteur) que le modèle a mémorisées.

Les auteurs soulignent que leur méthode évite la « dégradation involontaire » souvent observée dans les approches de réglage fin supervisé et fournit une alternative théoriquement fondée aux méthodes de récupération de paramètres, qui sont intraitables pour les modèles génératifs modernes.