Résumé technique : De-attribute to Forget for LLM Unlearning (DareU)

1. Énoncé du problème

Le déploiement rapide des grands modèles de langage (LLM) a intensifié les préoccupations concernant l'utilisation de données d'entraînement inappropriées, notamment la violation de la propriété intellectuelle, les informations privées et le contenu préjudiciable. Des réglementations telles que le RGPD et la CCPA imposent un « droit à l'oubli », exigeant la suppression d'influences de données spécifiques des modèles entraînés. Bien que le réentraînement d'un modèle à partir de zéro soit la solution idéale, cela est trop coûteux en termes de calcul compte tenu de l'échelle des LLM et des jeux de données modernes.

Les approches existantes d'oubli machine (machine unlearning) reposent principalement sur une optimisation basée sur la perte de prédiction, employant typiquement l'ascension de gradient (Gradient Ascent - GA) pour maximiser la perte sur l'ensemble à oublier (le "forget set", les données à supprimer). Le document identifie deux limitations critiques de ces méthodes :

1. Sur-oubli et effondrement du modèle (Model Collapse) : Maximiser naïvement la perte ou minimiser la log-vraisemblance conduit souvent à des générations incohérentes ou absurdes (gibberish) plutôt qu'à un modèle fonctionnel qui ignore simplement l'ensemble à oublier.
2. Cibles d'optimisation incohérentes : La valeur de perte cible pour un modèle parfaitement "oublié" varie selon les échantillons de données individuels (comme le montrent les variations de log-vraisemblance des modèles réentraînés). Par conséquent, maximiser la perte ne fournit pas un objectif constant et précis, ce qui dégrade souvent les performances sur l'ensemble à conserver (le "retain set", les données qui doivent être préservées).

La question centrale posée est de savoir s'il existe un objectif d'optimisation plus précis qui évite le sur-oubli tout en éliminant efficacement l'influence des données.

2. Méthodologie : Cadre DareU

Les auteurs proposent DareU (Data Attribution-based REinforcement Learning for Unlearning), le premier cadre qui définit l'oubli des LLM comme un problème de désattribution de données plutôt que comme un problème de minimisation de la perte de prédiction.

Concept central : Désattribution de données

Au lieu de maximiser la perte de prédiction, DareU vise à réduire le score d'attribution des réponses générées par le LLM aux propriétaires des données à oublier.

• Fonction d'attribution : Une fonction $DA(i, y_d)$ attribue un score normalisé $\in [0, 1]$ indiquant la probabilité que le jeu de données du propriétaire $i$ ait influencé la génération $y_d$.
• Objectif : Pour un ensemble à oublier $D_F$ appartenant à des propriétaires $F$, le but est de minimiser le score d'attribution attendu :
  $$\min_{\theta} \mathbb{E}_{i \in F} [\mathbb{E}_{d \sim D_i} (DA(i, y_d))]$$
  Idéalement, après l'oubli, le score d'attribution pour les données à oublier devrait être proche de 0, tandis que le modèle reste attribuable aux propriétaires de l'ensemble à conserver. Cela fournit une valeur cible constante (0) pour tous les échantillons et évite de favoriser des sorties incohérentes ou absurdes.

Implémentation via l'apprentissage par renforcement (PPO)

Puisque les fonctions d'attribution fournissent un retour scalaire, elles servent naturellement de modèles de récompense pour l'apprentissage par renforcement (RL). Les auteurs emploient l'Optimisation de Politique Proximale (PPO) pour aligner le LLM :

1. Signal de récompense : La récompense est dérivée du score d'attribution. Pour améliorer la stabilité, le score est transformé via une fonction logarithmique $\chi$ pour mapper les probabilités dans la plage $[-1, 0]$, où les scores d'attribution plus faibles produisent des récompenses plus élevées.
2. Calcul efficace de la récompense : Pour éviter le coût de calcul élevé consistant à invoquer une fonction d'attribution pour chaque jeton (token), le score d'attribution est calculé tous les $\kappa$ jetons et diffusé aux jetons intermédiaires. Une récompense de base moyennée par préfixe est calculée pour réduire la variance.
3. Régularisation par distillation : Pour préserver l'utilité du modèle sur l'ensemble à conserver ($D_R$), un terme de régularisation de distillation est ajouté. Ce terme minimise la divergence KL entre la politique actuelle "oubliée" et la politique originale sur l'ensemble à conserver, empêvant l'oubli catastrophique des données non à oublier.
4. Classificateur d'attribution ($D_{Ac}$) : Reconnaissant que les fonctions d'attribution idéales (ex: Leave-One-Out, valeurs de Shapley) sont coûteuses en calcul, les auteurs entraînent un classificateur LLM léger (via LoRA) pour prédire le propriétaire des données d'une réponse générée. Ce classificateur est entraîné hors ligne avant l'oubli et reste gelé pendant le processus PPO.

3. Contributions clés

1. Nouvel objectif d'optimisation : Le document introduit la désattribution de données comme un objectif précis pour l'oubli des LLM, traitant l'incohérence et l'instabilité des méthodes basées sur la perte de prédiction.
2. Cadre DareU : Les auteurs proposent le premier cadre d'oubli utilisant des récompenses d'attribution de données dans un contexte PPO. Il équilibre efficacement le compromis entre la qualité de l'oubli (élimination de l'influence) et l'utilité du modèle (préservation des performances sur les données conservées).
3. Validation empirique : Des expériences approfondies démontrent que DareU surpasse les bases de référence existantes (incluant GA, GDiff, SCRUB et les méthodes d'optimisation de préférence comme IDK et NPO) en atteignant un oubli efficace sans dégradation significative de l'utilité du modèle ou de la cohérence du texte.

4. Résultats expérimentaux

Le cadre a été évalué sur deux benchmarks : TOFU (Questions-Réponses) et ArXiv (Complétion de texte), en utilisant les modèles Llama2-7B et Qwen3-8B.

• Efficacité de l'oubli : DareU a obtenu les scores ROUGE sur l'ensemble à oublier (DF) les plus proches du standard de référence "Réentraînement" sur les deux jeux de données, indiquant une qualité d'oubli supérieure.
• Utilité du modèle : Contrairement à l'ascension de gradient (GA) et GDiff, qui souffrent souvent de sur-oubli (faible ROUGE sur DR), DareU maintient des scores ROUGE élevés sur l'ensemble à conserver ($D_R$) et l'ensemble de test ($D_{test}$).
• Équilibre (Score ToW) : DareU a obtenu le score Tug-of-War (ToW) le plus élevé, une métrique agrégeant les écarts entre le modèle "oublié" et le modèle réentraîné sur les ensembles à oublier, à conserver et de test. Cela confirme la capacité de DareU à mieux équilibrer la qualité de l'oubli et l'utilité que n'importe quelle autre méthode de référence.
• Robustesse :
  • Réduction du "Gibberish" : DareU produit nettement moins de réponses incohérentes ou absurdes par rapport à GA et SCRUB.
  • Robustesse adverse : La méthode reste efficace contre les requêtes de l'ensemble à oublier paraphrasées et les chevauchements sémantiques entre les ensembles à oublier et à conserver.
  • Précision du classificateur : Le cadre reste robuste même lorsque la précision du classificateur d'attribution est artificiellement réduite.
• Efficacité : Bien que DareU entraîne des coûts de calcul plus élevés que les méthodes simples de perte de prédiction (en raison de la génération par RL), il est nettement plus efficace que le réentraînement complet et comparable aux méthodes d'optimisation du second ordre comme SCuReNewton.

5. Signification et affirmations

Le document affirme que DareU offre une perspective d'optimisation plus précise et plus stable pour l'oubli des LLM. En passant de la "maximisation de l'erreur" à la "mise à zéro de l'attribution", la méthode évite les pièges de l'effondrement du modèle et des cibles incohérentes inhérents aux approches d'ascension de gradient.

Les auteurs soulignent que, bien qu'ils aient utilisé un classificateur léger comme approximation efficace, la contribution centrale est l'objectif de désattribution lui-même. Ils affirment que cette approche fournit une cible constante (score de 0) pour tous les échantillons à oublier, ce qui est théoriquement supérieur aux cibles variables des méthodes basées sur la perte.

Limites reconnues :

• Coût de calcul : DareU est plus coûteux en calcul que le simple fine-tuning ou GA, bien qu'il offre un compromis justifié pour de meilleures performances.
• Dépendance à l'attribution : La méthode nécessite l'accès aux données d'entraînement (ou à un sous-ensemble) pour entraîner le classificateur d'attribution, ce qui peut limiter son application pour la suppression de données de pré-entraînement si ces données sont inaccessibles.
• Approximation : L'utilisation d'un classificateur est une approximation ; les travaux futurs pourraient intégrer des fonctions d'attribution plus précises ou plus efficaces pour améliorer davantage les performances.

En conclusion, le document positionne DareU comme une solution de pointe qui élimine efficacement l'influence des données tout en préservant l'utilité du LLM, respectant ainsi le « droit à l'oubli » sans nécessiter de coûts de réentraînement prohibitifs.