Résumé Technique : MAAT : Multi-phase Adapter-Aware Targeted Unlearning

1. Énoncé du Problème

Le papier identifie un biais structurel critique dans les benchmarks d'oubli machine existants (par exemple, CounterFact, ZSRE, TOFU, MUSE, WMDP-Cyber). Ces jeux de données sont fortement biaisés vers des questions centrées sur des entités de type « Qui », « Quoi », « Quand » et « Où », tandis que les questions « Pourquoi » — qui sondent les chaînes de connaissances causales et relationnelles — représentent moins de 0,06 % à 1,3 % de ces jeux de données.

Cette représentation quasi nulle crée une lacune de mesure : les méthodes d'oubli qui échouent à supprimer les connaissances causales peuvent tout de même obtenir des scores agrégés élevés. Les auteurs soutiennent que la connaissance causale est qualitativement plus difficile à oublier en raison de deux facteurs :

1. Longueur et Complexité : Les réponses aux questions « Pourquoi » font en moyenne 40,1 jetons (contre 4,2–10,5 pour les autres) et 44 % d'entre elles impliquent des chaînes de raisonnement multi-étapes (contre ≤2 % pour les autres).
2. Dilution du Gradient : Le signal d'ascension requis pour oublier ces faits est réparti sur de longues séquences de jetons sans direction dominante, ce qui fait échouer les méthodes standard basées sur le gradient ou dégrade les connaissances conservées lorsqu'elles sont forcées d'être agressives.

Les méthodes existantes (Ascension de Gradient, GA régularisée par KL, Négation d'Adapter) font face à un compromis fondamental : un oubli agressif dégrade l'utilité du modèle (rétention), tandis que des méthodes conservatrices ne parviennent pas à oublier les faits causaux.

2. Méthodologie : Le Cadre MAAT

Les auteurs proposent MAAT (Multi-phase Adapter-Aware Targeted Unlearning), un cadre en trois phases opérant directement sur les poids de l'adapter LoRA sans les fusionner dans le modèle de base. Cela permet une « chirurgie d'adapter » structurée plutôt qu'une pression de gradient uniforme.

Phase 1 : Ascension par Projection de Gradient

L'ascension de gradient standard applique des mises à jour uniformes, ce qui peut éroder les connaissances conservées si le gradient d'oubli ($g_f$) s'aligne avec le gradient de rétention ($g_r$). MAAT emploie une projection orthogonale conditionnelle :

• Si $g_f \cdot g_r > 0$ (conflit), la composante de $g_f$ alignée avec $g_r$ est supprimée via projection :
  $$g^\perp_f = g_f - \frac{g_f \cdot g_r}{\|g_r\|^2 + \epsilon} g_r$$
• Si aucun conflit n'existe, la direction complète de l'ascension pour l'oubli est préservée.
• L'objectif minimise la perte d'oubli tout en s'ancrant à l'état de l'adapter pré-oubli via la divergence KL.

Phase 2a : Élagage de Rang-Dimension par SVD (MLP uniquement)

Pour traiter les signaux résiduels dans les directions de faible magnitude, MAAT évalue les dimensions de l'adapter Multi-Layer Perceptron (MLP) en fonction des normes de leurs colonnes de gradient sur l'ensemble d'oubli.

• La fraction supérieure-$\rho$ des dimensions de rang est mise à zéro dans les matrices $A$ et $B$ des modules MLP (down_proj, up_proj, gate_proj).
• Crucialement, les modules d'attention sont exclus de l'élagage pour éviter de détruire les capacités de suivi d'instructions.

Phase 2b : Négation du Vecteur de Tâche

Cette phase cible le sous-espace d'oubli spécifique identifié dans la Phase 2a.

• Les dimensions de rang les plus hautes (ex. 50 %) scorées pour l'oubli de chaque matrice LoRA $B$ sont masquées pour former un « vecteur de tâche d'oubli » $\tau^F_l$.
• Ce vecteur est soustrait des poids : $B_l \leftarrow B_l - \alpha \cdot \tau^F_l$.
• Cela permet une suppression ciblée sans effacer indistinctement les directions associées à la rétention.

Phase 3 : Réparation Hybride de la Rétention

Pour récupérer les performances dégradées par l'élagage et la négation, un objectif de réparation hybride est minimisé. Il combine quatre termes :

1. Divergence KL : Ancre le modèle à la distribution de rétention.
2. Distance des États Cachés : Minimise la distance entre les états cachés actuels et de référence pour les échantillons de rétention.
3. Maximisation de l'Entropie : Un terme d'entropie négative ($-w_{ent} H_F$) maximise l'entropie sur les prédictions de l'ensemble d'oubli, empêchant le modèle de réapprendre le contenu oublié pendant la réparation.
4. Pénalité du Vecteur de Tâche : Pénalise la similitude cosinus entre les poids actuels et le vecteur de tâche d'oubli.

3. Contributions Clés

1. Benchmark 5WBENCH

Les auteurs introduisent 5WBENCH, un benchmark équilibré de 5 000 échantillons dérivé du corpus Factify-5WQA.

• Structure : 1 000 exemples par catégorie 5W (Qui, Quoi, Quand, Où, Pourquoi).
• Signification : Il fournit la première couverture statistiquement significative des questions « Pourquoi » (20 % du jeu de données), permettant de quantifier les échecs d'oubli causal auparavant indétectables dans les benchmarks biaisés.
• Format : Compatible avec EasyEdit, incluant les réponses de vérité terrain, les étiquettes et les variantes reformulées pour des tests de robustesse.

2. Algorithme MAAT

MAAT est la première méthode capable d'atteindre simultanément un oubli élevé et une rétention élevée pour les connaissances causales de type « Pourquoi ». Elle opère sur les propriétés structurelles des adapters LoRA, utilisant le scoring SVD et la négation du vecteur de tâche pour isoler et supprimer les dimensions de rang spécifiques activées par les entrées de l'ensemble d'oubli.

4. Résultats Expérimentaux

Le cadre a été évalué sur LLaMA 3.2-3B et Gemma 3-4B en utilisant un LLM-as-a-Judge (Qwen 2.5-7B).

Performance sur 5WBENCH

• Frontière de Pareto : MAAT atteint un nouveau point de fonctionnement, dépassant simultanément 60 % de Taux de Succès d'Oubli (FSR) et 60 % de Taux de Succès de Rétention (RSR) pour les cinq catégories 5W sur LLaMA 3.2-3B.
  • Llama 3.2-3B : 77,4 % FSR / 71,6 % RSR (Agrégé).
  • Gemma 3-4B : 64,0 % FSR / 61,8 % RSR (Agrégé).
• Performance de type « Pourquoi » :
  • MAAT : 63 % FSR / 65 % RSR (Llama).
  • Les baselines (GA, GA+KL, AN, RO-FT) ne parviennent pas à atteindre cet équilibre. Par exemple, l'Ascension de Gradient (GA) atteint 44 % de FSR mais 78 % de RSR, ce que les auteurs attribuent à un « sous-oubli » (le modèle retient les faits simplement parce qu'il ne les a pas oubliés, et non parce qu'il a préservé l'utilité).
• Échecs des Baselines :
  • Négation d'Adapter (AN) : Atteint un oubli quasi parfait (99,8 % FSR) mais provoque un effondrement catastrophique de la rétention (0,4 % RSR), confirmant que la négation complète du vecteur de tâche supprime indistinctement tant l'oubli que la rétention.
  • RO-FT : Haute rétention mais efficacité d'oubli moindre par rapport à MAAT.

Performance sur TOFU

Sur le jeu de données TOFU (qui manque de couverture significative pour le « Pourquoi »), MAAT obtient des résultats compétitifs (67,5 % FSR / 46,6 % RSR sur Llama), démontrant une robustesse à travers différents jeux de données, bien que le papier note que le déséquilibre des catégories de TOFU limite son utilité pour l'analyse causale.

Études d'Ablation

• Projection de Gradient : Essentielle pour protéger les connaissances retenues pendant l'ascension.
• Réparation Hybride : Nécessaire pour récupérer la rétention perdue lors de l'élagage/négation ; sans le terme d'entropie, la phase de réparation récupère par inadvertance le contenu oublié.
• Négation du Vecteur de Tâche vs Élagage de l'Attention : Remplacer l'élagage de l'attention par la négation du vecteur de tâche (Condition D) améliore considérablement la rétention (76 % contre 54 % de RSR) tout en maintenant une force d'oubli similaire, validant la décision d'exclure les modules d'attention de l'élagage structurel.

5. Signification et Revendications

Le papier affirme que MAAT est la première méthode à naviguer avec succès dans le compromis oubli-rétention spécifiquement pour les connaissances causales (type « Pourquoi »), un domaine où les baselines existantes échouent.

• Aperçu Structurel : Les auteurs démontrent que la difficulté d'oublier les faits causaux provient de la complexité relationnelle et de la dilution du gradient, et non d'une empreinte unique dans l'espace des poids (l'analyse de l'encodage montre un encodage distribué uniformément à travers toutes les catégories 5W).
• Impact de l'Évaluation : En introduisant 5WBENCH, le papier fournit un outil pour exposer les artefacts de « sous-oubli » dans les méthodes existantes, où les scores de rétention élevés sont en réalité un sous-produit d'un échec de l'oubli.
• Sensibilité à l'Architecture : Les résultats suggèrent que l'oubli basé sur les adapters hérite de la structure d'encodage des connaissances du modèle de base. L'écart de performance entre LLaMA et Gemma indique que la séparabilité des connaissances dans les dimensions de rang des adapters dépend de l'architecture.

Les auteurs concluent que bien que MAAT atteigne une nouvelle frontière de Pareto, le domaine nécessite des taxonomies d'évaluation équilibrées pour détecter les échecs de l'oubli des connaissances causales, que les benchmarks standards masquent actuellement.