Résumé Technique : QR-Erase : Unapprentissage de Machine basé sur les Sous-espaces et Efficace avec Localisation par Couches

Énoncé du Problème

L'unapprentissage de machine (machine unlearning) vise à supprimer l'influence de données, de concepts ou de capacités spécifiques d'un modèle entraîné tout en préservant les performances sur des tâches non liées. Cela est de plus en plus critique en raison des réglementations sur la confidentialité (ex. : RGPD, CCPA) et des préoccupations liées à la propriété des données. Les approches existantes font face à deux limitations principales :

1. Les méthodes basées sur l'optimisation (ex. : Gradient Ascent, DPO) dégradent souvent les capacités non liées et nécessitent une optimisation itérative qui s'adapte mal aux modèles de fondation de grande taille.
2. Les méthodes basées sur les sous-espaces offrent un retrait direct dans l'espace des poids mais reposent sur la Décomposition en Valeurs Singulières (SVD) pour la récupération du sous-espace. La SVD est coûteuse en termes de calcul, ce qui soulève la question de savoir si une reconstruction de rang faible optimale est strictement nécessaire pour un unapprentissage efficace.

De plus, il reste incertain si la connaissance spécifique à une tâche est distribuée uniformément dans un modèle ou concentrée dans des couches spécifiques, et si l'identification de ces localisations est plus critique que la méthode de décomposition spécifique utilisée.

Méthodologie

Les auteurs proposent QR-Erase, un cadre basé sur les sous-espaces qui répond à ces questions par deux choix de conception complémentaires : la récupération de sous-espace efficace via le QR pivoté et l'unapprentissage localisé par couche.

1. QR-Erase : QR Pivoté pour la Récupération de Sous-espace

Au lieu de la SVD, QR-Erase utilise la décomposition QR à Pivot de Colonne (CPQR) pour identifier et supprimer les directions de tâches de faible dimension.

• Construction de la Matrice de Tâche : Étant donné un ensemble à oublier ($D_f$) et un ensemble à conserver ($D_r$), la méthode construit des matrices de tâches par couche ($T_f^\ell$ et $T_r^\ell$) représentant les mises à jour de paramètres associées à chaque partition de données.
• Décomposition : Le CPQR est appliqué à la matrice de tâche à oublier : $T_f^\ell \Pi_f^\ell = Q_f^\ell R_f^\ell$. Les colones de $Q_f^\ell$ forment une base orthonormée pour le sous-espace de la tâche.
• Discrimination de Sous-espace : Pour préserver les connaissances conservées, la méthode projette le sous-espace à oublier sur le complément orthogonal du sous-espace conservé ($P_r^\ell = Q_r^\ell (Q_r^\ell)^T$). La matrice de tâche discriminée est reconstruite comme $\tilde{T}_f^\ell = (I - P_r^\ell) Q_f^\ell R_f^\ell (\Pi_f^\ell)^T$.
• Mise à jour des Paramètres : Les paramètres du modèle sont mis à jour en soustrayant la matrice de tâche discriminée : $(W^\ell)' = W^\ell - \tilde{T}_f^\ell$.

Motivation Théorique : Les auteurs soutiennent qu'un unapprentissage efficace dépend de la récupération du sous-espace de tâche dominant plutôt que de l'obtention d'une erreur de reconstruction de rang faible optimale. Sous une condition de gap spectral modérée ($\sigma_{k+1} \ll \sigma_k$), le CPQR fournit une récupération de sous-espace avec une erreur bornée qui approxime la solution SVD optimale, rendant le CPQR, plus économique en calcul, suffisant pour l'unapprentissage.

2. QR-Erase Localisé par Couche

Reconnaissant que l'information de tâche peut ne pas être distribuée uniformément, les auteurs introduisent une stratégie pour restreindre les mises à jour aux couches présentant une "énergie de tâche" élevée.

• Énergie de Tâche Normalisée : Pour chaque couche $\ell$, l'énergie est définie comme $E_\ell = \frac{\|T_f^\ell\|_F}{\sum_{j \in L} \|T_f^j\|_F}$.
• Sélection : Seules les couches où $E_\ell \geq 1/|L|$ (au-dessus de la contribution moyenne) sont sélectionnées pour l'opération d'oubli.
• Mise à jour : La mise à jour des paramètres est appliquée uniquement à ces couches sélectionnées ($L_{forget}$), laissant les autres couches inchangées.

Principales Contributions

1. Cadre QR-Erase : Introduit une alternative au SVD basée sur le QR pivoté pour la récupération du sous-espace de tâche. Il atteint des performances d'oubli comparables tout en réduisant le temps de décomposition de plus de 60 %.
2. Unapprentissage Localisé par Couche : Propose une stratégie basée sur l'énergie de tâche normalisée qui restreint les mises à jour aux couches de haute énergie. Cela améliore systématiquement le compromis oubli-conservation à travers diverses méthodes d'unapprentissage.
3. Évaluation Complète : Évalue l'approche à travers trois contextes divers :
   • Unapprentissage de texte au niveau de la tâche et des faits (benchmarks UNLEARN et TOFU).
   • Unapprentissage de faits cross-lingue (benchmark cTOFU).
   • Unapprentissage de la parole (benchmark VoxCeleb2, incluant l'oubli au niveau de l'échantillon et du locuteur).
4. Preuves Empiriques : Démontre que la récupération précise du sous-espace (plutôt que la reconstruction optimale) et la localisation de la connaissance sont les principaux moteurs d'un unapprentissage efficace, plutôt que le choix spécifique de la décomposition (SVD vs QR).

Résultats

Le papier rapporte des résultats dans les domaines du texte, du multilingue et de la parole :

• Efficacité : Le QR pivoté réduit le temps de décomposition de 65 à 68 % par rapport à la SVD pour des tailles de matrices allant de 768×768 à 8192×8192, avec un impact négligeable sur les performances d'unapprentissage en aval.
• Compromis de Performance :
  • Texte (TOFU/UNLEARN) : QR-Erase égale l'UNLEARN basé sur SVD en termes de qualité d'oubli et d'utilité du modèle. Les variantes localisées par couche améliorent davantage le compromis ; par exemple, la version Layer-Localized QR-Erase a atteint l'utilité de modèle la plus élevée (0,6120) tout en satisfaisant le critère d'oubli.
  • Cross-Lingue (cTOFU) : Les méthodes basées sur les sous-espaces surpassent nettement les baselines basées sur l'optimisation (comme NPO et FLAT) qui échouent souvent à satisfaire les critères d'oubli tout en préservant l'utilité. QR-Erase correspond étroitement aux performances de la SVD à travers plusieurs langues.
  • Parole (VoxCeleb2) : Les méthodes basées sur l'optimisation dégradent souvent les performances des ensembles cible et conservé. Les méthodes basées sur les sous-espaces préservent ces capacités tout en réduisant la précision de l'ensemble à oublier. Notamment, le Layer-Localized QR-Erase a réduit la précision de l'ensemble de parole à oublier de 53,1 % à 15,7 % sur Qwen3-Omni tout en conservant une précision élevée sur les ensembles cibles et conservés.
• Généralisation : Les bénéfices de la localisation par couche ont été observés dans toutes les modalités, suggérant que la connaissance spécifique à une tâche est spatialement localisée dans un sous-ensemble de couches.

Signification et Revendications

Le papier affirme qu'une récupération précise du sous-espace est suffisante pour un unapprentissage de machine efficace, remettant en question la nécessité d'une reconstruction de rang faible optimale fournie par la SVD. En remplaçant la SVD par le QR pivoté, les auteurs fournissent une alternative calculatoirement efficace qui s'adapte mieux aux modèles de fondation modernes sans sacrifier l'efficacité de l'unapprentissage.

De plus, ce travail établit qu'identifier où la connaissance est localisée (via l'analyse de l'énergie par couche) est plus impactant sur le compromis oubli-conservation que la méthode de décomposition de sous-espace spécifique utilisée. Les conclusions suggèrent qu'un unapprentissage efficace repose sur deux facteurs : la récupération du sous-espace de tâche dominant et le ciblage des couches spécifiques où cette connaissance est représentée. Cela offre une approche générale, efficace et interprétable pour l'unapprentissage scalable dans les modèles de fondation de texte, multilingues et de parole.