Auditing Forgetting in Limited Memory Language Models

Résumé Technique : Audit de l'Oubli dans les Modèles de Langage à Mémoire Limitée

Énoncé du Problème
Les Modèles de Langage à Mémoire Limitée (LMLM - Limited Memory Language Models) représentent une architecture hybride qui sépare la compétence linguistique (encodée dans les paramètres du modèle) de la connaissance factuelle (stockée dans une base de données externe). Cette conception vise à permettre un « désapprentissage par suppression » (deletion-based unlearning), où la suppression de faits de la base de données élimine l'accès à ceux-ci sans nécessiter de réentraînement du modèle. Cependant, les méthodes d'évaluation existantes pour l'oubli sont insuffisantes. Elles mesurent généralement la justesse globale avant et après la suppression, mais échouent à distinguer le mécanisme de la justesse post-suppression. Un modèle peut encore répondre correctement en raison de :

1. Une mémoire paramétrique résiduelle : Le fait reste encodé dans les poids du modèle.
2. Des chemins de récupération alternatifs : Le fait est récupéré via des alias, des paraphrases ou des entrées sémantiquement liées qui n'ont pas été explicitement supprimées.
3. Des artefacts de récupération : Le modèle génère la réponse correcte en se basant sur des candidats voisins proches qui ne sont pas équivalents au fait cible (gold-equivalent).

Les métriques actuelles ne peuvent déterminer si la connaissance a été correctement externalisée ou si elle persiste en interne au sein des paramètres du modèle.

Méthodologie : Cadre d'Audit Causal
Les auteurs proposent un cadre d'audit causal qui maintient le modèle fixe tout en faisant varier l'état de la base de données au moment de l'inférence. Le cadre évalue 12 228 suppressions de clôture d'alias à travers treize bases de données (incluant la base de données LMLM publiée et douze variantes personnalisées) en utilisant six formulations de prompts différentes.

Le cadre emploie trois états d'intervention contrôlés :

1. FULL (Complet) : La base de données est intacte et la récupération est activée. Cela établit la précision de référence (baseline).
2. DEL-ON (Suppression Activée) : Le fait cible (et ses équivalents d'alias) est supprimé de la base de données, mais la récupération reste activée. Cela teste la récupération via des chemins alternatifs ou des artefacts.
3. DEL-OFF (Suppression Désactivée) : Le fait cible est supprimé et la récupération est désactivée. Cela isole le rappel paramétrique, forçant le modèle à répondre sans preuve externe.

Métriques Clés et Décomposition
Le cadre décompose le comportement post-suppression en trois composantes distinctes :

• Fuite Paramétrique ($L(f)$) : Se produit lorsque le modèle répond correctement dans l'état DEL-OFF. Cela indique que le fait supprimé persiste dans les paramètres du modèle.
• Justesse Médiée par la Récupération ($R(f)$) : Se produit lorsque le modèle est correct dans l'état DEL-ON mais incorrect dans l'état DEL-OFF. Cela indique que la réponse a été récupérée via le graphe de récupération.
• Taux d'Artefact de Récupération ($A(f)$) : Se produit lorsque le modèle produit la réponse correcte dans l'état DEL-ON malgré l'absence de candidat équivalent au fait cible dans la trace de récupération. Cela indique que la réponse a été reconstituée à partir de candidats voisins proches (ex: des leurres paraphrastiques).

Les auteurs construisent des variantes de bases de données personnalisées pour tester des modes de défaillance spécifiques :

• Base : Uniquement des triplets canoniques (ligne de base propre).
• Alias : Faits stockés uniquement sous des formes d'alias (teste la complétude de la clôture d'alias).
• Noise (Bruit) : Triplets leurres avec des sujets paraphrasés pointant vers le même objet (teste la reconstruction par voisinage proche).
• Collision : Triplets « presque-corrects » partageant un sujet mais pointant vers un objet différent (teste la dérive par voisins confusibles).

Résultats Clés
L'audit produit plusieurs conclusions critiques à travers 36 684 complétions de modèles :

1. Fuite Paramétrique Quasi Nulle : À travers toutes les variantes de bases de données et de styles de prompts, la fuite paramétrique ($\hat{L}$) est effectivement nulle (0,11 % en moyenne). Le modèle retourne rarement une réponse supprimée en l'absence de récupération. Cela suggère que pour cette classe de LMLM, l'opération de « désapprentissage » au sein des paramètres du modèle est propre ; le modèle se comporte comme s'il n'avait jamais vu le fait une fois la récupération désactivée.
2. Les Résidus Vivent dans le Graphe de Récupération : La justesse survivante après suppression est presque entièrement attribuable au graphe de récupération, et non au modèle. Le taux de justesse médiée par la récupération ($R(f)$) correspond au taux d'artefact de récupération ($A(f)$) à des erreurs d'arrondi près dans toutes les variantes. Cela confirme que la justesse post-suppression est principalement reconstituée à partir de la récupération de voisins proches plutôt que mémorisée.
3. La Topologie de la Base de Données Contrôle les Résidus : L'ampleur du résidu (le pourcentage de faits supprimés qui survivent) est déterminée par la topologie de la base de données, et non par l'architecture du modèle ou le style de prompt.
   • Base : ~3,7 % de résidu.
   • Alias : ~6,2 % de résidu.
   • Collision : ~7,2 % de résidu.
   • Noise : ~13,6 % de résidu (le pire cas, où les leurres paraphrastiques permettent à la récupération de retrouver la réponse).
   • Base de données LMLM publiée : ~0,7 % de résidu.
4. Impact de la Formulation du Prompt : Bien que le style de prompt affecte significativement la précision de référence (FULL) (allant de ~17 % à ~57 % F1), il a un contrôle indépendant minimal sur le résidu post-suppression. Une fois les preuves de support supprimées, le taux de survie d'un fait est dicté par la structure du graphe de récupération, et non par la forme de surface de la question.

Signification et Revendications
L'article affirme que la principale contribution est une décomposition du comportement d'oubli plutôt qu'une métrique agrégée unique. En isolant le rappel paramétrique de la justesse côté récupération, l'audit révèle que :

• La « frontière de désapprentissage » dans cette classe de LMLM est tracée principalement par l'administrateur de la base de données, et non par le modèle.
• Les procédures de suppression standard qui ne suppriment que les triplets canoniques et leurs équivalents d'alias sont insuffisantes si le graphe de récupération contient des leurres paraphrastiques (comme dans la variante "Noise").
• La justesse résiduelle observée dans les études précédentes (par exemple, l'article original sur le LMLM) est probablement une propriété de la base de données spécifique utilisée (qui était bénigne) plutôt qu'un échec du modèle à oublier.

Les auteurs concluent que pour un désapprentissage efficace dans les LMLM, la gouvernance doit s'étendre au-delà des alias d'entités pour inclure la topologie du graphe de récupération, garantissant que les routes paraphrastiques menant à des informations sensibles soient également fermées au moment de la suppression. L'article ne prétend pas que les LMLM sont universellement parfaits pour le désapprentissage, mais plutôt que leurs modes de défaillance sont structurels à la conception de la base de données plutôt qu'inhérents à la mémoire paramétrique du modèle.