Résumé Technique : ASRU – L'Orientation des Activations rencontre l'Oubli par Renforcement pour les Modèles de Langage Multimodaux de Grande Taille

1. Énoncé du Problème

Les Modèles de Langage Multimodaux de Grande Taille (MLLM) mémorisent souvent des informations sensibles intermodales lors du pré-entraînement, ce qui pose des risques de fuite de vie privée et de violation du droit d'auteur. Bien que l'Oubli Machine (MU) soit crucial pour éliminer ces connaissances, les méthodes existantes se heurtent à deux limitations fondamentales :

1. Dégradation de la Réactivité après l'Oubli : Les approches actuelles produisent souvent des sorties hallucinées, rigides ou incohérentes après l'oubli. Au lieu d'exprimer naturellement un manque de connaissances, les modèles peuvent générer du contenu fabriqué ou un texte répétitif et dégénéré. Ce comportement « artificiel » peut involontairement révéler qu'un oubli a eu lieu et introduire des risques de sécurité.
2. Arbitrage entre Oubli et Utilité : Il existe un conflit persistant entre l'oubli efficace des connaissances cibles et la préservation de l'utilité générale du modèle. Les méthodes basées sur l'ascension du gradient tendent à supprimer excessivement l'ensemble à oublier, provoquant des changements de comportement global non intentionnels, tandis que les méthodes privilégiant l'utilité échouent souvent à atteindre un oubli complet.

Les évaluations existantes se concentrent principalement sur les écarts de sortie par rapport à la vérité terrain, négligeant la qualité de génération du modèle ayant subi l'oubli. Cet article soutient qu'un modèle ayant subi l'oubli doit se comporter comme un modèle de base aligné, exprimant les lacunes de connaissances de manière dynamique, consciente du contexte et cohérente.

2. Méthodologie : Cadre ASRU

Les auteurs proposent ASRU (Orientation des Activations rencontre l'Oubli par Renforcement), un cadre en deux étapes conçu pour réaliser un contrôle fin des frontières de refus tout en maintenant l'utilité du modèle.

Étape 1 : Orientation du Refus par Redirection des Activations

La première étape répond à l'absence de comportement de refus spontané chez les MLLM pré-entraînés.

• Construction de la Direction d'Absence de Connaissance : La méthode construit une « direction de référence de refus » en contrastant les activations cachées moyennes de l'Ensemble à Oublier ($D_f$) avec un Ensemble de Référence Cible de Refus ($D_{target}$). $D_{target}$ est composé d'entrées pour lesquelles le modèle ne possède aucune connaissance préalable (par exemple, des visages synthétiques inédits associés à des requêtes de confidentialité).
• Orientation des Activations : Un vecteur de pilotage ($v_{L^*}$) est calculé comme la différence entre les activations moyennes de $D_{target}$ et $D_f$. Ce vecteur est utilisé pour rediriger les activations du flux résiduel des entrées de l'ensemble à oublier vers une région de « aucune connaissance pertinente ».
• Optimisation Efficace : Au lieu d'affiner l'ensemble du modèle, ASRU met à jour uniquement une matrice de projection descendante unique dans une couche cible spécifique ($L^*$). Cela est réalisé via une solution sous forme fermée qui minimise l'écart entre les activations réelles et cibles, induisant un comportement de refus initial et contrôlable.

Étape 2 : Optimisation de la Frontière de Refus par GRPO

La deuxième étape affine la frontière de décision pour prévenir les refus inutiles sur les données conservées.

• Construction de l'Ensemble Frontière : Un ensemble frontière ($\tilde{D}_r$) est échantillonné à partir de l'ensemble conservé ($D_r$). Ces échantillons sont hautement similaires à l'ensemble à oublier dans l'espace des entrées mais doivent être conservés, permettant l'apprentissage d'une distinction fine.
• Conception de Récompenses Vérifiables : Une fonction de récompense est conçue pour évaluer deux aspects :
  1. Efficacité de l'Oubli : Pénaliser la reproduction des connaissances cibles et récompenser les refus naturels et conscients du contexte (par exemple, « Cela ne peut pas être déduit de l'image »).
  2. Fidélité de la Conservation : Récompenser les réponses correctes et informatives pour les échantillons frontières et conservés tout en pénalisant les refus excessifs.
• Optimisation Stratégique Relative par Groupes (GRPO) : Le modèle est optimisé en utilisant GRPO. En échantillonnant des groupes de déroulements pour des entrées appariées (oubli vs frontière), l'algorithme calcule des avantages relatifs au groupe. Cela encourage le modèle à apprendre une stratégie précise qui refuse lorsque nécessaire (pour $D_f$) mais répond de manière appropriée aux connaissances conservées, affinant efficacement la frontière de refus.

3. Contributions Clés

• Qualité de Génération comme Métrique Centrale : L'article introduit la qualité de génération comme dimension d'évaluation primaire pour l'oubli, mesurant spécifiquement le Refus Contextuel (cohérence et naturalité des refus) et l'Oubli (absence de fuite de connaissances).
• Cadre Innovant en Deux Étapes : ASRU est le premier cadre à combiner l'Orientation des Activations (pour initialiser la capacité de refus avec des mises à jour de paramètres minimales) et le GRPO (pour affiner la frontière oubli-conservation).
• Contrôle Fin : En utilisant un ensemble frontière et des récompenses vérifiables, ASRU réalise un arbitrage supérieur entre l'efficacité de l'oubli et l'utilité du modèle, évitant le comportement « tout ou rien » des méthodes précédentes.

4. Résultats Expérimentaux

Des expériences ont été menées sur Qwen3-VL (4B et 8B) et LLaVA-1.5-7B en utilisant les jeux de données MLLMU-Bench et CLEAR.

• Efficacité de l'Oubli : ASRU surpasse nettement les lignes de base (GA, GA Diff, KL Min, NPO, MMUnlearner). Sur Qwen3-VL-8B avec un ratio d'oubli de 5 %, il a obtenu une amélioration moyenne de 24,6 % de l'efficacité de l'oubli par rapport à la ligne de base la plus performante.
• Qualité de Génération : ASRU a démontré une amélioration massive de la qualité de génération, affichant une augmentation moyenne de 5,8 fois par rapport aux lignes de base. Cela indique une réduction substantielle des hallucinations et des réponses rigides, le modèle produisant des refus conscients du contexte et dynamiques.
• Préservation de l'Utilité : Malgré un oubli agressif, ASRU a maintenu des performances élevées sur l'ensemble conservé et les ensembles de célébrités réels, n'utilisant qu'une petite fraction (environ 27,3 %) des données de conservation supervisées.
• Robustesse : La méthode est restée efficace face aux variations de prompts adverses (préfixes aléatoires, paraphrases et tentatives de contournement), suggérant que la frontière de refus apprise est généralisable plutôt que basée sur des modèles.

5. Signification et Revendications

L'article revendique que ASRU comble une lacune critique dans l'oubli multimodal : la dégradation du comportement du modèle après la suppression des connaissances. En traitant la qualité de génération comme un objectif principal, ASRU garantit que les modèles ayant subi l'oubli restent sûrs, utilisables et alignés.

Les auteurs soulignent que leur approche permet aux modèles de se comporter comme des « modèles de base alignés » capables d'exprimer naturellement des lacunes de connaissances sans halluciner ni fuir d'informations sensibles. L'intégration de l'orientation des activations pour l'initialisation et de l'apprentissage par renforcement pour l'affinement de la frontière offre une solution évolutive et contrôlable pour construire des systèmes MLLM dignes de confiance. Ce travail est présenté comme une étape vers une IA de préservation de la vie privée plus robuste, avec des extensions futures potentielles à d'autres modalités comme l'audio et la vidéo.