LEMUR: Latent Entropy-aware Multimodal Unlearning via Visual-anchored Reasoning Redirection

Définition du problème

L'apprentissage par renforcement (RL) post-entraînement a considérablement amélioré les capacités de raisonnement visuel des modèles de raisonnement multimodaux (MLRM) en leur permettant d'émettre des « chaînes de pensée » (CoT) explicites avant de répondre. Cependant, cette capacité introduit une vulnérabilité de confidentialité distincte : alors que les méthodes actuelles d'oubli machine (unlearning) parviennent à supprimer les faits sensibles de la réponse finale du modèle, elles échouent souvent à empêcher le modèle de réciter ces mêmes faits au sein de sa trace de raisonnement interne.

Les auteurs identent que cette « fuite de la trace de raisonnement » est nettement plus prononcée dans les MLRM entraînés par RL que dans leurs modèles de base sans raisonnement. Les approches d'oubli existantes, qui se concentrent généralement sur l'ajustement des poids ou l'intervention au niveau de la réponse finale, sont mal équipées pour gérer cela. Elles échouent soit à surveiller les trajectoires diverses et exploratoires induites par le RL, soit dégradent les capacités de raisonnement du modèle en tentant de perturber la trace.

Observation clé : La signature d'entropie

L'intuition centrale de ce travail est la découverte d'une signature d'entropie par jeton distinctive associée à la récitation de contenus sensibles mémorisés dans les modèles entraînés par RL.

• Modèle en deux étapes : Lorsqu'un modèle entraîné par RL se rappelle un attribut sensible, il présente un motif caractéristique de montée et de chute de l'entropie par jeton ($H_t(v)$).
  1. Étape de délibération : Le modèle hésite entre plusieurs candidats, provoquant un pic d'entropie à mesure que plusieurs candidats entrent en compétition.
  2. Étape d'engagement : Une fois que le modèle s'engage sur l'étendue mémorisée, l'entropie s'effondre vers presque zéro alors qu'il récite de manière déterministe l'attribut.
• Cette signature est largement absente des modèles de base sans raisonnement, où les distributions d'entropie sont plus chaotiques. Cette dynamique fournit un signal fiable, sans entraînement, pour détecter quand le raisonnement sensible commence et se termine.

Méthodologie : LEMUR

LEMUR est un cadre d'oubli entièrement sans entraînement, opérant au moment de l'inférence, conçu spécifiquement pour les modèles multimodaux nativement entraînés par RL. Il fonctionne en surveillant le processus de décodage et en intervenant uniquement lorsqu'un contenu sensible est détecté. La méthode se compose de trois composants principaux :

1. Commutation de sensibilité augmentée par l'entropie :

   • LEMUR combine une vérification lexicale (ensembles de jetons interdits) avec la signature d'entropie pour déclencher un « mode sensible ».
   • La condition de déclenchement ($g_t$) s'active si une masse élevée de jetons interdits est détectée (récitation engagée) OU si une entropie élevée est détectée aux côtés d'une masse de jetons interdits plus faible (étape de délibération). Cela garantit que l'intervention commence dès le début de l'étendue sensible, et non seulement après que le modèle se soit engagé dans la mauvaise réponse.

2. Injection d'ancres visuelles sensible à l'entropie :

   • Une fois en mode sensible, LEMUR passe du décodage autorégressif standard à un régime de décodage latent.
   • Au lieu de renvoyer un jeton discret, le modèle reçoit un embedding continu construit via un Feedback Latent Contraint (renormalisation de la distribution pour exclure les jetons interdits) et des Ancres de Redirection Visuelle.
   • Les ancres consistent en une Ancre Visuelle (embedding moyen des jetons spéciaux visuels pour ré-ancrer le raisonnement dans l'image) et une Ancre de Réponse Sûre (embeddings de modèles de refus ou d'incertitude).
   • Injection contrôlée par l'entropie : La force de l'injection de ces ancres ($\gamma_t$) est modulée dynamiquement par l'entropie actuelle du jeton. Une entropie élevée (délibération) reçoit un pilotage fort ; une entropie faible (texte engagé) reçoit un pilotage plus faible pour préserver la fluidité.

3. Durée de phase dynamique contrôlée par l'entropité :

   • Pour éviter que l'intervention ne persiste trop longtemps (dégradant la fluidité) ou ne se termine trop tôt (permettant la fuite), LEMUR utilise un mécanisme de sortie adaptatif.
   • Il suit l'entropie de base du modèle sur le texte normal et termine la phase latente uniquement lorsque l'entropie remonte au-dessus d'un seuil adaptatif ($\kappa \bar{H}_t$) et que la masse interdite est éliminée.
   • Une « période de refroidissement réfractaire » empêche les oscillations rapides entre les modes discrets et latents, assurant la cohérence du raisonnement environnant.

Résultats expérimentaux

Les auteurs ont évalué LEMUR sur des MLRM entraînés par RL (R1-Onevision-7B et Vision-R1-7B) en utilisant un jeu de données reconstruit basé sur MLLMU-Bench, qui inclut des sujets fictifs avec des attributs privés.

• Suppression de la fuite : LEMUR a nettement surpassé les bases de comparaison basées sur l'entraînement (ex: Gradient Ascent, NPO) ainsi que les bases de comparaison sans entraînement (ex: R-MUSE). Il a obtenu le plus bas taux de Fuite de Raisonnement au niveau du Sujet (SRL), effaçant efficacement les faits sensibles tant dans la trace de raisonnement que dans la réponse finale.
• Préservation de l'utilité : Contrairement aux méthodes basées sur l'entraînement qui dégradent souvent les capacités générales, LEMUR a préservé les performances sur les données non oubliées (splits Retain et Celebrity) à travers les tâches de classification, de remplissage de blancs et de génération.
• Fluidité : La métrique de Capacité de Rétention du Raisonnement (RRA) a montré que LEMUR maintenait un raisonnement fluide et bien formé, tandis que les bases agressives provoquaient souvent l'effondrement du modèle vers un texte répétitif ou dégénéré.
• Généralisation : La méthode a également été testée sur des modèles non-RL (Qwen2.5-VL) et des corpus de raisonnement visuel général (VQAv2), démontrant que bien que le signal d'entropie soit plus fort dans les modèles RL, le cadre reste efficace et transférable.

Signification et revendications

L'article affirme être le premier méthode d'oubli conçue spécifiquement pour les modèles de raisonnement multimodaux nativement entraînés par RL. Ses principales contributions sont :

1. Identification d'un risque de confidentialité : Démontrer que l'exploration induite par le RL crée une vulnérabilité de confidentialité unique où les traces de raisonnement laissent fuiter des données sensibles même lorsque les réponses sont propres.
2. Exploitation de la dynamique d'entropie : Montrer que la signature d'entropie par jeton du rappel mémorisé fournit un signal fiable, sans entraînement, pour détecter et intercepter les fuites pendant le décodage.
3. Oubli efficace sans entraînement : Proposer LEMUR, qui atteint des performances d'oubli de pointe sans réentraînement, en pilotant la trajectoire de décodage par l'ancrage visuel modulé par l'entropie.

Les auteurs concluent que la dynamique d'entropie au moment du décodage offre une base prometteuse pour le contrôle de la confidentialité dans les modèles capables de raisonner, suggérant que les futurs objectifs de sécurité pourraient être adressés en exploitant ces signaux internes plutôt qu'en s'appuyant uniquement sur les mises à jour de poids.