💻 computer science

Object Hallucination-Free Reinforcement Unlearning for Vision-Language Models

Ce papier propose HFRU, un cadre d'oubli par renforcement opérant sur l'encodeur visuel avec une optimisation basée sur GRPO et une récompense d'abstraction pour réaliser un oubli sémantique profond des connaissances sensibles dans les modèles vision-langage tout en prévenant efficacement les hallucinations d'objets.

Auteurs originaux : Kaidi Jia, Yujie Lin, Chengyi Yang, Jiayao Ma, Jinsong Su

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kaidi Jia, Yujie Lin, Chengyi Yang, Jiayao Ma, Jinsong Su

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un modèle vision-langage (VLM) comme un bibliothécaire surintelligent et multilingue qui a lu tous les livres et examiné toutes les images d'Internet. Ce bibliothécaire est incroyablement serviable, mais il se souvient parfois de choses qu'il ne devrait pas — comme le visage d'une célébrité spécifique, une photo privée ou une image protégée par le droit d'auteur.

Lorsque nous demandons au bibliothécaire d'« oublier » ces éléments spécifiques, les méthodes actuelles agissent souvent comme un éditeur maladroit. Ils se contentent de rayer les noms dans le carnet de notes du bibliothécaire (la sortie textuelle) mais laissent l'image mentale réelle de cette personne ou de cet objet intacte dans le cerveau du bibliothécaire. Si vous posez une question piège comme « Cette personne est-elle sur la photo ? », le bibliothécaire pourrait encore la reconnaître, même s'il a promis de ne pas prononcer son nom. Pire encore, lorsqu'il est contraint d'oublier, le bibliothécaire pourrait commencer à inventer des choses, décrivant avec assurance un chat alors que la photo montre en réalité un chien, simplement pour combler le silence.

L'article présente une nouvelle méthode appelée HFRU (Unapprentissage par Renforcement Sans Hallucination) pour résoudre ce problème. Voici comment elle fonctionne, en utilisant des analogies simples :

1. Le Problème : « Amnésie Superficielle »

La plupart des méthodes actuelles tentent de faire oublier au bibliothécaire en éditant uniquement sa parole (le décodeur de langage).

L'Analogie : Imaginez dire à un élève : « Ne prononcez pas le mot 'pomme'. » L'élève cesse de dire « pomme », mais il conserve toujours une image mentale parfaite d'une pomme dans sa tête. Si vous lui montrez une photo et lui demandez « Quel fruit est-ce ? », il pourrait toujours savoir qu'il s'agit d'une pomme, ou paniquer et deviner « banane » simplement pour éviter de dire « pomme ». C'est ce qu'on appelle une hallucination — inventer des faits qui n'existent pas.

2. La Solution : Recâbler les « Yeux »

HFRU adopte une approche différente. Au lieu de simplement éditer la parole, elle s'attaque directement à la partie du cerveau du bibliothécaire qui voit et reconnaît les images (l'encodeur de vision).

L'Analogie : Au lieu de simplement dire à l'élève de ne pas dire « pomme », HFRU floute doucement l'image mentale de la pomme dans l'esprit de l'élève. Elle remodèle la façon dont le cerveau traite ce motif visuel spécifique, de sorte qu'il ne ressemble plus à une pomme.

3. Le Processus en Deux Étapes

HFRU utilise un processus d'entraînement en deux étapes pour réaliser cela en toute sécurité :

Étape 1 : La Phase de « Confusion » (Démarrage à froid)
Le système montre au bibliothécaire des images des éléments à oublier (par exemple, un chien spécifique) mais lui demande de les décrire comme autre chose (par exemple : « C'est un lapin »).
- Objectif : Cela brise le lien fort entre l'image et son nom d'origine. C'est comme enseigner au bibliothécaire que lorsqu'il voit ce chien spécifique, il doit penser « lapin » à la place. Cela affaiblit la mémoire avant que le vrai travail ne commence.
Étape 2 : La Phase de « Récompense Intelligente » (Apprentissage par Renforcement)
Le système utilise un système de notation de type jeu (appelé GRPO) pour entraîner le bibliothécaire.
- La Pénalité : Si le bibliothécaire mentionne le nom interdit (par exemple, « chien »), il perd des points.
- La Récompense d'Abstraction (Le Secret) : C'est la grande innovation de l'article. Si le bibliothécaire est contraint d'oublier « chien », il pourrait être tenté de deviner « chat » (hallucination). HFRU accorde une prime si le bibliothécaire utilise un mot sûr et général comme « animal » à la place.
- L'Analogie : Imaginez un enseignant disant à un élève : « Ne dites pas 'chien'. » Si l'élève dit « chat », il obtient une mauvaise note (hallucination). Mais s'il dit « animal », il reçoit une étoile dorée. Cela enseigne à l'élève à être vague et prudent plutôt que d'inventer une réponse spécifique incorrecte.

4. Les Résultats

L'article a testé cette méthode sur deux types de tâches : la reconnaissance d'objets (comme les chiens et les éléphants) et la reconnaissance de visages (comme des personnes célèbres spécifiques).

Oubli : HFRU a réussi à faire oublier au bibliothécaire les cibles spécifiques dans 98 à 99 % des cas.
Souvenir : Elle a préservé la capacité du bibliothécaire à reconnaître tout le reste (comme les chats ou d'autres personnes) presque parfaitement.
Pas d'Hallucinations : De manière cruciale, contrairement à d'autres méthodes qui poussaient le bibliothécaire à deviner frénétiquement, HFRU n'a presque jamais inventé d'objets fictifs. Le bibliothécaire disait soit « Je ne sais pas », soit utilisait un mot général sûr comme « animal ».

Résumé

Pensez à HFRU comme à une chirurgie spécialisée de la mémoire. Au lieu de simplement mettre une muselière au bibliothécaire pour l'empêcher de prononcer certains mots, elle recâble soigneusement son centre de reconnaissance visuelle. Elle lui apprend à remplacer des souvenirs spécifiques et sensibles par des concepts généraux et sûrs, garantissant qu'il n'invente pas accidentellement des choses lorsqu'il tente d'oublier. Le résultat est un modèle qui oublie vraiment ce qu'il doit oublier, sans perdre la tête ni inventer de mensonges.

Résumé technique : Désapprentissage par renforcement sans hallucination d'objets pour les modèles vision-langage

Définition du problème

Les modèles vision-langage (VLM) présentent des risques significatifs en matière de vie privée, de droits d'auteur et de biais, rendant nécessaire le désapprentissage automatique pour éliminer des connaissances sensibles spécifiques. Cependant, les méthodes de désapprentissage existantes reposent principalement sur le fine-tuning du décodeur de langage. Les auteurs identifient une limitation critique de cette approche : elle conduit à un oubli superficiel. Bien que le modèle puisse supprimer la génération de mots-clés spécifiques dans un texte ouvert, il conserve les représentations visuelles sous-jacentes du concept cible au sein de l'encodeur visuel. Par conséquent, le modèle peut toujours reconnaître ou raisonner sur le concept oublié lorsqu'il est sollicité de manière discriminative (par exemple, « Cette personne est-elle X ? »).

De plus, l'article met en évidence un mode de défaillance précédemment négligé : l'hallucination d'objets. Lorsqu'un modèle est contraint de supprimer un concept sans alternative sémantique, il peut redistribuer arbitrairement la masse de probabilité vers des objets non liés, non ancrés dans l'entrée visuelle. L'article définit formellement l'objectif du désapprentissage de VLM sans hallucination d'objets, qui exige :

Un oubli efficace : Éliminer l'influence du concept cible à la fois sur les tâches génératives et discriminatives.
La préservation de l'utilité : Maintenir les performances sur les données non cibles (à conserver) et les benchmarks généraux.
Une génération sans hallucination : S'assurer que lorsque le modèle ne peut pas identifier un concept cible, il n'affirme pas avec confiance la présence d'objets non liés. Au lieu de cela, il doit soit exprimer une incertitude, soit utiliser des hyperonymes sémantiquement valides (par exemple, « un animal » au lieu d'un « chien » spécifique ou d'un « chat » aléatoire).

Méthodologie : Cadre HFRU

Les auteurs proposent HFRU (Désapprentissage par renforcement sans hallucination), un cadre en deux étapes qui opère directement sur l'encodeur visuel plutôt que sur le décodeur de langage. Cela assure une suppression sémantique profonde au niveau de la représentation.

Étape 1 : Perturbation de l'alignement à froid

La première étape utilise un ajustement fin supervisé (SFT) pour perturber l'alignement entre les caractéristiques visuelles de l'ensemble à oublier et leurs étiquettes sémantiques d'origine.

Processus : Le modèle génère une légende pour une image de l'ensemble à oublier. Les mots-clés liés au concept cible sont remplacés aléatoirement par des tokens de l'ensemble à conserver (par exemple, remplacer « chien » par « lapin »).
Objectif : L'encodeur visuel est entraîné à associer l'entrée visuelle au texte modifié et non correspondant. Cela affaiblit la dépendance du modèle au concept cible et initialise l'encodeur dans un état où l'association d'origine est considérablement perturbée.

Étape 2 : Désapprentissage par renforcement uniquement sur l'encodeur

La deuxième étape utilise l'optimisation de politique relative par groupe (GRPO) pour affiner les paramètres de l'encodeur visuel tout en maintenant le décodeur de langage figé.

Structure de récompense composite : L'innovation centrale est une fonction de récompense conçue pour pénaliser les concepts cibles tout en encourageant des abstractions sémantiquement valides.
- Récompense de pénalité ( $R_{pen}$ ) : Pénalise la génération de mots-clés cibles et de leurs synonymes.
- Récompense d'abstraction ( $R_{abs}$ ) : Récompense la génération d'hyperonymes (par exemple, « animal » pour « chien ») plutôt que d'objets non liés. Cela agit comme une « alternative sémantique sûre », guidant le modèle à substituer les concepts oubliés par des catégories de niveau supérieur valides.
- Récompense de conservation ( $R_{retain}$ ) : Garantit que le modèle conserve la connaissance des concepts non cibles.
Optimisation : Le GRPO calcule les avantages relatifs au sein d'un groupe de réponses échantillonnées pour stabiliser l'entraînement. La fonction objectif maximise la récompense pour l'ensemble à oublier (pénalisant les cibles, récompensant les hyperonymes) et l'ensemble à conserver (récompensant la préservation), remodelant ainsi efficacement l'espace de représentation latente.

Garantie théorique

L'article fournit une preuve théorique (Lemme 1) démontrant que l'inclusion de la récompense d'abstraction ( $R_{abs}$ ) réduit systématiquement le taux d'hallucination attendu par rapport à l'utilisation d'une récompense de pénalité uniquement. En fournissant un chemin sémantique valide (hyperonymes) pour la masse de probabilité retirée du concept cible, le modèle est moins susceptible de générer des objets non ancrés et hallucinés.

Contributions clés

Définition du problème : Les auteurs définissent formellement le nouveau problème du désapprentissage de VLM sans hallucination d'objets, abordant le mode de défaillance où la suppression d'un concept déclenche une génération de contenu non ancré.
Cadre HFRU : Ils proposent un cadre en deux étapes ciblant l'encodeur visuel. Cela assure une suppression sémantique profonde plutôt qu'un filtrage lexical superficiel. Théoriquement, ce mécanisme réduit les hallucinations sur l'ensemble à oublier.
Nouvelle visualisation : Les auteurs développent une méthode pour reconstruire la perception interne à partir d'états cachés en utilisant un réseau de mappage et un IP-Adapter basé sur la diffusion, permettant l'observation directe de l'évolution des caractéristiques visuelles pendant le désapprentissage.
Évaluation complète : Des expériences extensives sur la reconnaissance d'objets (PACS) et l'identité faciale (VGGFace2) démontrent l'efficacité du cadre.

Résultats expérimentaux

Les auteurs ont évalué HFRU sur les ensembles de données PACS et VGGFace2, en le comparant à des bases de référence incluant l'ascension du gradient (GA), la différence de gradient (GD), NPO, RMU, SAUCE et SLUG.

Oubli et conservation : HFRU a atteint un taux d'oubli moyen et des performances de conservation dépassant 98 % sur divers formats de prompt (Original, Reformulé et Discriminatif).
Atténuation des hallucinations : Contrairement aux bases de référence qui sacrifient souvent l'oubli au profit des hallucinations (par exemple, SAUCE a montré un oubli élevé mais un taux d'hallucination de 20,67 % sur VGGFace2), HFRU a introduit une hallucination d'objets négligeable (0,25 % sur PACS, 1,34 % sur VGGFace2).
Utilité générale : HFRU a maintenu des capacités vision-langage générales comparables au modèle de base, tandis que de nombreuses bases de référence ont subi une dégradation significative sur les benchmarks généraux (MMStar, OCRBench, MMMU, RealWorldQA).
Études d'ablation : La suppression de la récompense d'abstraction a entraîné une augmentation massive des hallucinations (jusqu'à 99,67 % sur VGGFace2), confirmant son rôle critique. Il a été démontré que la restriction des mises à jour à l'encodeur visuel était supérieure au fine-tuning de tous les paramètres, qui aboutissait souvent à une suppression superficielle au niveau des tokens.

Importance et affirmations

L'article affirme que HFRU établit un nouvel état de l'art pour le désapprentissage de VLM en résolvant le double défi de la suppression efficace des concepts et de la prévention des hallucinations. L'importance réside dans :

Changement de focalisation : Déplacer le désapprentissage du décodeur de langage vers l'encodeur visuel pour atteindre une effacement sémantique véritable.
Sécurité et fiabilité : Fournir un mécanisme qui empêche les modèles d'halluciner de nouveaux faits, potentiellement nocifs ou incorrects, lorsqu'ils sont contraints d'oublier des données spécifiques.
Robustesse : Démontrer que la méthode se généralise à des contextes hors distribution (OOD) (par exemple, le domaine Croquis dans PACS) sans surapprentissage à la distribution d'entraînement.

Les auteurs concluent que leur travail souligne la nécessité d'interventions au niveau de l'encodeur et d'une conception structurée des récompenses pour un désapprentissage multimodal fiable, offrant une approche pratique pour des systèmes d'IA plus sûrs et plus dignes de confiance.