💻 computer science

Closing the Safety Gap: Surgical Concept Erasure in Visual Autoregressive Models

Cet article introduit VARE et S-VARE, de nouveaux cadres permettant l'effacement chirurgical de concepts dans les modèles autorégressifs visuels en exploitant des jetons visuels auxiliaires et des fonctions de perte spécialisées afin d'éliminer les concepts dangereux tout en préservant la qualité de génération et la fidélité sémantique.

Auteurs originaux : Xinhao Zhong, Yimin Zhou, Zhiqi Zhang, Junhao Li, Yi Sun, Bin Chen, Shu-Tao Xia, Xuan Wang, Ke Xu

Publié 2026-02-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xinhao Zhong, Yimin Zhou, Zhiqi Zhang, Junhao Li, Yi Sun, Bin Chen, Shu-Tao Xia, Xuan Wang, Ke Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un artiste robotique très talentueux et hyperréaliste. Cet artiste ne peint pas en mélangeant des couleurs sur une toile ; il construit plutôt des images pixel par pixel, comme si l'on empilait des briques LEGO. Mais attention, il y a un pièat : il construit les images en couches, en commençant par un croquis flou et à basse résolution, puis en ajoutant progressivement plus de détails jusqu'à ce que l'image soit nette. C'est ainsi que fonctionnent les modèles de Vision Autorégressive (VAR). Ils sont incroyables pour créer des images à partir de texte, mais ils ont une faille dangereuse : si vous leur demandez de dessiner quelque chose d'inapproprié (comme une scène violente ou une figure nue), ils le feront volontiers.

Le problème est que les « outils de sécurité » que nous possédons actuellement pour les autres artistes IA (appelés modèles de Diffusion) ne fonctionnent pas sur ce robot qui empile des LEGO. Essayer de forcer ces anciens outils sur le nouveau robot, c'est comme essayer de réparer une montre numérique avec un marteau destiné à une horloge mécanique : cela casse tout.

Ce document présente une nouvelle façon « chirurgicale » de réparer le robot sans briser sa capacité à dessiner. Voici comment ils ont procédé, expliqué par des analogies simples :

1. Le Problème : L'effet Domino des erreurs

Dans les anciennes méthodes, lorsqu'on essayait d'empêcher le robot de dessiner quelque chose de mauvais (comme une « église »), les ingénieurs lui disaient : « Ne dessine pas une église ; dessine un bâtiment générique à la place. »

Cependant, comme le robot construit les images en couches (du flou vers le net), une petite erreur dans la première couche est amplifiée dans la deuxième, puis explose dans la troisième. Au moment où l'image est terminée, le robot a oublié comment dessiner quoi que ce soit correctement. L'image peut ressembler à une tache fondue. C'est ce qu'on appelle l'accumulation d'erreurs.

2. La Solution : Le « Guide Stabilisateur » (VARE)

Pour empêcher le robot de s'effondrer, les auteurs lui ont donné un guide stabilisateur.

Imaginez que vous enseigniez à un élève à dessiner un arbre. Au lieu de simplement dire : « Ne dessine pas un arbre », vous lui montrez une photo d'un arbre générique et dites : « Regarde cette photo. Maintenant, essaie de dessiner quelque chose qui ressemble presque à cela, mais sans les branches spécifiques qui en font un arbre. »

Les auteurs ont ajouté des « jetons visuels auxiliaires » (ce sont les images guides) à l'entraînement du robot. Cela permet de maintenir les couches du robot alignées. Cela empêche l'« effet domino » des erreurs, garantissant que le robot sait toujours construire une image cohérente même en essayant de supprimer un concept indésirable.

3. Le Scalpel : L'« Entropie Croisée Filtrée » (S-VARE)

Une fois que le robot est stable, ils avaient besoin de supprimer le concept indésirable précisément sans gâcher le reste de l'image.

L'ancienne méthode : Considérez cela comme l'utilisation d'un marteau-pilon pour retirer une écharde. Vous essayez d'effacer le concept en forçant la mathématique du robot à correspondre parfaitement à une version « sûre ». Mais comme le robot traite des « bits » numériques (des interrupteurs on/off) plutôt que des gradients fluides, cette approche au marteau-pilon finit souvent par briser toute l'image.
La nouvelle méthode (S-VARE) : Les auteurs ont inventé un scalpel. Ils ont réalisé que le robot fait parfois de petites erreurs, mais qu'il a généralement raison sur l'idée principale. Ils ont donc créé un « filtre ».
- Si le robot a déjà bien saisi l'essentiel de l'image (par exemple, il a correctement identifié le ciel et le sol), le scalpel ignore ces parties.
- Il ne coupe (n'ajuste) que les parties spécifiques où le robot essaie de dessiner le « mauvais » concept (comme la nudité ou l'objet spécifique).
- C'est comme un chirurgien qui n'opère que la tumeur et laisse les tissus sains intacts.

4. Le Filet de Sécurité : La « Perte de Préservation »

Parfois, lorsque vous essayez de corriger un problème spécifique, vous cassez accidentellement d'autres choses. Par exemple, si vous dites au robot « Ne dessine pas d'églises », il pourrait oublier comment dessiner n'importe quel bâtiment, ou il pourrait cesser de comprendre le mot « ciel ». C'est ce qu'on appelle la « dérive linguistique ».

Pour éviter cela, les auteurs ont ajouté un filet de sécurité. Ils rappellent constamment au robot : « Tout en supprimant l'église, assure-toi de toujours dessiner le ciel, l'herbe et la lumière exactement comme tu le faisais auparavant. » Cela garantit que le robot conserve ses compétences artistiques générales tout en perdant uniquement la capacité de dessiner l'élément interdit spécifique.

Les Résultats

Le papier a testé cela sur un modèle appelé « Infinity ». Les résultats sont impressionnants :

97 % de succès : Ils ont réussi à empêcher le robot de dessiner du contenu sensible (comme la nudité ou des objets spécifiques comme des églises).
Dommages minimaux : La capacité du robot à dessiner d'autres choses a chuté de moins de 2 %. Il dessine toujours des images magnifiques et de haute qualité.
Robustesse : Même lorsque des personnes ont essayé de piéger le robot avec des prompts confus ou « adverses » (en essayant de faire passer le mauvais concept en douce), le robot a toujours refusé de le dessiner.

En résumé : Les auteurs ont construit un cadre qui agit comme un guide stabilisateur, un scalpel chirurgical et un filet de sécurité, tout cela en un seul. Cela leur permet de supprimer chirurgicalement les concepts dangereux de cette nouvelle génération d'IA génératrice d'images sans détruire la capacité de l'IA à créer de l'art.

Résumé technique : Combler la faille de sécurité : L'effacement chirurgical de concepts dans les modèles visuels autorégressifs

Énoncé du problème

L'avancement rapide des modèles de Vision Autorégressifs (VAR), tels qu'Infinity, a considérablement amélioré la qualité et la vitesse de génération d'images à partir de texte en prédisant des jetons visuels à des échelles de plus en plus grandes. Cependant, ces modèles manquent de mécanismes de sécurité efficaces, ce qui les rend susceptibles de générer du contenu inapproprié (par exemple, des images NSFW, de la violence ou du matériel portant atteinte aux droits d'auteur) en réponse à des invites inappropriées.

Les techniques existantes d'effacement de concepts (CE), principalement conçues pour les modèles de diffusion (par exemple, les architectures U-Net ou FLUX), ne parviennent pas à se généraliser aux modèles VAR en raison de différences architecturales fondamentales :

Paradigme de prédiction : Les modèles de diffusion prédisent le bruit dans un espace continu, tandis que les modèles VAR prédisent des jetons visuels discrets de manière hiérarchique et autorégressive.
Accumulation d'erreurs : L'application naïve des méthodes de CE basées sur la diffusion (qui alignent les prédictions à des échelles individuelles) aux modèles VAR entraîne une accumulation d'erreurs à travers les échelles. Comme la génération VAR est hautement autorégressive (chaque jeton dépend des jetons précédents à une échelle plus grossière), l'alignement indépendant provoque un effondrement sévère de la qualité de l'image et une distorsion sémantique.
Inadéquation de l'optimisation : Les pertes de régression standard (par exemple, l'erreur quadratique moyenne ou MSE) utilisées dans l'effacement par diffusion sont mal adaptées à l'espace de probabilité discret de la prédiction de jetons dans les VAR, ce qui conduit à une optimisation instable.

Méthodologie

Les auteurs proposent un cadre à deux étapes : VARErasure (un cadre fondamental) et S-VARE (une méthode d'effacement chirurgical).

1. Cadre VARErasure : Jetons visuels auxiliaires

Pour prévenir l'accumulation d'erreurs entre les échelles, les auteurs introduisent un cadre qui exploite des jetons visuels auxiliaires.

Mécanisme : Au lieu d'entraîner le modèle à générer des jetons à partir de zéro en se basant sur une invite neutre, le cadre fournit au transformateur visuel des jetons auxiliaires générés à partir du modèle original (en utilisant soit l'invite cible $c^*$ , soit une invite neutre $c$ ) comme entrées supplémentaires.
Effet : Cela permet au modèle affiné de se concentrer sur l'ajustement des réponses de l'attention croisée (cross-attention) pour tenir compte du concept cible tout en maintenant l'essentiel du comportement de génération (structure et sémantique). Cela atténue l'« effondrement » observé lors d'un ajustement fin naïf.

2. S-VARE : Effacement chirurgical de concepts

S'appuyant sur VARE, les auteurs introduisent S-VARE, qui remplace les pertes de régression standard par une fonction de perte personnalisée adaptée à la prédiction de jetons discrets.

Perte d'entropie croisée filtrée ( $L_{FCE}$ ) :
- Reconnaissant que les modèles VAR (comme Infinity) utilisent la quantification sphérique binaire (BSQ) pour projeter les prédictions dans un espace de probabilité, les auteurs remplacent la MSE par l'entropie croisée.
- Stratégie de filtrage : Pour éviter la sur-optimisation (où le modèle dégrade même les jetons corrects), une stratégie de filtrage à deux niveaux est appliquée :
  1. Niveau Bit : Utilise un seuil $\gamma$ basé sur la précision de la classification binaire.
  2. Niveau Jeton : Exclut les jetons du calcul de la perte si le pourcentage de bits incorrects est inférieur à un seuil $\alpha$ (fixé à 25 %, cohérent avec la plage d'autocorrection du modèle).
- Cela garantit que seuls les jetons présentant des divergences sémantiques significatives contribuent au gradient, permettant un retrait « chirurgical » des concepts dangereux.
Perte de préservation ( $L_{Pre}$ ) :
- Pour contrer les effets secondaires de l'ajustement fin, tels que la dérive linguistique et la réduction de la diversité, une perte de préservation est introduite.
- Mécanisme : Elle aligne la sortie du modèle affiné (utilisant une invite neutre $c$ ) avec la sortie du modèle pré-entraîné original en utilisant la divergence de Kullback-Leibler (KL).
- Objectif : Cela garantit que le modèle affiné conserve les capacités génératrices et la diversité du modèle original pour les concepts non liés au concept effacé.

Principales contributions

Analyse systématique : Le papier est le premier à analyser systématiquement les limites de l'application des méthodes de CE basées sur la diffusion aux modèles VAR, identifiant l'accumulation d'erreurs et les inadéquations d'optimisation comme des points de défaillance primaires.
Cadre VARE : Propose un nouveau cadre utilisant des jetons visuels auxiliaires pour stabiliser la génération et réduire l'espace de recherche de l'optimisation, empêant l'effondrement de la qualité d'image.
Méthode S-VARE : Introduit une méthode d'effacement chirurgical comprenant :
- Une Perte d'entropie croisée filtrée ( $L_{FCE}$ ) qui cible précisément les jetons dangereux tout en respectant la nature discrète des prédictions VAR.
- Une Perte de préservation ( $L_{Pre}$ ) qui maintient la fidélité sémantique et la diversité des sorties.
Validation empirique : Démontre que l'approche atteint des taux d'effacement élevés (97 % des concepts sensibles) avec une dégradation minimale de la qualité de génération (moins de 2 % de baisse du score CLIP).

Résultats expérimentaux

Les auteurs ont évalué S-VARE sur le modèle Infinity-2B à travers trois catégories d'effacement : NSFW (nudité), Objet (ex: « église »), et Style (ex: « Van Gogh »).

Effacement NSFW : La méthode a obtenu un effacement quasi complet des concepts de nudité (réduisant considérablement la détection de contenu sensible) tout en préservant la génération de parties du corps normales. Elle a surpassé les bases de référence comme ESD, UCE et FMN, qui soit échouaient à effacer efficacement, soit dégradaient sévèrement la qualité de l'image.
Effacement d'Objet et de Style : La méthode a réussi à supprimer les objets et styles cibles tout en maintenant une précision de classification élevée pour les classes non concernées et en préservant la capacité du modèle à générer des images diverses et de haute qualité.
Robustesse : Testée contre des ensembles de données d'invites adverses (Ring-A-Bell, MMA, I2P) conçus pour induire de la nudité, S-VARE a considérablement réduit le taux de succès des attaques (ASR) par rapport au modèle original et aux autres bases de référence.
Études d'ablation : Ont confirmé que la perte d'entropie croisée filtrée est critique pour l'efficacité de l'effacement, tandis que la perte de préservation est essentielle pour maintenir la qualité de la génération et la fidélité aux instructions.

Signification et affirmations

Le papier affirme combler la faille de sécurité dans la génération de texte-vers-image autorégressive. Alors que les méthodes précédentes étaient efficaces pour les modèles de diffusion, elles étaient inapplicables à la nouvelle classe de modèles VAR. En introduisant VARE et S-VARE, les auteurs fournissent la première solution efficace d'effacement chirurgical de concepts pour les VAR.

Le travail démontre qu'il est possible de supprimer des concepts indésirables des modèles autorégressifs à grande échelle sans le fardeau computationnel impraticable d'un réentraînement complet ou la dégradation sévère de la qualité associée à un ajustement fin naïf. Cela facilite le déploiement sûr et évolutif des systèmes de génération basés sur les VAR dans des applications réelles.