Résumé Technique : ScaleErasure

Énoncé du Problème

Le document traite du défi de l'effacement de concept dans la génération d'images par auto-régression (AR) à échelle suivante (next-scale), un paradigme distinct des modèles de diffusion dominants. Alors que l'effacement de concept vise à empêcher les modèles de générer du contenu non sécurisé (par exemple, la nudité ou des personnages protégés par le droit d'auteur) tout en préservant la capacité générative générale, les méthodes existantes sont principalement conçues pour les modèles de diffusion et ne se transposent pas directement à l'AR à échelle suivante.

La difficulté fondamentale dans le paradigme de l'AR à échelle suivante réside dans l'enchevêtrement sémantique sévère. Contrairement aux modèles de diffusion qui génèrent à des résolutions fixes, les modèles AR à échelle suivante génèrent des images de grossier à fin, en commençant par des résolutions extrêmement basses (par exemple, des jetons/tokens de 1×1 ou 2×2). À ces échelles précoces, l'information sémantique est hautement compressée dans un nombre limité de jetons. Par conséquent, un seul jeton encode souvent des sémantiques non sécurisées (ex: « nudité ») et des sémantiques sûres non liées (ex: « arrière-plan » ou « ciel »). Cet enchevêtrement rend difficile la sélection et l'effacement précis de concepts non sécurisés sans dégrader la structure globale de l'image ou supprimer du contenu non lié.

Méthodologie : ScaleErasure

Les auteurs proposent ScaleErasure, une méthode d'effacement de concept au moment de l'inférence qui effectue une intervention minimale en guidant sélectivement les logits prédits. La méthode fonctionne sans modifier les paramètres du modèle, en modulant plutôt le processus de génération lors de l'inférence.

Mécanisme Central

ScaleErasure identifie les logits les plus pertinents pour un concept non sécurisé et les guide vers un concept sûr correspondant. Ceci est réalisé grâce à deux passages supplémentaires (forward passes) conditionnés par le concept non sécurisé et un concept sûr. Les logits guidés finaux ($\ell^\star_k$) sont une combinaison des logits standards du Classifier-Free Guidance (CFG) et des nouveaux logits de Safe Guidance (SG), déterminés par un masque binaire ($M_k$) :
$$\ell^\star_k = M_k \cdot \ell^{SG}_k + (1 - M_k) \cdot \ell^{CFG}_k$$

Pour garantir une intervention précise et minimale, la sélection des logits et l'application du guidage sont conduites à travers trois dimensions orthogonales :

1. Sélection au niveau de l'échelle (Scale-Level Selection) :

   • Raisonnement : Les échelles précoces (1×1, 2×2) capturent la structure globale et sont trop sensibles à l'intervention ; les échelles tardives affinent principalement les détails de haute fréquence où le contenu non sécurisé est déjà fixé.
   • Stratégie : Le guidage est restreint à une plage intermédiaire bornée d'échelles (par exemple, les échelles 3 à 8). Cela permet également une stratégie d'arrêt précoce (early-stop) pour les passages supplémentaires, réduisant considérablement la charge de calcul par rapport à un guidage sur toutes les échelles.

2. Sélection au niveau du jeton (Token-Level Selection) :

   • Raisonnement : Pour éviter de perturber des régions non liées (ex: le ciel ou l'arrière-plan) au sein d'une carte de jetons.
   • Stratégie : La méthode exploite le mécanisme d'attention croisée (cross-attention) interne du modèle. Elle calcule des scores de similitude entre les requêtes visuelles et les clés de concepts (concepts non sécurisés vs concepts non liés comme l'« arrière-plan »). Les jetons présentant une forte pertinence avec le concept non sécurisé (dépassant un seuil $\tau_{token}$) sont sélectionnés pour l'intervention, tandis que les autres sont préservés.

3. Sélection au niveau du canal de bits (Bit-Channel-Level Selection) :

   • Raisonnement : Les modèles AR à échelle suivante (spécifiquement ceux utilisant la quantification sphérique binaire) représentent les jetons via plusieurs canaux de bits indépendants. Un seul jeton peut contenir à la fois des bits non sécurisés et sûrs.
   • Stratégie : La méthode compare les vecteurs de logits du passage conditionné par le prompt et du passage conditionné par le concept non sécurisé. Les canaux de bits présentant de faibles différences absolues (inférieures au seuil $\tau_{bit}$) sont jugés non pertinents pour le concept non sécurisé et sont exclus du guidage. Cela permet un désenchevêtrement fin des sémantiques au sein d'un même jeton.

Formulation du Safe Guidance

Pour les logits sélectionnés, la méthode substitue les logits conditionnés par le prompt par une version guidée par la sécurité. La formule de guidage incorpore un terme de pénalisation pour supprimer les activations non sécurisées résiduelles :
$$\ell^{SG}_k = \ell^{uc}_k + \beta_{CFG}(\ell^{sa}_k - \ell^{us}_k)$$
où $\ell^{sa}_k$ et $\ell^{us}_k$ sont les logits conditionnés respectivement sur les concepts sûrs et non sécurisés.

Contributions Clés

1. Cadre ScaleErasure : Une nouvelle méthode d'effacement de concept au moment de l'inférence, spécifiquement adaptée au paradigme de l'AR à échelle suivante, traitant le défi unique de l'enchevêtrement sémantique.
2. Stratégie de Guidage de Logits Sélectif : Un mécanisme de sélection en trois dimensions (échelles, jetons et canaux de bits) qui permet un effacement précis des concepts non sécurisés tout en minimisant les dommages collatéraux sur la capacité de génération générale.
3. Optimisation de l'Efficacité : L'introduction d'une stratégie d'arrêt précoce pour les passages supplémentaires, ce qui réduit substantiellement le coût de calcul et la latence d'inférence tout en maintenant la performance de sécurité.

Résultats Expérimentaux

La méthode a été évaluée sur le modèle Infinity-2B sur deux domaines : l'effacement de la nudité (en utilisant le benchmark I2P) et l'effacement de copyright (Pikachu et SpongeBob).

• Effacement de la nudité : ScaleErasure a obtenu le nombre total de contenus nues le plus bas sur I2P (182 contre 296 pour le meilleur baseline, ESD-u) tout en maintenant une capacité de génération générale supérieure (FID le plus bas de 2,91 et score CLIP le plus élevé de 30,68 sur MS-COCO).
• Effacement de Copyright : La méthode a obtenu le meilleur $H_a$ moyen (une métrique équilibrant suppression et préservation) pour les deux personnages, démontrant une efficacité constante.
• Performance Qualitative : Les comparaisons visuelles ont montré que ScaleErasure a réussi à supprimer le contenu non sécurisé tout en préservant la structure globale et les détails de l'arrière-plan, là où les baselines introduisaient souvent des artefacts, des distorsions ou échouaient à effacer complètement le concept.
• Efficacité : En employant la stratégie d'arrêt précoce, ScaleErasure n'a engendré qu'une augmentation de latence d'environ 9 % par rapport au modèle de base, contre environ 35 % si le guidage était appliqué sur toutes les échelles.

Signification et Revendications

L'article affirme que ScaleErasure représente une étape importante pour sécuriser les modèles auto-régressifs à échelle suivante, un paradigme largement inexploré concernant les mécanismes de sécurité. Les auteurs soulignent que leur approche parvient à un effacement de concept précis dans des conditions d'enchevêtrement sémantique sévère, un problème où les méthodes précédentes peinent.

La portée de ce travail réside dans sa capacité à supprimer des contenus non sécurisés (tels que la nudité ou les matériaux protégés par le droit d'auteur) sans altérer de façon permanente les paramètres du modèle ni dégrader significativement la fidélité de génération générale du modèle. En opérant au moment de l'inférence avec une intervention minimale, la méthode offre une solution flexible, réversible et déployable pour la sécurité des systèmes émergents de génération d'images basés sur l'AR. Les auteurs notent que bien que la méthode améliore la sécurité, elle opère dans les contraintes du paradigme spécifique et ne prétend pas résoudre tous les défis de sécurité de l'IA générative.