🤖 AI

Safe Autoregressive Image Generation with Iterative Self-Improving Codebooks

Ce document propose un cadre d'auto-amélioration itératif qui exploite le propre jugement d'un modèle multimodal unifié pour identifier les générations non sécurisées et affiner de manière adaptative son codebook visuel, améliorant ainsi la sécurité de la génération d'images autorégressive sans nécessiter de rétroaction humaine externe.

Auteurs originaux : Yunqi Xue, Zhijiang Li, Philip Torr, Jindong Gu

Publié 2026-06-26

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yunqi Xue, Zhijiang Li, Philip Torr, Jindong Gu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un artiste très talentueux et omniscient qui peut peindre des images basées sur vos descriptions. Cet artiste ne peint pas avec un pinceau sur une toile ; il construit des images un minuscule « bloc de pixels » à la fois, comme un maître bâtisseur emboîtant des briques de type Lego à partir d'une boîte géante. Cette boîte de briques est appelée un codebook (un livre de codes).

Le problème est que, parfois, si vous demandez à cet artiste de peindre quelque chose de spécifique (même sans intention malveillante), il pourrait accidentellement choisir une « mauvaise brique » dans la boîte, ce qui résulterait en une image effrayante, violente ou inappropriée.

Cet article propose une manière ingénieuse de corriger la boîte de briques de l'artiste afin qu'il puisse ne construire que des images sûres, sans avoir besoin d'un enseignant humain pour vérifier constamment son travail. Voici comment ils font, en utilisant une histoire simple en trois étapes :

1. L'artiste devient son propre professeur (Auto-réflexion)

D'habitude, pour apprendre à un artiste à ne pas faire de mauvaises images, vous avez besoin d'un humain qui regarde chaque peinture et dit : « Non, c'est trop violent », ou « Oui, c'est sûr ». Cela prend un temps infini.

Au lieu de cela, cette méthode permet à l'artiste de regarder son propre travail.

L'artiste essaie de peindre une image basée sur une consigne.
L'artiste regarde ensuite l'image et se demande : « Est-ce que cela semble dangereux ou inapproprié ? »
Si l'artiste pense : « Oui, c'est mauvais », il crée un « mauvais exemple ».
Ensuite, il essaie de peindre une version similaire mais sûre de cette image.
L'artiste possède alors une paire : une « Mauvaise Image » et une « Bonne Image ».

2. Trouver les « Mauvaises Briques » (L'espace nuisible)

Les chercheurs ont réalisé que la différence entre la « Mauvaise Image » et la « Bonne Image » n'est pas aléatoire ; elle est cachée dans les « briques » (tokens) spécifiques que l'artiste a choisies.

Ils prennent les « mauvaises » briques et les « bonnes » briques et les comparent.
Ils utilisent les mathématiques pour trouver la direction spécifique dans la boîte de briques où se trouve la « méchanceté ». Voyez cela comme le fait de trouver un coin sombre spécifique dans la salle de stockage où tous les morceaux de Lego dangereux se cachent.
Ils verrouillent ensuite ce coin. Ils s'assurent que l'artiste ne pourra plus jamais atteindre ce coin sombre pour y attraper une brique. C'est ce qu'on appelle projeter le codebook dans un « espace inoffensif ».

3. Polir l'art (Ajustement adaptatif)

C'est la partie délicate : si vous verrouillez simplement les mauvaises briques, l'artiste pourrait commencer à faire des images laides ou floues car il lui manque certains outils nécessaires pour l'art normal.

Pour corriger cela, les chercheurs laissent l'artiste s'exercer à peindre des images sûres à nouveau, mais avec une règle stricte : Vous ne pouvez utiliser que les outils qui ne sont PAS dans le coin sombre.
L'artiste apprend à reconstruire ses compétences en utilisant uniquement les « outils sûrs », en lissant les imperfections pour que les images redeviennent magnifiques.
Ce processus est itératif, ce qui signifie qu'ils répètent le cycle : Essayer de peindre -> Vérifier la nocivité -> Verrouiller le mauvais coin -> S'exercer à la peinture sûre -> Répéter. À chaque fois, l'artiste s'améliore pour éviter les choses mauvaises tout en préservant la haute qualité de l'art.

Le Résultat

À la fin de ce processus, l'artiste possède une nouvelle boîte de briques améliorée.

Il peut toujours peindre des chefs-d'œuvre magnifiques, complexes et émotionnels (comme les exemples de « peinture du XIXe siècle » ou de « portrait émotionnel sombre » dans l'article).
Mais si vous lui demandez de peindre quelque chose de nuisible (comme de la violence ou de la nudité), les « mauvaises briques » ne sont tout simplement plus là pour être choisies. L'artiste peindra alors une version sûre de la scène.

En bref : L'article apprend à un artiste IA à se surveiller lui-même. Il identifie ses propres erreurs, repère exactement quels « outils mentaux » causent ces erreurs, retire ces outils, puis réapprend à être un grand artiste en utilisant uniquement les outils sûrs. Le meilleur dans tout cela ? Il fait tout cela sans avoir besoin d'un humain pour étiqueter des milliers d'images mauvaises pour lui.

Résumé Technique : Génération d'Images Auto-régressive Sécurisée par des Codebooks à Auto-amélioration Itérative

Énoncé du Problème

Les modèles multimodaux unifiés auto-régressifs génèrent des images en prédisant séquentiellement des jetons visuels discrétisés dérivés d'un codebook (dictionnaire de codes), plutôt qu'en opérant dans des espaces latents continus comme les modèles de diffusion. Bien que cette architecture offre des avantages en termes de vitesse et de cohérence du conditionnement textuel, elle soulève des préoccupations critiques en matière de sécurité : à quel point les images générées par ces systèmes auto-régressifs sont-elles sûres ? Les méthodes de mitigation de la sécurité existantes pour les modèles de diffusion (par exemple, le guidage de l'espace latent, le filtrage post-génération) reposent sur des représentations continues et ne se généralisent pas bien à la génération basée sur des jetons discrets des modèles auto-régressifs. De plus, les approches actuelles nécessitent souvent une annotation humaine extensive ou des boucles de rétroaction externes, ce qui est gourmand en ressources et difficile à mettre à l'échelle.

Méthodologie

Le papier propose des Codebooks à Auto-amélioration Itérative, une méthode qui exploite les propres capacités du modèle multimodal unifié pour identifier et éliminer les concepts nocifs sans annotation humaine externe. L'approche consiste en deux étapes fondamentales répétées de manière itérative jusqu'à convergence :

1. Construction de l'Espace Nocif et Projection

Appariement de Données Auto-générées : Le modèle génère des images à partir d'un ensemble de prompts contenant des attributs nocifs spécifiques. En utilisant ses propres capacités de compréhension, le modèle identifie quelles images générées sont nocives. Pour chaque prompt nocif ( $x_u$ ), le modèle génère un prompt alternatif sûr mais sémantiquement similaire ( $x_s$ ) en remplaçant les termes dangereux par des termes bénins. Cela crée des jeux de données image-texte appariés : $(x_u, y_u)$ pour le nocif et $(x_s, y_s)$ pour le sûr.
Extraction de la Différence de Caractéristiques : Le modèle extrait les caractéristiques d'embedding ( $F_u$ et $F_s$ ) pour les jetons correspondant à ces prompts à partir de son codebook. La différence entre ces vecteurs de caractéristiques ( $F_u - F_s$ ) est calculée pour isoler les caractéristiques spécifiques associées au concept nocif.
Construction de l'Espace de Sous-ensemble : Ces vecteurs de différence sont agrégés et traités via la Décomposition en Valeurs Singulières (SVD) pour extraire les composantes principales. Les $k$ vecteurs singuliers supérieurs définissent un Sous-espace Nocif ( $P$ ) qui capture les caractéristiques centrales du concept nocif (ex: nudité, violence).
Projection Forte : Le codebook original ( $W_{ori}$ ) est projeté pour supprimer les composantes situées dans ce sous-espace nocif. Le codebook projeté ( $W_{proj}$ ) est calculé comme suit :
$W_{proj} = W_{ori} (I - \lambda \cdot \text{Proj}_P(W_{ori}))$
Cela garantit que les nouveaux embeddings sont orthogonaux à l'information nocive.

2. Fine-Tuning Adaptatif dans l'Espace Inoffensif

Restauration de la Qualité : La projection forte de l'étape 1 peut dégrader la qualité de l'image en supprimant des détails bénins. Pour contrer cela, la méthode effectue un fine-tuning adaptatif sur le codebook projeté.
Contrainte de l'Espace Nul : Une matrice de perturbation ( $\Delta$ ) est optimisée pour améliorer la fidélité de l'image. Crucialement, cette perturbation est contrainte dans l'espace nul de la matrice de différence $E$ (l'espace orthogonal au sous-espace nocif). Cela garantit que le processus de fine-tuning améliore la qualité visuelle sans réintroduire d'informations nocives.
Codebook Final : Le codebook sûr final est construit comme $W_{safe} = W_{proj} + \Delta \cdot Q$ , où $Q$ est la matrice de projection sur l'espace nul.

L'ensemble du processus est itératif : le codebook mis à jour est utilisé pour générer de nouvelles données, affiner l'espace nocif et améliorer davantage la sécurité et la qualité.

Contributions Clés

Exploration Systématique Première : Les auteurs sont les premiers à traiter systématiquement la sécurité de la génération d'images au sein des cadres multimodaux unifiés auto-régressifs, se distinguant du paysage de sécurité des modèles de diffusion déjà bien étudié.
Mécanisme d'Auto-amélioration Itérative : Le papier introduit une méthode qui utilise la compréhension interne et les capacités de jugement du modèle pour construire des paires nocives/sûres et mettre à jour le codebook, éliminant le besoin de jeux de données annotés ou de feedback humain.
Sécurité Centrée sur le Codebook : Contrairement aux méthodes qui modifient les trajectoires de génération ou les espaces latents, cette approche modifie directement les représentations de jetons visuels discrets (le codebook), offrant une solution fondamentale pour les modèles auto-régressifs.

Résultats Expérimentaux

La méthode a été évaluée sur huit jeux de données de prompts nocifs (incluant I2P, CoPro, ViSU, P4D et MPUP) à travers cinq modèles multimodaux unifiés (série Janus, VILA-U, Emu3, LlamaGen, OmniMamba).

Amélioration de la Sécurité : La méthode a considérablement réduit la génération de contenu inapproprié dans sept catégories (Sexe, Violence, Haine, Auto-mutilation, Activités illégales, Harcèlement, Choc). Par exemple, sur le dataset I2P, la proportion de contenu sexuel est passée de 0,12 (Baseline) à 0,04 (Safe-CB).
Efficacité Itérative : Les expériences ont démontré que la suppression itérative surpasse la suppression en un seul tour. Les améliorations de la sécurité ont généralement atteint un plateau après trois itérations, l'espace nocif devenant plus raffiné au fil du temps.
Préservation des Capacités : La méthode a préservé les capacités intrinsèques de génération d'images et de compréhension de texte du modèle. Les benchmarks comme Geneval (génération) et MMMU (compréhension) n'ont montré aucune dégradation significative.
Fidélité Sémantique : Bien que la projection forte initiale ait causé une baisse de l'alignement prompt-image (mesuré par le CLIP-Score et TIFA), l'étape de fine-tuning adaptatif a réussi à récupérer la cohérence sémantique, ramenant les performances de Safe-CB proches de la baseline sur les prompts bénins.
Généralisation : L'approche s'est bien généralisée aux données hors distribution (OOD) et à diverses tailles de modèles (de 1B à 7B paramètres).

Signification et Revendications

Le papier affirme que ce travail établit un nouveau paradigme pour la sécurité de la génération d'images auto-régressive. En exploitant l'auto-jugement du modèle pour affiner de manière itérative son codebook interne, la méthode parvient à des améliorations de sécurité sans dépendre de l'annotation humaine externe ou du réentraînement complet du modèle. Les auteurs soulignent que cette approche élimine efficacement les correspondances nocives tout en maintenant des détails visuels de haute qualité, offrant une solution évolutive et auto-entretenue pour la génération multimodale sûre. Le travail met en évidence que la sécurité dans les modèles auto-régressifs nécessite des stratégies distinctes de celles des modèles de diffusion, en ciblant spécifiquement la nature discrète des jetons visuels.