Résumé Technique : CPC-VAR

Énoncé du Problème

Les modèles autorégressifs visuels (VAR) sont devenus un paradigme efficace pour la génération d'images à partir de texte, offrant une synthèse de haute qualité et une efficacité d'inférence améliorée par rapport aux modèles de diffusion. Cependant, les méthodes de personnalisation existantes basées sur VAR se limitent à des environnements statiques et ne parviennent pas à répondre aux demandes évolutives des utilisateurs. L'article identifie deux défis critiques dans l'application de l'apprentissage continu aux modèles VAR :

1. Oubli Catastrophique : L'apprentissage séquentiel de nouveaux concepts conduit à l'écrasement des connaissances préalablement acquises, un phénomène exacerbé par le fine-tuning complet des paramètres.
2. Enchevêtrement des Caractéristiques et Incohérence des Attributs : La synthèse de plusieurs concepts personnalisés au sein d'une seule image entraîne souvent une confusion sévère des caractéristiques, un liage incorrect des attributs et des artefacts visuels.

Les techniques existantes développées pour les modèles de diffusion (par exemple, la régularisation basée sur LoRA, l'adaptation orthogonale) ne se transfèrent pas efficacement aux architectures VAR en raison de différences fondamentales dans les dynamiques de génération (prédiction d'échelle suivante de grossier à fin) et les structures de représentation.

Méthodologie

Les auteurs proposent CPC-VAR (Génération Personnalisée et Compositionnelle Continue dans les Modèles Autorégressifs Visuels), un cadre unifié répondant aux deux défis susmentionnés grâce à deux composants principaux :

1. Sélection de Neurones de Concept basée sur le Gradient (GCNS)

Pour permettre l'apprentissage continu d'un seul concept sans oubli catastrophique, GCNS introduit une stratégie économe en paramètres qui évite le fine-tuning complet ou l'expansion du modèle.

• Sélection de Neurones : Au lieu de mettre à jour tous les paramètres, la méthode identifie un ensemble compact de neurones « pertinents pour le concept » au sein des couches d'Attention Croisée (CA) basé sur la magnitude absolue des gradients. Un masque binaire est construit où les paramètres dont les gradients dépassent un seuil sont marqués comme saillants.
• Masquage Dynamique : Pour prévenir les interférences entre des concepts similaires, le masque n'est pas statique. Il est rafraîchi périodiquement pendant l'entraînement (toutes les $e$ époques) et fusionné via une opération logique OU pour former un masque spécifique à la tâche.
• Régularisation Consciente des Conflits : Un masque global agrège l'historique de toutes les tâches précédentes. Pendant l'entraînement d'une nouvelle tâche, un terme de régularisation $L_2$ est appliqué uniquement aux paramètres chevauchant entre le masque de la tâche actuelle et le masque historique. Cela contraint les mises à jour des connaissances apprises précédemment tout en permettant des mises à jour libres aux paramètres non conflictuels.
• Perte Pondérée par l'Échelle : Reconnaissant que les échelles grossières dans VAR ont un impact plus important sur la qualité de génération, la méthode emploie une perte d'entropie croisée pondérée par l'échelle pour prioriser l'apprentissage à ces étapes critiques.

2. Stratégie de Composition Consciente du Contexte

Pour résoudre l'enchevêtrement des caractéristiques dans la synthèse multi-concepts, les auteurs proposent une stratégie adaptée à la nature hiérarchique de VAR.

• Modélisation Multi-Branche : Le processus d'inférence utilise une branche globale (pour la scène globale) et plusieurs branches locales (pour des concepts spécifiques avec des boîtes englobantes).
• Fusion Guidée Spatialement : L'intervention se produit aux échelles $s \ge 3$, où la structure spatiale globale est largement déterminée. Les caractéristiques locales en dehors d'une boîte englobante cible sont remplacées par des caractéristiques globales pour préserver le contexte tout en isolant les concepts.
• Fusion au Niveau des Logits : Pour intégrer davantage les concepts personnalisés avec l'arrière-plan, la méthode effectue une fusion pondérée des logits. Les logits finaux fusionnés combinent la prédiction globale avec des prédictions locales lissées, contrôlées par un hyperparamètre $\alpha$.

Contributions Clés

1. Première Étude Systématique : Ce travail présente la première enquête sur la génération personnalisée continue spécifiquement pour les modèles VAR, mettant en lumière les limites des approches basées sur la diffusion existantes lorsqu'elles sont appliquées à cette architecture.
2. Cadre GCNS : L'introduction de la Sélection de Neurones de Concept basée sur le Gradient, qui atténue l'oubli catastrophique grâce à la sélection de neurones spécifiques au concept et à une régularisation consciente des conflits, sans nécessiter de rejouer des données ni de stockage supplémentaire de modèle.
3. Composition Consciente du Contexte : Une stratégie novatrice pour la synthèse multi-concepts qui permet une composition précise et désenchevêtrée au sein du cadre VAR en utilisant des conditions spatiales et une modélisation de caractéristiques multi-branche.
4. Validation Empirique : Des expériences complètes démontrant des performances supérieures tant dans la personnalisation continue de séquences longues que dans la synthèse d'images multi-concepts par rapport aux références de l'état de l'art.

Résultats Expérimentaux

Le cadre a été évalué sur un benchmark comprenant huit tâches de personnalisation de concepts séquentiels (incluant des objets et des styles distincts) en utilisant le modèle Infinity-2B.

• Performance d'Apprentissage Continu : GCNS a nettement surpassé les références (incluant ARBooth, LoRA, LWF, CIDM et Adaptation Orthogonale) dans la préservation de la fidélité du sujet. Il a obtenu les scores DINO moyens les plus élevés (69,35) et les scores CLIP-I les plus élevés (83,76) sur toutes les tâches, démontrant une atténuation efficace de l'oubli catastrophique.
• Synthèse Multi-Concept : Les résultats qualitatifs ont montré que tandis que les méthodes de référence souffraient de « négligence du concept » (où l'invite principale dominait et les concepts locaux étaient ignorés) ou d'un mélange de caractéristiques, CPC-VAR a synthétisé avec succès plusieurs concepts distincts avec un liage précis des attributs et un placement spatial.
• Efficacité : Contrairement aux méthodes basées sur LoRA qui nécessitent une mémoire supplémentaire et une surcharge au moment de l'inférence pour la composition des poids, GCNS ne nécessite aucun espace de stockage supplémentaire et n'entraîne aucune surcharge au moment de l'inférence, car il met à jour le modèle de base directement avec un ensemble clairsemé de paramètres.

Importance et Revendications

L'article revendique que CPC-VAR établit une base solide pour une génération personnalisée évolutive et contrôlable dans les modèles VAR. En abordant les défis spécifiques de l'oubli catastrophique et de l'enchevêtrement des caractéristiques inhérents au paradigme autorégressif, la méthode permet aux utilisateurs d'étendre progressivement leur répertoire de concepts et de composer dynamiquement des scènes complexes. Les auteurs positionnent ce travail comme une étape nécessaire vers l'apprentissage tout au long de la vie en IA générative, offrant une alternative économiquement efficace aux méthodes d'apprentissage continu basées sur la diffusion. Le cadre est présenté comme particulièrement bénéfique pour les applications nécessitant une personnalisation séquentielle et une synthèse multi-sujets, telles que la création de contenu personnalisé dans le marketing et le divertissement, tout en maintenant une haute qualité générative.