Résumé Technique : SeqLoRA : Adaptation Orthogonale Bilevel pour la Génération Continue Multi-Concepts

1. Énoncé du Problème

Les modèles de diffusion texte-à-image ont révolutionné la génération de contenu visuel, et les méthodes de fine-tuning économes en paramètres comme l'adaptation à faible rang (LoRA) ont permis aux utilisateurs de personnaliser ces modèles avec des concepts visuels spécifiques à l'aide de données few-shot. Cependant, un défi majeur surgit lorsque les utilisateurs souhaitent générer des images contenant plusieurs concepts personnalisés simultanément (par exemple, un chien spécifique et un style artistique particulier).

Le problème scientifique central est l'interférence de représentation. Lorsque les concepts sont appris séparément, leurs adaptations LoRA correspondantes occupent souvent des régions se chevauchant dans l'espace des paramètres du modèle. Au moment de l'inférence, la simple sommation de ces adaptations entraîne un « crosstalk », où les caractéristiques d'un concept se répandent dans un autre, résultant en un enchevêtrement d'attributs, des identités affaiblies ou des générations incohérentes. Ce problème est exacerbé pour des concepts sémantiquement similaires dont les résidus de poids appris résident dans des sous-espaces presque identiques.

Les solutions existantes font face à un compromis :

• Fusion par entraînement/optimisation conjointe : Des méthodes comme Mix-of-Show permettent un réglage indépendant mais nécessitent une optimisation coûteuse et postérieure pour fusionner les adaptateurs pour chaque nouvelle combinaison, empêchant une composition véritablement modulaire.
• Méthodes à base figée : Des approches comme l'Adaptation Orthogonale et InfLoRA imposent l'orthogonalité en échantillonnant une base orthogonale partagée et en la figeant pendant l'entraînement, n'optimisant que la matrice de coefficients. Bien que cela garantisse l'orthogonalité et permette une fusion instantanée, figer la base restreint l'expressivité de l'adaptation, limitant la fidélité par concept.

Le défi central est de résoudre la tension entre orthogonalité (nécessaire pour prévenir l'interférence) et expressivité (nécessaire pour une adaptation haute fidélité) sans recourir à une fusion postérieure coûteuse.

2. Méthodologie : SeqLoRA

Les auteurs proposent SeqLoRA (Sequential regularized LoRA), un cadre d'apprentissage continu contraint qui optimise conjointement les deux facteurs LoRA ($A_i$ et $B_i$) tout en imposant l'orthogonalité des sous-espaces.

2.1 Formulation de l'Optimisation Contrainte

Pour un flux séquentiel de concepts $\tau_1, \dots, \tau_T$, lorsque le concept $i$ arrive, la méthode recherche des facteurs LoRA $(A_i, B_i)$ qui minimisent la perte de débruitage $L_i$ sous la contrainte que la nouvelle base $B_i$ soit orthogonale à toutes les bases précédemment apprises $\{B_j\}_{j<i}$ :
$$\min_{A_i, B_i \in \mathcal{B}_i} L_i(A_i, B_i)$$
où $\mathcal{B}_i = \{B_i \in \mathbb{R}^{m \times r} \mid B_j^\top B_i = 0, \forall j < i\}$.

2.2 Algorithme d'Optimisation Bilevel

Pour résoudre ce problème non convexe, SeqLoRA le reformule comme un problème d'optimisation bilevel. Au lieu d'une minimisation alternée simple (que les auteurs notent pouvoir être trop agressive et manquer les couplages), l'algorithme :

1. Niveau Inférieur : Pour une base fixe $B_i$, trouve les coefficients optimaux $A_i^*(B_i)$.
2. Niveau Supérieur : Optimise la base $B_i$ pour minimiser l'objectif réduit $\Phi_i(B_i) = L_i(A_i^*(B_i), B_i)$.

Le gradient de l'objectif de niveau supérieur $\nabla_{B_i} \Phi_i$ est calculé en utilisant la règle de la chaîne, qui inclut un terme de Hessian croisé ($\nabla^2_{B_i A_i} L_i$). Ce terme capture le couplage entre les deux blocs de variables, fournissant une direction de descente plus riche que la minimisation alternée standard.

2.3 Projection sous Forme Fermée

Pour imposer l'orthogonalité, l'algorithme effectue une projection géométrique sous forme fermée. Après avoir calculé une étape de gradient pour $B_i$, la mise à jour est projetée sur l'espace nul de l'enveloppe colonnaire de toutes les bases précédentes. Cela est réalisé via :
$$B_i^{(k+1)} = \left[ I - B_{int} (B_{int}^\top B_{int})^{-1} B_{int}^\top \right] \tilde{B}_i$$
où $B_{int}$ concatène toutes les bases précédentes. Cette projection élimine les composantes de gradient se chevauchant avec les concepts passés, garantissant une orthogonalité exacte sans nécessiter d'étapes de fusion itératives coûteuses.

3. Contributions Clés

1. Cadre SeqLoRA : L'introduction d'une méthode d'apprentissage continu contrainte qui optimise conjointement les deux facteurs LoRA via une optimisation bilevel tout en imposant une orthogonalité exacte des sous-espaces. Cela résout le compromis expressivité-interférence.
2. Garanties Théoriques :
   • Convergence : Les auteurs prouvent la descente monotone et la convergence asymptotique vers un point critique du problème contraint (Théorème 1).
   • Bornes d'Oubli : Ils modélisent les activations des couches résiduelles comme un processus sous-gaussien matriciel pour dériver des bornes à haute probabilité sur l'oubli catastrophique (Théorème 2).
   • Optimalité de la Base : Ils prouvent théoriquement que l'apprentissage de la base LoRA à partir des données minimise l'énergie d'interférence résiduelle plus efficacement que les méthodes à base figée (Théorème 7 et Proposition 2). Spécifiquement, une base apprise s'aligne avec les principales composantes de la covariance résiduelle dans le complément réalisable, tandis que les bases figées aléatoires sont sous-optimales sauf si l'espace des caractéristiques est isotrope.
3. Évolutivité Empirique : Évaluation sur des tâches de génération multi-concepts avec jusqu'à 101 concepts, démontrant une préservation d'identité et une évolutivité de pointe là où d'autres méthodes échouent en raison de contraintes mémoire ou de complexité de fusion.

4. Résultats Expérimentaux

Les auteurs ont évalué SeqLoRA par rapport à des bases de référence incluant Mix-of-Show, Orthogonal Adaptation, LoRACLR, et une variante Continual Alternating (sans couplage de Hessian croisé) en utilisant le jeu de données CustomConcept101.

• Préservation de l'Identité : SeqLoRA a surpassé toutes les bases de référence sur les métriques de préservation de l'identité (DINO, DINOv2, DINOv3) et la similarité visuelle holistique (DreamSim). Par exemple, dans le cadre de 32 concepts, SeqLoRA a obtenu un score DINO de $0,468 \pm 0,021$, surpassant Mix-of-Show ($0,436$) et Orthogonal Adaptation ($0,428$).
• Évolutivité : La méthode a réussi à s'étendre à 101 concepts. En revanche, les méthodes de fusion parallèle comme Mix-of-Show et LoRACLR ont rencontré des erreurs de mémoire insuffisante (OOM) à cette échelle.
• Efficacité : Bien que SeqLoRA ait un temps d'entraînement par concept plus élevé ($\sim660$s) par rapport aux méthodes parallèles en raison des évaluations de Hessian croisé et des contraintes séquentielles, il élimine l'étape de fusion postérieure coûteuse. Pour 32 concepts, Mix-of-Show a nécessité $\sim33$ minutes pour la fusion, alors que SeqLoRA ne nécessite aucune étape de fusion, permettant un apprentissage continu véritablement séquentiel sans accumulation de données.
• Oubli : L'analyse par étapes a montré que SeqLoRA maintient une stabilité comparable ou meilleure dans les métriques de fidélité visuelle par rapport à la base de référence Continual Alternating, mettant en évidence le bénéfice de l'optimisation bilevel et du couplage de Hessian croisé.

5. Signification et Revendications

L'article revendique que SeqLoRA fournit une solution fondée sur des principes au problème de la génération multi-concepts en le traitant comme une tâche d'apprentissage continu contraint. Sa signification réside dans :

• Résolution du Compromis : C'est la première méthode à permettre simultanément l'optimisation libre des deux facteurs LoRA (assurant l'expressivité) et à imposer une orthogonalité stricte des sous-espaces (assurant une faible interférence) sans fusion postérieure.
• Insight Théorique : Le travail fournit une justification théorique de pourquoi l'apprentissage de la base est supérieur au figer, montrant que les bases apprises découvrent implicitement le sous-espace d'énergie maximale requis pour supprimer l'oubli catastrophique.
• Évolutivité Pratique : Il permet la composition d'un grand nombre de concepts (jusqu'à 101) dans un seul modèle, surmontant les goulots d'étranglement mémoire et computationnels des approches basées sur la fusion existantes.

Les auteurs notent des limitations, notamment la contrainte d'orthogonalité limitant le nombre de concepts par couche (bien que cette capacité soit suffisante pour des scénarios pratiques) et la dépendance à des hypothèses de régularité standard pour les preuves théoriques. Ils concluent que SeqLoRA fait progresser la compositionnalité des adaptations personnalisées au sein des cadres de diffusion établis.