💻 computer science

LISA: Likelihood Score Alignment for Visual-condition Controllable Generation

Cet article présente LISA, une méthode de régularisation qui aligne les caractéristiques du réseau latéral avec un score de vraisemblance approximé afin d'améliorer l'efficacité de l'entraînement, la convergence et le désenchevêtrement des caractéristiques dans la génération contrôlable par condition visuelle sans engendrer de coûts d'inférence supplémentaires.

Auteurs originaux : Yanghao Wang, Hongxu Chen, Jiazhen Liu, Zhenqi He, Rui Liu, Zhen Wang, Long Chen

Publié 2026-06-26

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yanghao Wang, Hongxu Chen, Jiazhen Liu, Zhenqi He, Rui Liu, Zhen Wang, Long Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un maître peintre (le Réseau Principal) comment peindre un tableau en se basant sur un croquis spécifique (la Condition Visuelle, comme une pose ou une carte de profondeur).

Actuellement, la méthode standard pour faire cela est la méthode « Dual-Branch » (à double branche). Vous gardez le maître peintre figé (il sait déjà peindre de magnifiques paysages, des visages et des textures) et vous engagez un petit assistant rapide (le Réseau Latéral) pour regarder le croquis et chuchoter des instructions au peintre. L'assistant dit des choses comme : « Dessine le bras ici » ou « Assombris l'arrière-plan ».

Le Problème :
Bien que cela fonctionne, l'article soutient que l'assistant travaille un peu à l'aveugle. L'assistant essaie simplement de deviner ce qu'il faut chuchoter pour que l'image finale soit correcte, mais il n'a pas de carte claire de ce qu'il est censé fournir précisément. C'est comme demander à un guide touristique de donner des directions sans lui dire : « Votre seul travail est d'expliquer l'itinéraire ; le conducteur sait déjà comment conduire la voiture. »

La Solution : LISA (Alignement du Score de Vraisemblance)
Les auteurs proposent une nouvelle astuce d'entraînement appelée LISA. Ils ont réalisé que le « chuchotement » que donne l'assistant est en réalité un concept mathématique spécifique appelé « Score de Vraisemblance » (Likelihood Score). En termes simples, ce score représente la différence entre « ce à quoi l'image ressemblerait sans aucun croquis » et « ce à quoi l'image devrait ressembler avec le croquis ».

Voici comment fonctionne LISA, en utilisant une analogie créative :

1. La Comparaison « Fantôme »

Imaginez que le Maître Peintre est assis dans une pièce.

Étape A : Le peintre peint un tableau basé sur sa propre imagination (sans croquis). C'est le « Score Inconditionnel ».
Étape B : Le peintre voit ensuite le croquis et peint une seconde version. C'est le « Score Conditionnel ».
Étape C : LISA prend la différence entre le Tableau A et le Tableau B. Cette différence est le « Score de Vraisemblance ». C'est le « delta » ou l'écart mathématique exact que le croquis crée.

2. La Nouvelle Règle d'Entraînement

Au lieu de laisser l'assistant deviner quoi dire, LISA donne à l'assistant une cible d'entraînement.

L'assistant regarde le croquis.
Un décodeur minuscule et léger (pensez à un traducteur) convertit les pensées internes de l'assistant en un « score ».
LISA vérifie : « Est-ce que le score de l'assistant correspond à la « Comparaison Fantôme » (la différence entre les deux peintures) ? »
S'ils ne correspondent pas, l'assistant reçoit un léger coup de pouce (une perte de régularisation) pour ajuster sa pensée jusqu'à ce qu'il comprenne parfaitement « l'écart » que crée le croquis.

3. Le Résultat : Un Assistant Super-Efficace

Parce que l'assistant est désormais explicitement entraîné à comprendre ce « écart » spécifique (le score de vraisemblance), deux choses incroyables se produisent :

Apprentissage plus rapide : L'assistant apprend beaucoup plus vite car il ne devine pas ; il a une cible claire. L'article affirme que cela peut accélérer la convergence de l'entraînement de plus de 2,78 fois.
Meilleur Contrôle : L'assistant devient meilleur dans sa tâche spécifique. Il apprend à gérer des tâches complexes, comme combiner un croquis de pose avec une carte de segmentation, sans s'embrouiller. C'est comme si l'assistant devenait un spécialiste qui sait exactement comment traduire un croquis en instructions de peinture sans mélanger les couleurs.

Le Meilleur Moment : Coût Zéro Supplémentaire

Habituellement, ajouter une nouvelle règle d'entraînement rend les choses plus lentes ou nécessite plus de puissance de calcul. Mais LISA est ingénieux :

Pendant l'Entraînement : Cela ajoute un travail infime (comme ajouter un ingrédient supplémentaire de 0,1 % à une recette).
Pendant l'Inférence (quand vous générez réellement l'image) : Le « traducteur » et la « Comparaison Fantôme » sont jetés. Vous n'utilisez que l'assistant entraîné et le maître peintre. Le résultat final est exactement de la même vitesse que la méthode originale, mais l'image est meilleure et l'assistant a appris plus vite.

En Résumé :
LISA est une technique d'entraînement qui enseigne au réseau « assistant » exactement quel est son travail : calculer la différence précise entre une image générique et une image contrôlée par une condition. En donnant à l'assistant cette cible mathématique claire, il apprend plus vite, crée de meilleures images et gère plus facilement les combinaisons complexes de conditions, le tout sans ralentir le résultat final.

Résumé Technique : LISA (Likelihood Score Alignment)

Énoncé du Problème

L'article traite du défi de la génération contrôlable par condition visuelle, où les modèles doivent intégrer des modalités visuelles (par exemple, pose, segmentation, cartes de profondeur) pour guider la synthèse d'images et de vidéos. L'approche prédominante est le paradigme à double branche, qui gèle un modèle de diffusion ou de flow-matching préentraîné servant de « réseau principal » et entraîne un « réseau latéral » distinct pour encoder les conditions visuelles. Ces caractéristiques latérales sont ensuite fusionnées dans le réseau principal.

Malgré son succès, les auteurs soutiennent que le rôle du réseau latéral et son efficacité d'entraînement restent sous-explorés. Les méthodes existantes reposent souvent sur des encodeurs sémantiques externes pour la régularisation (par exemple, l'alignement de représentation), ce qui limite les performances au choix de l'encodeur et ajoute de la complexité. Le problème central identifié est que le réseau latéral apprend implicitement à fournir un « score de vraisemblance » (la différence entre les scores conditionnel et inconditionnel) mais manque de supervision explicite pour ce rôle spécifique durant l'entraînement.

Méthodologie : LISA

Les auteurs proposent LISA (Likelihood Score Alignment), une méthode de régularisation fondée sur la modélisation générative basée sur le score.

1. Décomposition Théorique

L'article réinterprète le paradigme à double branche via la règle de Bayes. Le score conditionnel $\nabla_{x_t} \log p_t(x_t|c)$ est décomposé en :

Score Inconditionnel : $\nabla_{x_t} \log p_t(x_t)$ , fourni par le réseau principal gelé.
Score de Vraisemblance (Likelihood Score) : $\nabla_{x_t} \log p_t(c|x_t)$ , représentant l'écart entre les scores conditionnel et inconditionnel.

Dans la configuration standard à double branche, le réseau latéral apprend implicitement à combler cet écart. LISA rend ce rôle explicite.

2. Construction du Score de Vraisemblance Approximé

Pour superviser le réseau latéral, LISA construit un « score de vraisemblance approximé » cible ( $\hat{\ell}_t$ ) sans nécessiter d'encodeurs externes :

Cible Inconditionnelle : Obtenue en exécutant le réseau principal gelé sans injection de condition : $s_\theta(x_t, t) \approx \nabla_{x_t} \log p_t(x_t)$ .
Cible Conditionnelle : La cible de débruitage standard $\nabla_{x_t} \log p_t(x_t|x_0)$ sert de proxy traçable pour le score conditionnel.
Cible de Vraisemblance : Le score de vraisemblance approximé est calculé comme la différence :
$\hat{\ell}_t(c|x_t) = \nabla_{x_t} \log p_t(x_t|x_0) - s_\theta(x_t, t)$

3. Mécanisme d'Alignement

Extraction de Caractéristiques : Une couche de caractéristiques intermédiaire spécifique $r^k_\phi(x_t, c, t)$ est « hookée » (extraite) depuis le réseau latéral.
Décodeur Léger : Cette caractéristique est injectée dans un petit décodeur entraînable $D_\psi$ (environ 0,1 % de la taille du réseau latéral) qui projette la caractéristique dans l'espace latent du score.
Perte de Régularisation : La sortie du décodeur est alignée avec la cible du score de vraisemblance approximé en utilisant une distance $L_2$ .
Optimisation : L'objectif total combine la perte de diffusion standard ( $\mathcal{L}_{main}$ ) et la perte de régularisation LISA ( $\mathcal{L}_{LISA}$ ) :
$\mathcal{L}_{total} = \mathcal{L}_{main} + \lambda \mathcal{L}_{LISA}$
Inférence : Le décodeur léger est écarté après l'entraînement. Le réseau latéral est utilisé exactement comme dans l'architecture originale, n'entraînant aucun coût d'inférence supplémentaire.

Contributions Clés

Perspective Novatrice : L'article analyse le paradigme à double branche en décomposant les rôles du réseau principal et du réseau latéral en scores inconditionnels et de vraisemblance, respectivement.
Framework LISA : Il introduit une technique de régularisation efficace qui aligne explicitement les caractéristiques du réseau latéral avec un score de vraisemblance approximé, éliminant le besoin d'encodeurs sémantiques externes.
Efficacité et Performance : La méthode accélère la convergence de l'entraînement et améliore la qualité finale de la synthèse (tant sur le plan perceptuel que sur la fidélité de la condition) avec un coût d'entraînement négligeable et aucun surcoût lors de l'inférence.
Désenchevêtrement (Disentanglement) : L'alignement explicite encourage les caractéristiques du réseau latéral à être plus désenchevêtrées, améliorant naturellement le contrôle compositionnel pour la génération multi-conditions.

Résultats Expérimentaux

Les auteurs ont évalué LISA à travers diverses tâches, architectures (U-Net, DiT) et modèles (Diffusion, Flow Matching) :

Tâches de Génération d'Images : Expériences sur la pose, la segmentation, la profondeur et la génération d'images à basse résolution en utilisant SDXL-1.0 et Stable Diffusion 2.1.
- Convergence : LISA a systématiquement accéléré la convergence. Par exemple, pour la génération conditionnée par la pose, LISA a amélioré le PCK (Percentage of Correct Keypoints) de 19,38 % à 83,02 % à 10k itérations par rapport au ControlNet classique.
- Efficacité : LISA a obtenu de meilleurs résultats avec moins d'itérations (par exemple, 4k itérations avec LISA ont surpassé 10k itérations de ControlNet pour la génération de cartes de profondeur).
- Comparaison : LISA a surpassé ou égalé ControlNet+REPA (qui repose sur des encodeurs DINOv2 externes) sans nécessiter de modèles externes.
Génération de Vidéo : Appliqué à la génération de vidéo guidée par la pose (ControlVideo). LISA a considérablement amélioré la FVD (Frechet Video Distance) et le PCK à 5k et 30k itérations.
Agnosticisme de l'Architecture : La méthode s'est généralisée aux Diffusion Transformers (DiT) et aux modèles de Flow Matching par transport optimal (OT-FM) (par exemple, Stable Diffusion 3).
Contrôle Compositionnel : En combinant des réseaux de pose et de segmentation entraînés indépendamment, LISA a démontré des capacités de génération compositionnelle supérieures par rapport à la ligne de base, suggérant un meilleur désenchevêtrement des caractéristiques apprises.
Surcoût (Overhead) : La méthode n'a ajouté qu'environ 0,1 % de paramètres et 0,2 s de latence par itération pendant l'entraînement, avec zéro coût lors de l'inférence.

Signification et Revendications

L'article affirme que LISA fournit une solution simple mais efficace à l'inefficacité d'entraînement du paradigme à double branche. En décomposant explicitement le processus génératif et en alignant le réseau latéral avec le score de vraisemblance, LISA agit comme une supervision de prior fort qui :

Accélère l'Entraînement : Réduit considérablement le nombre d'itérations nécessaires pour atteindre des résultats de haute qualité.
Améliore la Qualité : Renforce à la fois la qualité perceptuelle de la sortie et la fidélité aux conditions visuelles.
Simplifie l'Architecture : Supprime la dépendance aux encodeurs sémantiques externes requis par les méthodes d'alignement précédentes.
Permet le Contrôle Compositionnel : Facilite naturellement la combinaison de multiples conditions visuelles grâce au meilleur désenchevêtrement des caractéristiques apprises.

Les auteurs concluent que LISA est une approche extensible et pratique pour la génération contrôlable par condition visuelle, adaptée aux tâches d'image et de vidéo à travers différentes architectures de modèles.