💻 computer science

Controlla: Learning Controllability via Graph-Constrained Latent Geometry

Ce papier présente Controlla, un cadre modulaire qui modélise la contrôlabilité comme une géométrie latente structurée en alignant les facteurs d'identité et d'attribut appris sur des priors graphiques via un transport optimal contraint par graphe, améliorant ainsi la préservation de l'identité et la cohérence intermodale dans la génération multimodale, ce qui est validé sur une nouvelle référence appelée AffectHuman-43K.

Auteurs originaux : Jamuna S. Murthy, Amin Karimi Monsefi, Rajiv Ramnath

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jamuna S. Murthy, Amin Karimi Monsefi, Rajiv Ramnath

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : « L'Identité qui Dérive »

Imaginez que vous êtes un artiste essayant de peindre le portrait d'un ami spécifique. Vous souhaitez modifier son expression de « neutre » à « excité » et « riant », sur la base d'une description textuelle et d'un enregistrement de son rire.

Avec les outils d'IA actuels, vous pourriez obtenir un résultat qui ressemble à votre ami, mais avec une étrange torsion : son nez pourrait sembler légèrement différent, ses cheveux pourraient changer de couleur, ou l'« excitation » pourrait ressembler à une personne complètement différente. L'IA est bonne pour générer des images, mais elle lutte pour modifier une seule chose (l'émotion) sans modifier accidentellement tout le reste (l'identité). C'est comme essayer de changer la saveur d'une soupe sans que la cuillère ne remplace accidentellement le bol.

La Solution : Controlla (La « Carte Structurée »)

Les auteurs proposent un nouveau système appelé Controlla. Au lieu de simplement dire à l'IA « rends-le excité » et d'espérer le meilleur, Controlla apprend à l'IA à comprendre la structure des émotions et de l'identité avant qu'elle ne commence à dessiner.

Imaginez le « cerveau » interne de l'IA (son espace latent) comme un immense entrepôt en désordre.

L'Ancienne Méthode : Vous criez simplement « Excitation ! » dans l'entrepôt. L'IA saisit les articles « excitation » qu'elle trouve à proximité, mais elle peut accidentellement saisir « le visage d'un étranger » ou « des cheveux bleus » en même temps.
La Méthode de Controlla : Controlla construit une carte structurée (un graphe) à l'intérieur de cet entrepôt.
1. La Zone d'Identité : Elle crée une pièce sûre et verrouillée pour le visage de votre ami. Une fois l'identité de votre ami placée là, la carte garantit qu'elle reste exactement où elle est, peu importe ce qui se passe à l'extérieur.
2. Le Chemin des Émotions : Elle construit une route pavée spécifique pour les émotions. Cette route relie « Neutre » à « Heureux » puis à « Excité » de manière logique et fluide.

Comment ça Marche : L'Analogie du « Train sur des Voies »

Le papier utilise un concept appelé Transport Optimal Contraint par un Graphe. Décomposons cela :

Imaginez que le processus de génération de l'IA est un train.

Les Voies (Le Graphe) : Avant que le train ne bouge, Controlla pose des voies qui représentent les règles du monde. Les voies pour « l'émotion » sont courbes et connectées, montrant que vous ne pouvez pas sauter instantanément de « Triste » à « Maniaque » sans passer par « Anxieux ». Les voies pour « l'identité » sont une plateforme solide et immuable.
Le Train (La Génération) : Lorsque vous demandez un changement, le train (l'IA) est forcé de rester sur les voies. Il ne peut pas s'égarer dans la zone « visage d'étranger » car les voies n'y mènent pas. Il ne peut se déplacer que fluidement le long du chemin des émotions.
Le Résultat : Le train arrive à « Excitation », mais parce qu'il est resté sur les voies, la « Plateforme d'Identité » en dessous n'a jamais bougé. Votre ami ressemble exactement à votre ami, juste avec une nouvelle expression.

Le Nouveau Terrain de Jeu : AffectHuman-43K

Pour prouver que cela fonctionne, les auteurs ont construit un nouveau terrain d'essai appelé AffectHuman-43K.

Le Défi : La plupart des anciens tests mélangeaient le visage de la personne avec sa voix ou son texte, rendant difficile de savoir si l'IA préservait réellement le visage ou si elle devinait simplement.
La Solution : Ce nouvel ensemble de données est comme un examen strict. Vous donnez à l'IA une photo d'une personne (la « Référence ») et des instructions séparées (un texte disant « rire » et un clip audio de rire). L'IA doit garder le visage de la photo exactement le même tout en changeant l'expression pour correspondre à l'audio/texte.
La Garde contre les « Fuites » : L'examen est conçu pour que l'IA ne puisse pas tricher en mémorisant les réponses. Les « élèves » (modèles d'IA) sont testés sur des personnes qu'ils n'ont jamais vues auparavant.

Les Résultats : Des Trajets Plus Fluides

Lorsqu'ils ont testé Controlla contre d'autres modèles d'IA de pointe :

Meilleure Identité : Les visages sont restés reconnaissables. Plus de « dérive du nez ».
Transitions Plus Fluides : Si vous demandiez à l'IA de modifier lentement une expression de neutre à heureux, Controlla l'a fait dans un flux fluide et naturel. D'autres modèles faisaient souvent des sauts saccadés et peu naturels.
Suivi de la Carte : L'IA a suivi la « route des émotions » beaucoup mieux, ce qui signifie que les changements semblaient logiques et cohérents, et non aléatoires.

Résumé

En bref, Controlla empêche l'IA de deviner comment modifier une image. Au lieu de cela, elle donne à l'IA une carte et des voies. Elle dit : « Voici le visage de la personne (restez ici), et voici la route vers la nouvelle émotion (suivez ce chemin). » En forçant l'IA à suivre cette géométrie structurée, elle crée des modifications qui sont contrôlées, fluides et fidèles à la personne originale.

Résumé Technique : Apprentissage de la Contrôlabilité via une Géométrie Latente Contrainte par des Graphes

Énoncé du Problème
La génération multimodale contrôlable actuelle, en particulier dans les modèles de diffusion et les transformateurs de diffusion, est principalement formulée comme un problème de conditionnement au moment de l'inférence. Bien que les méthodes utilisant des invites, des guidages ou des modules auxiliaires (par exemple, ControlNet, DreamBooth) puissent générer des résultats réalistes, elles manquent souvent d'un mécanisme explicite pour structurer l'évolution des attributs sémantiques. Cela conduit à trois modes d'échec principaux :

Dérive d'Identité : Modifications non intentionnelles de l'identité du sujet lors des éditions sémantiques.
Comportement Inter-Modal Incohérent : Désalignement entre les sorties textuelles, audio et visuelles.
Dérive Sémantique : États intermédiaires imprévisibles ou instables lors de la traversée des attributs.

Les approches existantes traitent la contrôlabilité comme une contrainte externe imposée sur des espaces latents implicites plutôt que comme une propriété de la géométrie latente elle-même. Par conséquent, les changements sémantiques sont souvent imposés de manière heuristique plutôt que d'émerger de représentations structurées.

Méthodologie : Controlla
Les auteurs proposent Controlla, un cadre modulaire de contrôle factorisé qui redéfinit la contrôlabilité comme une propriété d'une géométrie latente structurée. Au lieu de se fier uniquement au conditionnement au moment de l'inférence, Controlla apprend un espace latent structuré par un graphe où les attributs sémantiques évoluent le long de trajectoires cohérentes avec le graphe, tout en préservant une identité ancrée dans une référence.

Le cadre fonctionne à travers les composants suivants :

Factorisation Multimodale : Étant donné des entrées (image cible, image de référence, texte, audio), une représentation partagée $z$ est apprise et factorisée en deux composantes distinctes :
- Facteur d'Attribut ( $z_{attr}$ ) : Capture les variations sémantiques (par exemple, l'émotion).
- Facteur d'Identité ( $z_{id}$ ) : Encode l'identité ancrée dans la référence à partir de l'image de référence.
- La désintrication est imposée via des contraintes d'orthogonalité ( $L_\perp$ ) et une régularisation de Lipschitz ( $L_L$ ) pour assurer des transformations lisses.
Priors de Graphe : Deux graphes construits hors ligne définissent la structure relationnelle :
- Graphe d'Émotion ( $G_e$ ) : Capture les relations sémantiques entre les états affectifs dans un espace unifié valence-arousal.
- Graphe d'Identité ( $G_i$ ) : Encode les relations entre les identités de référence pour encourager une structure intra-identité compacte.
Transport Optimal Contraint par Graphe (Graph-OT) : Le mécanisme d'alignement central utilise le Transport Optimal pour aligner les facteurs latents appris avec les priors de graphe :
- Gromov–Wasserstein Fusionné (FGW) : Aligner l'espace d'attributs avec le graphe d'émotion, garantissant que les distances relatives entre les plongements d'attributs latents correspondent aux distances sémantiques dans $G_e$ .
- Gromov–Wasserstein (GW) : Aligner l'espace d'identité avec le graphe d'identité $G_i$ pour maintenir une structure relationnelle cohérente et prévenir la dérive d'identité.
Mécanisme de Contrôle : Lors de la génération, le facteur d'identité $z_{id}$ est maintenu fixe, tandis que le facteur d'attribut $z_{attr}$ est traversé le long de chemins cohérents avec le graphe d'émotion. Cela induit des changements sémantiques structurés et prévisibles sans conditionnement heuristique externe.

Contributions Clés

Changement de Formulation : L'article propose une formulation où la contrôlabilité est encouragée par des transformations latentes cohérentes avec le graphe plutôt que par le conditionnement au moment de l'inférence uniquement.
Cadre Controlla : Une architecture modulaire comprenant un encodeur de factorisation multimodale, un module d'alignement Graph-OT et des adaptateurs de conditionnement du générateur factorisés.
Benchmark AffectHuman-43K : La construction d'un nouveau benchmark multimodal conscient des fuites, conçu pour le contrôle affectif ancré dans une référence. Contrairement aux jeux de données naturellement co-enregistrés, il découple explicitement l'identité visuelle (spécifiée par une image de référence) des signaux de contrôle affectif (texte et audio). Il présente des splits disjoints en termes d'identité avec 0 % de fuite d'identité de référence entre les splits.
Métriques Sensibles à la Géométrie : Introduction de métriques pour évaluer la cohérence de la trajectoire (Cohérence Géodésique), la désintrication latente (Score de Désintrication Latente) et la lisibilité de la trajectoire, dépassant la simple précision des points finaux.

Résultats
Les expériences sur AffectHuman-43K et les évaluations inter-jeux de données (AffectNet, CelebA-HQ) démontrent que Controlla réalise des améliorations constantes par rapport à des bases solides, notamment StyleCLIP, ControlNet++, ICEdit, FLUX.1 Kontext et des hybrides DreamBooth.

Performance : Controlla montre une performance supérieure en précision émotionnelle (Acc), en lisibilité de la trajectoire (TS) et en préférence humaine (H).
Géométrie : La méthode atteint une désintrication latente plus élevée (LDS) et une incohérence géodésique plus faible (GC), confirmant que la traversée apprise suit la structure de graphe prévue.
Préservation de l'Identité : Le cadre maintient une similarité d'identité (ID-Sim) et un AUC de vérification compétitifs ou supérieurs, même sous de grandes transformations sémantiques.
Études d'Ablation : Le retrait des contraintes de graphe ou de l'ancrage multimodal entraîne une dégradation significative de la contrôlabilité et de la cohérence de l'identité, validant que les gains proviennent de la géométrie latente structurée plutôt que d'un conditionnement supplémentaire uniquement.

Signification et Revendications
L'article revendique un passage d'un contrôle heuristique, piloté par des invites, vers un apprentissage de représentation piloté par la géométrie. En modélisant la contrôlabilité comme une propriété de la géométrie latente globale, Controlla permet des transformations lisses et préservant l'identité le long de trajectoires cohérentes avec le graphe. Les auteurs affirment que leur approche adresse la nature fondamentalement sous-contrainte de l'édition multimodale actuelle en structurant explicitement l'espace latent.

Le travail est présenté comme une justification conditionnelle au niveau de la représentation : si l'alignement de graphe, la stabilité de l'identité, la séparation des facteurs et la lisibilité locale sont optimisés, la traversée sémantique produit une variation de sortie bornée. L'article ne revendique pas résoudre tous les défis génératifs ni garantir l'optimalité globale, mais démontre plutôt que l'imposition d'une structure de graphe sur les directions latentes améliore la contrôlabilité, la préservation de l'identité et l'alignement inter-modal de manière mesurable et reproductible. Un travail futur est noté comme potentiellement étendant ce cadre à la vidéo et à des facteurs de contrôle définis par des graphes plus larges.