💻 computer science

MS-CustomNet: Controllable Multi-Subject Customization with Hierarchical Relational Semantics

Le papier présente MS-CustomNet, un cadre innovant permettant une personnalisation multi-sujet contrôlable avec des relations hiérarchiques et spatiales explicites, garantissant la préservation de l'identité des objets et une précision compositionnelle supérieure grâce à l'intégration zéro-shot et au nouveau jeu de données MSI.

Auteurs originaux : Pengxiang Cai, Mengyang Li

Publié 2026-03-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Pengxiang Cai, Mengyang Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un superpouvoir : celui de créer des images à partir de mots. C'est ce que font les intelligences artificielles génératives aujourd'hui. Mais jusqu'à présent, c'était un peu comme donner des instructions à un peintre très talentueux mais un peu têtu : vous lui disiez "dessine un chien", il dessinait un chien. Mais si vous vouliez dire "dessine mon chien spécifique qui porte un chapeau, assis exactement sur ce fauteuil rouge, avec un chat derrière lui qui le regarde", le peintre IA avait du mal. Il confondait souvent les chiens, ou mettait le chat devant le chien au lieu de derrière.

C'est là que MS-CustomNet entre en jeu. C'est comme donner à ce peintre IA un chef d'orchestre et un plan d'architecte très précis.

1. Le Problème : L'IA qui confond les invités

Jusqu'à maintenant, si vous vouliez mettre plusieurs objets personnalisés (votre voiture, votre chat, votre tasse préférée) dans une même image, l'IA avait tendance à :

Oublier qui est qui : Votre chat ressemblait soudainement à un chien.
Mélanger les places : Votre tasse finissait par flotter dans les airs au lieu d'être sur la table.
Confondre les relations : Elle ne comprenait pas bien si votre chien devait être devant ou derrière le fauteuil.

2. La Solution : MS-CustomNet, le "Maître de Cérémonies"

Les chercheurs (Pengxiang Cai et Mengyang Li) ont créé un nouveau système appelé MS-CustomNet. Voici comment ça marche, avec des images simples :

Le Kit de Survie (Le Dataset MSI) :
Pour apprendre à l'IA à gérer plusieurs objets à la fois, il faut lui montrer des milliers d'exemples. Les chercheurs ont créé une nouvelle "bibliothèque" d'images (appelée le dataset MSI) en triant des millions de photos existantes. Ils ont sélectionné uniquement celles où plusieurs objets interagissent clairement (comme des ours qui se promènent ensemble ou des objets sur une table). C'est comme préparer un manuel de cuisine avec des photos de plats complexes pour apprendre à un chef à cuisiner plusieurs ingrédients en même temps sans tout mélanger.
Le Plan d'Architecte (La Carte de Disposition) :
C'est la grande innovation. Au lieu de juste dire "mettez le chat ici", vous pouvez donner à l'IA une carte de disposition (un dessin simple avec des rectangles).
- Analogie : Imaginez que vous jouez avec des figurines Lego. Au lieu de dire "mets le Lego rouge quelque part", vous posez le Lego rouge exactement sur la case bleue du plateau. MS-CustomNet lit ce plateau et place chaque objet (votre chat, votre tasse) à l'endroit exact où vous l'avez dessiné sur le plan.
Le Chef d'Orchestre (L'Apprentissage en Deux Étapes) :
Pour que l'IA apprenne sans se tromper, ils ont utilisé une méthode d'entraînement intelligente, comme un entraînement sportif progressif :
1. L'échauffement : D'abord, l'IA apprend juste à placer les objets aux bons endroits (comme un décorateur qui pose les meubles).
2. La finition : Ensuite, on lui demande de se concentrer sur les détails : faire en sorte que votre chat ressemble vraiment à votre chat (garder son identité) et que la lumière soit belle.

3. Pourquoi c'est génial ?

Avant, si vous vouliez dire "le gâteau est dans le bol", l'IA pouvait mettre le gâteau à côté du bol. Avec MS-CustomNet, vous avez le contrôle total :

Identité préservée : Votre chien reste votre chien, même s'il est dans une nouvelle scène.
Contrôle spatial : Vous décidez qui est devant, qui est derrière, qui est caché par qui.
Zéro apprentissage long : Vous n'avez pas besoin de montrer 100 photos de votre chien à l'IA pendant des heures. Elle comprend tout de suite grâce à son "kit de survie" et votre plan.

En résumé

MS-CustomNet, c'est comme passer d'un peintre qui improvise à un architecte de précision. Vous lui donnez vos objets personnels, un texte pour décrire la scène, et un petit dessin pour dire où tout doit aller. L'IA se charge de tout assembler parfaitement, en gardant l'âme de chaque objet et en respectant scrupuleusement votre plan d'architecture.

C'est une avancée majeure pour ceux qui veulent créer des images précises, que ce soit pour des jeux vidéo, de la publicité ou simplement pour s'amuser à imaginer des scènes complexes où tout est exactement là où on le veut.

1. Problématique

Le domaine de la génération d'images par intelligence artificielle, basé sur les modèles de diffusion, a considérablement progressé. Cependant, une limitation majeure persiste : la personnalisation multi-sujet.

Défi actuel : Les méthodes existantes permettent souvent d'intégrer un seul sujet personnalisé dans une nouvelle scène. Lorsqu'il s'agit de plusieurs sujets distincts, les approches actuelles peinent à préserver l'identité de chaque sujet tout en gérant leurs interactions complexes.
Manque de contrôle : Les modèles généralistes reposent sur des mécanismes d'attention implicites qui offrent peu de prédictibilité pour le contrôle explicite de la structure compositionnelle (ex: empilement, occlusion) et des relations spatiales précises entre les objets. Les utilisateurs ne peuvent pas facilement spécifier "l'objet A est à l'intérieur de l'objet B" ou définir un ordre de superposition précis.
Données : Il existe un manque de jeux de données publics adaptés pour l'entraînement de modèles capables d'apprendre ces interactions multi-sujets complexes.

2. Méthodologie : MS-CustomNet

Les auteurs proposent MS-CustomNet, un cadre novateur conçu pour l'intégration zéro-shot (sans réentraînement par sujet) de multiples objets fournis par l'utilisateur, avec un contrôle explicite sur leur disposition.

A. Construction du Jeu de Données (MSI Dataset)

Pour pallier le manque de données, les auteurs ont créé le jeu de données MSI (Multi-Subject Interaction), dérivé de COCO :

Filtrage : Sélection d'images contenant au moins deux sujets significatifs (basé sur une surface de masque de segmentation > 1,5 %).
Pool de références : Création d'un pool de 2 400 images de référence (30 instances par catégorie) pour garantir la diversité des identités.
Génération de cartes de mise en page (Layout Maps) : Pour chaque sujet, une image de référence est redimensionnée et placée sur une toile selon les annotations de boîte englobante de COCO.
Ordre hiérarchique : Un ordre de superposition (z-order) est automatiquement déduit des statistiques d'occlusion naturelles (les objets plus petits sont placés au premier plan) pour apprendre les relations spatiales.
Structure : Chaque tuple d'entraînement contient : un ensemble d'images de référence, un prompt textuel, une carte de mise en page ( $M_L$ ) et l'image cible originale.

B. Architecture du Modèle

Le modèle est basé sur un Latent Diffusion Model (LDM) (implémentation de CustomNet) enrichi de plusieurs mécanismes conditionnels :

Encodage des Sujets :
- Extraction de features visuelles via un encodeur CLIP.
- Ajout d'un encodeur de catégorie pour associer explicitement le texte à l'image de référence correspondante.
- Projection des features combinées (visuel + catégorie) en embeddings de sujets ( $F_s$ ) injectés via des mécanismes d'attention croisée dans le U-Net.
Contrôle Spatial et Compositionnel :
- La carte de mise en page ( $M_L$ ) est encodée et injectée comme condition spatiale explicite pour guider la position, l'échelle et la superposition des sujets.
Condition Textuelle :
- Le prompt textuel est encodé via CLIP pour guider le contexte global de la scène.

C. Stratégies d'Entraînement

Pour stabiliser l'apprentissage de compositions complexes, deux stratégies clés sont employées :

Entraînement en Deux Étapes (Dual Stage Training - DST) :
- Phase 1 : Apprentissage de la mise en page et des interactions de base (taux d'apprentissage élevé).
- Phase 2 : Raffinement de l'identité et des détails (taux d'apprentissage réduit) pour améliorer le réalisme et la fidélité.
Apprentissage par Curriculum sur la Quantité de Sujets (Curriculum Learning on Subject Quantity - CLSQ) :
- Le nombre de sujets à apprendre augmente progressivement au cours de l'entraînement (de 2 à 5 sujets), permettant au modèle de maîtriser d'abord des compositions simples avant de traiter des scénarios complexes.

3. Contributions Clés

Framework MS-CustomNet : Une extension du domaine de la personnalisation mono-sujet au multi-sujet, offrant un contrôle explicite et déterministe sur la structure compositionnelle et les relations spatiales.
Stratégies d'Entraînement Innovantes : Introduction du DST et du CLSQ pour améliorer la stabilité et l'efficacité de l'apprentissage des identités multiples et des interactions complexes.
Jeu de Données MSI : Un nouveau jeu de données dérivé de COCO, spécifiquement conçu pour l'entraînement et l'évaluation de modèles de composition multi-sujets.
Contrôle Zéro-Shot : Capacité à intégrer plusieurs objets personnalisés sans optimisation par sujet, tout en respectant des instructions spatiales précises.

4. Résultats et Évaluation

Les expériences ont été menées sur un benchmark MSI-Bench (100 tâches multi-sujets) et comparées à des méthodes de l'état de l'art (IP-Adapter, CustomNet, $\lambda$ -ECLIPSE, SSR-Encoder).

Préservation de l'Identité : MS-CustomNet obtient un score DINO-I de 0,61 et un score CLIP-I de 0,79 en mode multi-sujet, démontrant une excellente fidélité aux sujets d'origine.
Contrôle Positionnel : Le modèle atteint un score YOLO-L de 0,94, indiquant une précision exceptionnelle dans le placement des objets par rapport aux spécifications de l'utilisateur (bien supérieur aux méthodes concurrentes).
Comparaison Qualitative : Contrairement aux méthodes basées sur des masques (comme SSR-Encoder) qui gèrent mal les hiérarchies complexes (ex: occlusion, empilement), MS-CustomNet respecte strictement l'ordre de superposition et les relations sémantiques (ex: "gâteau dans le bol").
Étude Ablative : L'ajout progressif des composants (Carte de mise en page, DST, CLSQ) montre que chaque étape est cruciale :
- La carte de mise en page améliore la localisation mais dégrade le fond.
- Le DST restaure la fidélité de l'identité.
- Le CLSQ permet d'atteindre un équilibre optimal entre précision spatiale, fidélité de l'identité et cohérence du fond.

5. Signification et Impact

Ce travail comble un vide important dans la génération d'images contrôlée. Alors que les modèles actuels excellent dans la qualité visuelle globale mais manquent de précision dans la disposition des objets, MS-CustomNet offre un cadre accessible et efficace pour des applications nécessitant un contrôle fin et reproductible de la composition.

Cela ouvre la voie à des usages professionnels où la disposition spatiale est critique (ex: publicité, design d'intérieur, montage de scènes spécifiques) sans nécessiter de coûteux réentraînements par sujet. La disponibilité du jeu de données MSI et du code favorise également la recherche future sur les interactions multi-objets dans les modèles génératifs.