💻 computer science

MS-CustomNet: Controllable Multi-Subject Customization with Hierarchical Relational Semantics

MS-CustomNet is een nieuw framework dat de generatie van afbeeldingen met meerdere onderwerpen mogelijk maakt door gebruikers expliciete controle te bieden over hun hiërarchische relaties en ruimtelijke plaatsing, terwijl de identiteit van elk onderwerp behouden blijft.

Oorspronkelijke auteurs: Pengxiang Cai, Mengyang Li

Gepubliceerd 2026-03-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Pengxiang Cai, Mengyang Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een magische schilder wilt die precies doet wat je zegt. Je wilt niet alleen een mooi plaatje van een hond of een auto, maar je wilt een heel verhaal creëren: "Plaats mijn eigen hond op de rug van mijn vriend, terwijl ze samen in een regenboog lopen, en zorg dat mijn hond precies linksboven staat en mijn vriend rechts onderin."

Tot nu toe was dit voor kunstmatige intelligentie (AI) erg lastig. De AI kon vaak wel een hond tekenen, of een regenboog, maar het combineren van meerdere specifieke dingen (zoals jouw hond en jouw vriend) op de juiste plek, zonder dat ze in elkaar overliepen of hun uiterlijk veranderden, was een enorme uitdaging.

Dit artikel introduceert MS-CustomNet, een slim nieuw systeem dat dit probleem oplost. Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: De "Kleefband"-methode

Vroeger was het alsof je de AI een foto van je hond gaf en zei: "Teken een hond." De AI deed dat goed. Maar als je zei: "Teken mijn hond en mijn kat samen in een tuin," werd het een rommeltje. De AI verwardde de twee, of de hond verdween, of ze zaten allebei op dezelfde plek. Het was alsof je probeerde twee verschillende lijmsoorten op één stuk papier te plakken; ze liepen door elkaar heen.

2. De Oplossing: Een Slimme Regisseur

MS-CustomNet werkt als een zeer geduldige regisseur die precies luistert naar jouw instructies. Het heeft drie belangrijke trucjes in zijn mouw:

De "Identiteits-Bewaker":
Stel je voor dat elke foto van je hond een paspoort heeft. MS-CustomNet leest dit paspoort en zorgt ervoor dat de hond op het eindplaatje er exact zo uitziet als op de foto, zelfs als hij op een andere plek staat of een andere houding heeft. Hij verliest nooit zijn "hond-zijn".
De "Bouwpas" (Layout Map):
Dit is het belangrijkste nieuwe ding. Je geeft de AI niet alleen de foto's, maar ook een soort "bouwtekening". Op deze tekening staat precies waar de hond moet staan (linksboven) en waar de kat (rechts onder). De AI volgt deze tekening als een strikte bouwplaat. Het is alsof je de AI een legbord geeft met de vakjes waar de stukjes moeten komen, in plaats van alleen te zeggen "maak er een plaatje van".
De "Lagen-Regel":
Soms wil je dat de hond voor de kat staat, en soms achter. MS-CustomNet begrijpt dit concept van "voor en achter" (occlusie). Het kan beslissen dat de hond de kat deels bedekt, of andersom, precies zoals jij het wilt.

3. De Oefening: Een Nieuwe Leerboekenreeks

Om deze regisseur te trainen, hadden de onderzoekers een groot probleem: er waren geen goede oefenboeken. Bestaande foto's hadden vaak niet genoeg details over hoe objecten precies met elkaar interacteerden.

Dus hebben ze MSI (Multi-Subject Interaction) gemaakt.

Hoe werkt het? Ze namen duizenden bestaande foto's (van de COCO-database) en filterden er alleen die uit waar twee of meer belangrijke dingen op stonden (bijvoorbeeld een beer en een boom).
De truc: Ze maakten voor elke foto een "spiegelbeeld" van de objecten. Ze namen foto's van andere beren en bomen en plaatsten die op de juiste plekken in de tekening. Zo leerde de AI: "Oké, als de beer hier staat en de boom daar, hoe ziet dat eruit?"
Het resultaat is een enorme bibliotheek van oefenopdrachten waar de AI kan leren hoe hij complexe scènes moet bouwen.

4. De Leermethode: Eerst lopen, dan rennen

De AI werd niet direct met de zwaarste opdrachten geconfronteerd. Ze gebruikten een slimme leerstrategie (Curriculum Learning):

Fase 1: De AI oefent eerst met situaties waar maar twee objecten zijn.
Fase 2: Zodra hij dat goed kan, krijgen ze er drie bij.
Fase 3: Uiteindelijk kan hij met vijf objecten tegelijk omgaan.

Het is alsof je een kind leert fietsen: eerst met wieltjes (twee objecten), dan zonder (drie objecten), en pas later met een bakfiets vol spullen (veel objecten).

Waarom is dit belangrijk?

Vroeger moest je als gebruiker hopen dat de AI het goed deed. Nu kun je zelf de regie nemen.

Wil je dat je favoriete poppetje in een koffiekopje zit? Dat kan.
Wil je dat je auto precies voor de berg staat en niet erachter? Dat kan.
Wil je dat je hond en kat elkaar aankijken zonder dat hun gezichten vervormen? Dat kan.

Kortom: MS-CustomNet is de brug tussen "AI maakt een mooi plaatje" en "AI maakt exact het plaatje dat jij in je hoofd hebt, met de juiste personen, op de juiste plek, in de juiste volgorde." Het maakt creatieve controle voor iedereen mogelijk, zonder dat je een computerwetenschapper hoeft te zijn.

Probleemstelling

Hoewel diffusion-modellen voor tekst-naar-beeld generatie aanzienlijke vooruitgang hebben geboekt, blijft het aanpassen van scènes met meerdere distincte onderwerpen (multi-subject customization) terwijl men fijnmazige controle behoudt over hun interacties, een grote uitdaging. Bestaande methoden kampen met de volgende beperkingen:

Gebrek aan expliciete controle: Gebruikers hebben vaak geen directe controle over de compositiestructuur (bijv. welke laag boven welke ligt) of de precieze ruimtelijke relaties tussen onderwerpen.
Concept-bleeding en identiteitsverlies: Naïeve toepassing van single-subject technieken op meerdere onderwerpen leidt vaak tot vermenging van concepten of het verlies van de unieke identiteit van de onderwerpen.
Data-tekort: Er is een gebrek aan geschikte trainingsdatasets die complexe interacties tussen meerdere onderwerpen en hun ruimtelijke hiërarchie expliciet annoteren.

Methodologie: MS-CustomNet

De auteurs introduceren MS-CustomNet, een nieuw framework dat is gebouwd op een Latent Diffusion Model (LDM), specifiek ontworpen voor zero-shot integratie van meerdere door de gebruiker aangeleverde objecten met expliciete controle over hun plaatsing en hiërarchie.

1. Het MSI Dataset (Multi-Subject Interaction)
Om het trainingsprobleem op te lossen, hebben de auteurs de MSI-dataset ontwikkeld, afgeleid van COCO.

Filtering: Beelden worden gefilterd op basis van het aantal prominente onderwerpen (minimaal 2) en hun oppervlakte.
Referentiepool: Voor elke categorie wordt een pool van diverse referentieafbeeldingen gecreëerd om overfitting te voorkomen.
Layout Maps: Er worden compositiekaarten (layout maps, $M_L$ ) gegenereerd die de 2D-positie, schaal en relatieve laagvolgorde (occlusie) van de onderwerpen specificeren. Dit stelt het model in staat om hiërarchische relaties (bijv. "object A binnen object B") te leren.

2. Architectuur
Het framework verwerkt drie soorten input:

Visuele Referenties: Meerdere referentieafbeeldingen ( $x_{ref,k}$ ) voor elk onderwerp.
Categorie-Enkodering: Een categorie-encoder ( $\Phi_c$ ) koppelt visuele features van een referentiebeeld aan een specifieke categorie, wat helpt bij het onderscheiden van onderwerpen.
Layout Guidance: De gegenereerde layout map ( $M_L$ ) wordt gecodeerd en als conditionele input aan de U-Net van het diffusion-model toegevoegd om de ruimtelijke plaatsing te sturen.
Tekstuele Prompt: Een CLIP-text encoder verwerkt de beschrijving van de scène.

3. Trainingsstrategieën
Twee innovatieve trainingsstrategieën worden geïntroduceerd om stabiliteit en prestaties te verbeteren:

Dual Stage Training (DST):
- Fase 1: Focus op lay-out en interactie (leert de model waar objecten moeten staan).
- Fase 2: Focus op identiteit en detailverfijning (verhoogt de fotorealiteit en behoudt de unieke kenmerken van de onderwerpen).
Curriculum Learning on Subject Quantity (CLSQ): Het model begint met het trainen op scènes met weinig onderwerpen (bijv. 2) en werkt geleidelijk op naar complexere scènes met meer onderwerpen (tot 5). Dit voorkomt dat het model overweldigd wordt door complexe interacties in de vroege trainingsfasen.

Belangrijkste Bijdragen

MS-CustomNet Framework: Een nieuw systeem dat single-subject customization uitbreidt naar multi-subject scenario's met expliciete, door de gebruiker gedefinieerde controle over compositie en ruimtelijke relaties (inclusief occlusie en laagvolgorde).
Geavanceerde Trainingsstrategieën: De implementatie van Dual Stage Training en Curriculum Learning om de stabiliteit en effectiviteit bij het leren van complexe multi-subject composities te maximaliseren.
MSI Dataset: Een nieuwe, open dataset afgeleid van COCO, speciaal ontworpen voor het trainen en evalueren van modellen op complexe multi-subject interacties en ruimtelijke relaties.
Zero-Shot Capabiliteit: Het vermogen om meerdere onderwerpen te integreren zonder per onderwerp te hoeven fine-tunen, terwijl de identiteit behouden blijft en de ruimtelijke instructies worden opgevolgd.

Resultaten

De prestaties van MS-CustomNet zijn geëvalueerd op de nieuwe MSI-Bench benchmark en vergeleken met state-of-the-art methoden zoals IP-Adapter, CustomNet, $\lambda$ -ECLIPSE en SSR-Encoder.

Identiteitsbehoud: Het model bereikte een DINO-I score van 0.61 voor multi-subject taken, wat aangeeft dat de unieke kenmerken van de onderwerpen goed behouden blijven.
Ruimtelijke Controle: Het model behaalde een YOLO-L score van 0.94, wat aantoont dat de gegenereerde objecten zeer nauwkeurig op de door de gebruiker gespecificeerde locaties en in de juiste hiërarchie worden geplaatst.
Vergelijking: In tegenstelling tot methoden die puur vertrouwen op tekstuele prompts (zoals MS-Diffusion) of maskers voor 2D-plaatsing (zoals SSR-Encoder), biedt MS-CustomNet superieure controle over de z-ordering (wie ligt voor wie) en semantische relaties (bijv. "taart in een kom" versus "taart achter een kom").
Ablatiestudies: Deze toonden aan dat elke component (Layout Map, DST, CLSQ) essentieel is. Zonder layout maps faalt de ruimtelijke controle; zonder DST daalt de identiteitskwaliteit; en zonder CLSQ wordt het leren van complexe scènes minder efficiënt.

Betekenis en Impact

MS-CustomNet vult een cruciale kloof in het veld van generatieve AI. Waar eerdere methoden zich richtten op visuele kwaliteit of enkelvoudige onderwerpen, biedt dit werk een oplossing voor controleerbare multi-object generatie. Het stelt gebruikers in staat om niet alleen te zeggen wat er in een beeld moet staan, maar ook precies hoe deze elementen ten opzichte van elkaar gerelateerd zijn (diepte, overlappende lagen, specifieke posities). Dit is van groot belang voor toepassingen die vereisen dat de compositie van een scène strikt overeenkomt met een specifiek ontwerp of een complexe instructie, zonder dat er handmatige ingrepen of zware fine-tuning nodig is. De introductie van de MSI dataset stimuleert bovendien verdere research in dit onderbelichte domein van multi-subject interacties.