💻 computer science

MS-CustomNet: Controllable Multi-Subject Customization with Hierarchical Relational Semantics

Il paper introduce MS-CustomNet, un nuovo framework che permette la personalizzazione zero-shot di scene con più soggetti distinti, garantendo la preservazione dell'identità di ciascuno e consentendo agli utenti di definire esplicitamente le relazioni spaziali e gerarchiche tra di essi.

Autori originali: Pengxiang Cai, Mengyang Li

Pubblicato 2026-03-24

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Pengxiang Cai, Mengyang Li

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un pennello magico che può disegnare qualsiasi cosa tu descriva a parole. Fino a poco tempo fa, questo pennello era bravissimo a creare immagini belle, ma se volevi dire "Metti il mio cane Fido dentro una tazza di tè, mentre il gatto Micio sta sopra il tavolo e guarda Fido", il pennello si confondeva. Spesso metteva il cane fuori dalla tazza, o mescolava i due animali in un unico mostro, o semplicemente non capiva chi doveva stare dove.

Questo articolo presenta MS-CustomNet, un nuovo "regista" per l'intelligenza artificiale che risolve proprio questo problema. Ecco come funziona, spiegato in modo semplice:

1. Il Problema: Il caos nella stanza

Fino ad ora, le intelligenze artificiali erano come bambini piccoli che giocano con i LEGO. Se gli chiedevi di costruire una scena con più personaggi, spesso finivano per fondere i pezzi insieme o perdere i pezzi originali. Non potevi dire: "Voglio che questo oggetto sia dietro a quello, e quest'altro dentro a un terzo". L'AI faceva quello che voleva, basandosi solo su una vaga idea.

2. La Soluzione: MS-CustomNet, il Regista Esigente

MS-CustomNet è come un regista cinematografico molto preciso che non si accontenta di "una scena carina".

Tu sei il produttore: Tu porti i tuoi oggetti (le foto del tuo cane, della tua tazza, del tuo gatto).
L'AI è il regista: Non si limita a copiare e incollare le foto. Impara a conoscere ogni oggetto come un attore unico, mantenendo il suo "volto" e i suoi dettagli (così il tuo cane rimane il tuo cane, non un cane generico).
Il copione è il tuo comando: Tu dici esattamente come devono interagire. "Il gatto è sopra la tazza, la tazza è sulla scrivania". L'AI segue queste istruzioni alla lettera, rispettando chi sta davanti a chi (la profondità) e chi copre chi (l'occlusione).

3. Come hanno fatto? Tre trucchi magici

Per insegnare a questo "regista" a fare un lavoro così preciso, gli autori hanno usato tre strategie intelligenti:

La "Cucina" dei dati (Il Dataset MSI): Per allenare l'AI, avevano bisogno di milioni di esempi di scene con molti oggetti che interagiscono. Poiché non esisteva un libro di ricette pronto, hanno creato il loro: il dataset MSI. Hanno preso un'enorme libreria di foto (COCO), selezionato solo quelle con oggetti importanti e ben visibili, e creato un "catalogo di riferimento" per ogni tipo di oggetto. È come preparare una biblioteca di milioni di scenari possibili prima di iniziare a girare il film.
L'allenamento a due livelli (Dual Stage Training): Immagina di imparare a suonare il piano. Prima impari le note giuste e il ritmo (fase 1: mettere gli oggetti nel posto giusto). Solo dopo, quando sai già dove sono, ti concentri sulla bellezza del suono e sui dettagli (fase 2: rendere il cane realistico e la luce perfetta). Questo evita che l'AI si confonda cercando di fare tutto insieme.
La scuola a difficoltà crescente (Curriculum Learning): Non si inizia subito con un film complicato con 10 personaggi. Si inizia con una scena semplice (2 oggetti), e man mano che l'AI impara, si aggiungono più personaggi (3, 4, 5...). È come un videogioco dove si sbloccano livelli più difficili solo dopo aver padroneggiato quelli facili.

4. Il Risultato: Un'immagine perfetta e controllata

Grazie a questo metodo, MS-CustomNet riesce a creare immagini dove:

Gli oggetti mantengono la loro identità (il tuo cane sembra proprio il tuo cane).
La posizione è esatta (se dici "dentro", è dentro; se dici "dietro", è dietro).
La scena ha senso (la luce e l'ambiente si adattano a tutto).

In sintesi:
Prima, chiedere all'AI di creare una scena complessa era come chiedere a un bambino di disegnare una festa con 5 amici: il risultato era spesso un pasticcio. Con MS-CustomNet, è come dare a un regista professionista una lista di cose precise da fare: lui prende i tuoi oggetti, li mette esattamente dove vuoi tu, li fa interagire in modo naturale e ti restituisce un'immagine che sembra uscita da un film, rispettando ogni tua piccola richiesta.

È un passo avanti enorme per chi vuole usare l'arte generativa non solo per "creare immagini belle", ma per costruire scene precise e controllate, come un architetto digitale che sa esattamente dove mettere ogni mattoncino.

1. Il Problema

Sebbene i modelli di diffusione basati sul testo abbiano rivoluzionato la sintesi di immagini, la personalizzazione di scene contenenti multipli soggetti distinti rimane una sfida significativa. Le metodologie esistenti presentano diverse limitazioni:

Mancanza di controllo esplicito: I metodi attuali faticano a fornire all'utente un controllo definito sulle strutture compositive (es. sovrapposizioni, occlusioni) e sulle relazioni spaziali precise tra i soggetti.
Perdita di identità e "bleeding" dei concetti: L'applicazione ingenua di tecniche per un singolo soggetto a scenari multi-soggetto porta spesso alla fusione dei concetti (concept bleeding), alla perdita dell'identità dei soggetti o a interazioni semantiche confuse.
Limiti dei metodi basati su prompt: Metodi come MS-Diffusion eccellono nella fedeltà generale guidata dal testo, ma offrono un controllo implicito e poco prevedibile sulla disposizione spaziale esatta (es. "oggetto A dentro oggetto B").
Carenza di dati: Manca un dataset pubblico adeguato che fornisca esempi strutturati di composizioni multi-soggetto complesse con annotazioni di relazione.

2. Metodologia

Il paper propone MS-CustomNet, un framework end-to-end progettato per l'integrazione zero-shot di più oggetti forniti dall'utente, con un controllo esplicito sulla loro disposizione gerarchica e spaziale.

A. Costruzione del Dataset MSI (Multi-Subject Interaction)

Per colmare il vuoto nei dati di addestramento, gli autori hanno creato il dataset MSI, derivato da COCO:

Filtraggio: Vengono selezionate immagini con almeno 2 soggetti salienti (area > 1.5% dell'immagine totale).
Pool di Riferimento: Per ogni categoria, viene creato un pool di immagini di riferimento multi-vista per garantire la diversità.
Mappe di Layout ( $M_L$ ): Vengono generate mappe di layout composite che codificano le posizioni 2D, le scale e l'ordine di sovrapposizione (layering) dei soggetti. L'ordine di compositing è determinato da un prior di occlusione basato sulle statistiche delle scene naturali.
Struttura: Ogni campione è una tupla contenente: immagini di riferimento dei soggetti, prompt testuale, mappa di layout e l'immagine target originale.

B. Architettura del Modello

MS-CustomNet si basa su un Latent Diffusion Model (LDM) (implementazione basata su CustomNet) con meccanismi di condizionamento potenziati:

Codifica dei Soggetti: Per ogni soggetto di riferimento, vengono estratte caratteristiche visive (tramite CLIP) e combinate con un vettore di categoria (tramite un Category Encoder). Queste vengono proiettate in un embedding soggetto specifico ( $f_{s,k}$ ) tramite una rete di proiezione category-aware.
Condizionamento Spaziale e Compositivo: La mappa di layout ( $M_L$ ) viene codificata e concatenata al latente rumoroso nel U-Net, fornendo indicazioni esplicite su posizione e gerarchia.
Condizionamento Testuale: Il prompt viene elaborato da un encoder CLIP testuale e integrato tramite meccanismi di cross-attention.
Obiettivo: Il modello predice il rumore per ricostruire l'immagine target preservando l'identità dei soggetti e rispettando la mappa di layout.

C. Strategie di Addestramento

Per garantire stabilità e qualità, vengono introdotte due strategie chiave:

Dual Stage Training (DST):
- Fase 1: Addestramento focalizzato sul posizionamento e sulle interazioni di base (learning rate più alto).
- Fase 2: Rifinitura dei dettagli specifici del soggetto e dell'identità (learning rate ridotto), migliorando il fotorealismo.
Curriculum Learning on Subject Quantity (CLSQ):
- Il numero di soggetti presenti nei campioni di addestramento aumenta progressivamente durante le epoche (da un minimo $K_{min}$ a un massimo $K_{max}$ ). Questo permette al modello di imparare composizioni semplici prima di affrontare scenari complessi.

3. Contributi Chiave

Framework MS-CustomNet: Estende la personalizzazione da un singolo soggetto a più soggetti, offrendo un controllo esplicito e deterministico sulla struttura compositiva e sulle relazioni spaziali.
Strategie di Addestramento Innovative: Introduzione di DST e CLSQ per migliorare la stabilità e l'efficacia nell'apprendimento di composizioni complesse.
Dataset MSI: Un nuovo dataset derivato da COCO, specifico per l'addestramento e la valutazione di modelli focalizzati su interazioni multi-soggetto e strutture spaziali.
Controllo Zero-Shot: Dimostrazione della capacità di generare scene coerenti con identità preservate senza necessità di fine-tuning per ogni singolo soggetto.

4. Risultati Sperimentali

Il modello è stato valutato su MSI-Bench (100 task multi-soggetto) e confrontato con metodi SOTA come IP-Adapter, CustomNet, $\lambda$ -ECLIPSE e SSR-Encoder.

Metriche di Identità: MS-CustomNet ottiene un punteggio DINO-I di 0.61 e CLIP-I di 0.79 nella personalizzazione multi-soggetto, dimostrando una forte preservazione dell'identità.
Controllo Posizionale: Il modello raggiunge un punteggio YOLO-L di 0.94, indicando un'accuratezza eccezionale nel posizionamento dei soggetti rispetto alle istruzioni di layout fornite dall'utente.
Coerenza Semantica: Il punteggio CLIP-B (allineamento testo-sfondo) è di 0.34, garantendo che lo sfondo sia coerente con il prompt.
Analisi di Ablazione: Lo studio dimostra che l'aggiunta sequenziale di $M_L$ , DST e CLSQ risolve i compromessi tra controllo spaziale, fedeltà dell'identità e ricchezza dello sfondo, portando a risultati ottimali solo con la configurazione completa.

5. Significato e Impatto

MS-CustomNet rappresenta un passo avanti significativo verso il controllo fine-granulare nella generazione di immagini. A differenza dei modelli che si affidano a interpretazioni implicite del testo, questo framework permette agli utenti di definire esplicitamente relazioni gerarchiche (es. "oggetto A sopra oggetto B", "oggetto C dentro oggetto D").
La sua importanza risiede nella capacità di generare immagini ad alta fedeltà con composizioni complesse e controllabili, rendendolo uno strumento prezioso per applicazioni che richiedono precisione nella disposizione degli elementi, superando i limiti dei metodi attuali che spesso falliscono nel gestire interazioni spaziali intricate o perdono l'identità dei soggetti in contesti multi-soggetto.