MS-CustomNet: Controllable Multi-Subject Customization with Hierarchical Relational Semantics

1. Problema

O campo de geração de imagens por inteligência artificial, impulsionado por modelos de difusão, avançou significativamente na criação de imagens visualmente agradáveis a partir de texto. No entanto, um desafio crítico permanece: a customização de múltiplos sujeitos distintos em uma única cena com controle fino sobre suas interações e arranjos espaciais.

• Limitações Atuais: Métodos existentes frequentemente falham em fornecer controle explícito definido pelo usuário sobre a estrutura composicional (como camadas, oclusão e hierarquia) e as relações espaciais precisas entre os objetos.
• Desafios Específicos: A aplicação ingênua de técnicas de customização de único sujeito para múltiplos sujeitos resulta em "sangramento de conceitos" (concept bleeding), perda de identidade dos objetos e falha em capturar a semântica composicional pretendida (ex: colocar um objeto dentro de outro ou definir qual objeto está na frente).
• Falta de Dados: Não existem conjuntos de dados públicos adequados que forneçam exemplos complexos de interações e arranjos espaciais entre múltiplos sujeitos para treinamento.

2. Metodologia

O artigo propõe o MS-CustomNet, um framework inovador para customização de múltiplos sujeitos, baseado em Modelos de Difusão Latente (LDM). A abordagem integra três componentes principais:

A. Construção do Dataset MSI (Multi-Subject Interaction)

Para superar a escassez de dados, os autores criaram o dataset MSI, derivado do COCO:

• Filtragem: Imagens são filtradas para garantir a presença de múltiplos sujeitos salientes (baseado em área e contagem).
• Pool de Referência: Cria-se um conjunto diversificado de imagens de referência para cada categoria de objeto.
• Mapas de Layout ($M_L$): Gera-se mapas de layout que codificam a posição 2D, escala e, crucialmente, a ordem de composição (hierarquia/occlusão) dos sujeitos. A ordem é determinada por uma prioridade de oclusão baseada nas anotações originais do COCO.
• Estrutura: Cada amostra consiste em um conjunto de imagens de referência, um prompt de texto, o mapa de layout e a imagem de destino original.

B. Arquitetura do MS-CustomNet

O modelo é construído sobre o CustomNet (uma extensão do Stable Diffusion) com aprimoramentos específicos:

• Codificação de Sujeitos: Utiliza um codificador de imagem CLIP para extrair características visuais e um codificador de categoria para associar explicitamente cada imagem de referência à sua categoria semântica. Essas informações são projetadas em embeddings condicionais ($F_s$).
• Condicionamento Espacial e Composicional: O mapa de layout ($M_L$) é codificado e injetado no U-Net do modelo de difusão, permitindo o controle explícito da posição e da hierarquia dos objetos.
• Mecanismo de Cross-Attention: Os embeddings dos sujeitos, o texto e o mapa de layout condicionam o processo de denoising, garantindo que a identidade de cada sujeito seja preservada enquanto se segue a estrutura espacial definida.

C. Estratégias de Treinamento

Para garantir estabilidade e eficácia no aprendizado de composições complexas, duas estratégias são empregadas:

1. Treinamento em Duas Etapas (Dual Stage Training - DST):
   • Etapa 1: Foco no posicionamento e interações básicas (alta taxa de aprendizado).
   • Etapa 2: Refinamento de identidade e detalhes (baixa taxa de aprendizado) para melhorar a fidelidade fotorealista.
2. Aprendizado de Currículo por Quantidade de Sujeitos (Curriculum Learning on Subject Quantity - CLSQ):
   • O modelo começa aprendendo com cenas de poucos sujeitos e gradualmente aumenta a complexidade (número de objetos) durante o treinamento, permitindo uma adaptação progressiva a cenários mais densos.

3. Contribuições Principais

1. Framework MS-CustomNet: Uma nova arquitetura que estende a customização de único sujeito para múltiplos, oferecendo controle explícito e reprodutível sobre a estrutura composicional e relações espaciais.
2. Dataset MSI: A introdução de um novo conjunto de dados derivado do COCO, focado especificamente em interações e estruturas composicionais de múltiplos sujeitos.
3. Estratégias de Treinamento Avançadas: O desenvolvimento do DST e do CLSQ para estabilizar o treinamento e melhorar a preservação de identidade em composições complexas.
4. Controle Determinístico: Capacidade de definir relações hierárquicas precisas (ex: oclusão, contenção) que modelos baseados apenas em atenção implícita não conseguem garantir.

4. Resultados

Os experimentos foram realizados no benchmark MSI-Bench, comparando o MS-CustomNet com métodos como IP-Adapter, CustomNet, $\lambda$-ECLIPSE e SSR-Encoder.

• Preservação de Identidade: O modelo alcançou um escore DINO-I de 0.61 e CLIP-I de 0.79 na customização multi-sujeito, demonstrando excelente retenção das características visuais dos objetos originais.
• Controle Posicional e Composicional:
  • YOLO-L (Precisão Posicional): Alcançou 0.94, indicando que os objetos são gerados exatamente onde e como o usuário especificou no mapa de layout.
  • YOLO-Subj (Consistência de Conteúdo): Escore de 0.68, garantindo que o número e as categorias dos objetos gerados correspondam ao input.
• Qualidade Visual: O modelo gerou cenas semanticamente coerentes com os prompts de texto, mantendo a harmonia entre os sujeitos e o fundo, superando métodos concorrentes na capacidade de seguir instruções espaciais complexas (ex: empilhamento de livros, objetos dentro de recipientes).
• Estudo de Ablação: Confirmou que a adição do mapa de layout ($M_L$) melhorou drasticamente o controle espacial, o DST melhorou a fidelidade da identidade, e o CLSQ foi essencial para equilibrar todos os objetivos (fidelidade, controle e realismo de fundo).

5. Significado e Impacto

O MS-CustomNet representa um avanço significativo na direção de uma IA generativa controlável. Ao permitir que usuários definam explicitamente não apenas o que aparece na imagem, mas como os objetos se relacionam espacialmente e hierarquicamente, o trabalho resolve uma lacuna crítica entre a geração de imagens de alta fidelidade e a necessidade de controle composicional preciso.

Isso é particularmente relevante para aplicações que exigem precisão, como design de produtos, storyboarding, e cenários onde a interação física entre objetos é fundamental. A disponibilidade do dataset MSI também fomenta a pesquisa futura na comunidade, fornecendo uma base padronizada para treinar e avaliar modelos de customização multi-sujeito.