When Do Diffusion Models learn to Generate Multiple Objects?

1. Declaração do Problema

Modelos de difusão texto-para-imagem alcançaram fidelidade visual impressionante para geração de objetos únicos, mas permanecem pouco confiáveis ao gerar composições de múltiplos objetos. Apesar de evidências empíricas de falhas em tarefas como contagem, vinculação de atributos (por exemplo, "copo vermelho e TV azul") e relações espaciais (por exemplo, "trem sob a mesa"), as causas subjacentes não estão claras.

O artigo investiga se essas falhas decorrem de:

1. Desequilíbrio/Distorção de Dados: O modelo falha em aprender conceitos individuais (por exemplo, contagens específicas ou cores) porque eles aparecem com pouca frequência nos dados de treinamento.
2. Falha de Generalização Composicional: O modelo não consegue recombinar conceitos conhecidos em combinações não vistas (por exemplo, se ele viu "esfera vermelha" e "cubo azul" separadamente, consegue gerar "esfera vermelha e cubo azul" juntos?).
3. Complexidade da Cena: A dificuldade de gerenciar múltiplos objetos simultaneamente, independentemente da distribuição de dados.

2. Metodologia

A. Framework MOSAIC

Para isolar fatores causais, os autores introduzem o MOSAIC (Multi-Object Spatial relations, AttrIbution, Counting), um framework controlado de geração de dados. Diferentemente de conjuntos de dados do mundo real (por exemplo, LAION-2B), que possuem vieses entrelaçados, o MOSAIC parametriza explicitamente:

• Atribuição: Vincular cores a tipos específicos de objetos (por exemplo, esfera vs. cubo).
• Relações Espaciais: Definir posições angulares entre objetos (por exemplo, intervalos de 18°).
• Contagem: Gerar números específicos de objetos (de 1 a 10).

O framework permite a variação sistemática de:

• Tamanho do Conjunto de Dados: 2k, 10k, 50k, 100k amostras.
• Distribuição de Dados: Uniforme vs. Distorcida (imitando desequilíbrios de frequência do mundo real).
• Complexidade da Cena: "Base" (simples) vs. "Complexa" (adicionando distratores/duplicatas) vs. "Grade" (constrangendo objetos a setores radiais para reduzir a variabilidade espacial).
• Dificuldade Composicional: Segregar sistematicamente combinações específicas de conceitos (diagonais em uma matriz de conceitos) durante o treinamento para testar a generalização para pares não vistos.

B. Configuração Experimental

• Modelos: Duas arquiteturas foram treinadas do zero: uma U-Net (aproximadamente 90M de parâmetros, objetivo de score-matching) e um Diffusion Transformer (DiT) (aproximadamente 90M de parâmetros, objetivo de flow-matching).
• Avaliação: Classificadores discriminativos específicos de tarefa (CNNs/ResNets) foram treinados para avaliar a precisão da geração.
• Validação no Mundo Real: As descobertas foram estendidas para:
  • Ajuste Fino: Usando LoRA em Stable Diffusion 3 (SD3) pré-treinado no benchmark SPEC.
  • Co-ocorrência de Objetos: Uma variante menos controlada do MOSAIC com formas de objetos realistas, oclusões e pontos de vista variados.

3. Principais Descobertas e Resultados

A. Generalização de Conceitos (PQ1: Desequilíbrio de Dados vs. Complexidade)

• Complexidade da Cena é o Fator Dominante: Contrariando a hipótese de que o desequilíbrio de dados é a causa principal, a complexidade da cena impulsiona a degradação do desempenho.
  • Atribuição e Relações Espaciais (2 objetos) generalizam bem mesmo com conjuntos de dados pequenos (2k–10k) e distribuições distorcidas.
  • Contagem (até 10 objetos) falha significativamente em regimes de poucos dados (10k–50k), independentemente de os dados serem uniformes ou distorcidos.
• Dinâmicas de Contagem: A contagem exibe um comportamento único de "pico inicial e colapso". Em regimes de poucos dados, o modelo inicialmente aprende a contar, mas depois degrada-se conforme o treinamento continua, falhando em manter instâncias de objetos distintas. Isso não se deve à memorização (que diminui à medida que os dados aumentam), mas a uma falha de generalização.
• Viés Indutivo Ajuda: Introduzir um Layout de Grade (constrangendo objetos a setores específicos) estabiliza significativamente o desempenho da contagem em todos os tamanhos de conjunto de dados, sugerindo que priores espaciais explícitos são necessários para uma contagem robusta.

B. Generalização Composicional (PQ2: Combinações Não Vistas)

• Generalização Colapsa com Combinações Não Vistas: À medida que o número de pares de conceitos mantidos de fora aumenta durante o treinamento, a capacidade do modelo de gerar composições não vistas degrada-se rapidamente.
• Hierarquia de Dificuldade: A dificuldade de recombinar conceitos segue uma ordem estrita:
  1. Atribuição (Mais robusta)
  2. Contagem
  3. Relações Espaciais (Mais frágil; o desempenho cai abruptamente mesmo com poucas combinações não vistas).
• Independência de Arquitetura: Essas tendências mantêm-se tanto para arquiteturas U-Net quanto DiT, indicando uma limitação fundamental nos modelos de difusão atuais, e não um defeito arquitetônico específico.
• Limitações do Ajuste Fino: O ajuste fino do SD3 em dados realistas (SPEC) mostrou que, embora as relações espaciais melhorem, a precisão da contagem deteriora-se, reforçando que a contagem permanece uma capacidade frágil mesmo em modelos pré-treinados.

4. Principais Contribuições

1. Conjunto de Dados MOSAIC: Um framework diagnóstico controlado e novel que desentrelaça o raciocínio de múltiplos objetos em dimensões distintas (contagem, atribuição, relações espaciais) para permitir análise causal dos efeitos dos dados.
2. Desentrelaçamento de Dados vs. Complexidade: O artigo fornece evidências de que a complexidade da cena, e não apenas o desequilíbrio de dados, é o principal gargalo para a geração de múltiplos objetos, particularmente para tarefas de contagem.
3. Limites de Generalização Composicional: Demonstra que os modelos de difusão carecem de mecanismos inerentes para generalização composicional robusta; o desempenho decai linearmente à medida que o número de combinações de treinamento não vistas aumenta, sendo as relações espaciais as mais vulneráveis.
4. Necessidade de Viés Indutivo: Os resultados sugerem que modelos de difusão padrão requerem viés indutivo mais forte (por exemplo, grades espaciais ou condicionamento de layout) para lidar com a geração de múltiplos objetos de forma confiável, especialmente em regimes de poucos dados.

5. Significado

Este trabalho desafia a suposição de que simplesmente escalar os dados ou usar modelos maiores resolverá as falhas de geração de múltiplos objetos. Destaca que:

• Modelos de Difusão Atuais são fundamentalmente limitados em sua capacidade de recombinar conceitos sem orientação estrutural explícita.
• O Design de Dados Importa: Ter simplesmente "mais dados" é insuficiente se os dados não cobrirem o espaço combinatório de conceitos ou se a complexidade da cena exceder a capacidade do modelo de manter a distinção entre objetos.
• Direções Futuras: As descobertas motivam o desenvolvimento de novas arquiteturas com viés indutivo mais forte (por exemplo, condicionamento de layout explícito, representações centradas em objetos) e melhores estratégias de design de dados para garantir a geração composicional robusta de múltiplos objetos.