When Do Diffusion Models learn to Generate Multiple Objects?

1. Probleemstelling

Tekst-naar-afbeelding diffusiemodellen hebben indrukwekkende visuele fideliteit bereikt voor de generatie van enkelvoudige objecten, maar blijven onbetrouwbaar bij het genereren van samenstellingen met meerdere objecten. Ondanks empirisch bewijs van falen bij taken zoals tellen, attributiebinding (bijv. "rode beker en blauwe tv") en ruimtelijke relaties (bijv. "trein onder het bureau"), zijn de onderliggende oorzaken onduidelijk.

Het paper onderzoekt of deze falen voortkomen uit:

1. Data-uitsluiting/Onevenwichtigheid: Het model faalt in het leren van individuele concepten (bijv. specifieke aantallen of kleuren) omdat deze zelden voorkomen in de trainingsdata.
2. Falen in Compositie-Generaleisatie: Het model kan bekende concepten niet herschikken tot onbekende combinaties (bijv. als het "rode bol" en "blauwe kubus" apart heeft gezien, kan het dan "rode bol en blauwe kubus" samen genereren?).
3. Scènecomplexiteit: De moeilijkheid om meerdere objecten simultaan te beheren, ongeacht de data-distributie.

2. Methodologie

A. MOSAIC-raamwerk

Om causale factoren te isoleren, introduceren de auteurs MOSAIC (Multi-Object Spatial relations, AttrIbution, Counting), een gecontroleerd raamwerk voor het genereren van datasets. In tegenstelling tot real-world datasets (bijv. LAION-2B), die verweven vertekeningen hebben, parameteriseert MOSAIC expliciet:

• Attributie: Het koppelen van kleuren aan specifieke objecttypes (bijv. bol versus kubus).
• Ruimtelijke Relaties: Het definiëren van hoekposities tussen objecten (bijv. intervallen van 18°).
• Tellen: Het genereren van specifieke aantallen objecten (1 tot 10).

Het raamwerk maakt systematische variatie mogelijk van:

• Datasetgrootte: 2k, 10k, 50k, 100k samples.
• Data-distributie: Uniform versus Scheef (nabootsende onevenwichtigheden in frequentie uit de realiteit).
• Scènecomplexiteit: "Basis" (simpel) versus "Complex" (toevoegen van afleiders/duplicaten) versus "Raster" (objecten beperken tot radiale sectoren om ruimtelijke variabiliteit te verminderen).
• Compositie-moeilijkheid: Het systematisch buiten training houden van specifieke conceptcombinaties (diagonalen in een conceptmatrix) om generalisatie naar ongekende paren te testen.

B. Experimentele Opstelling

• Modellen: Twee architecturen werden vanaf nul getraind: een U-Net (ongeveer 90M parameters, score-matching doelstelling) en een Diffusion Transformer (DiT) (ongeveer 90M parameters, flow-matching doelstelling).
• Evaluatie: Taak-specifieke discriminatieve classifiers (CNN's/ResNets) werden getraind om de generatie-accuraatheid te evalueren.
• Real-world Validatie: De bevindingen werden uitgebreid naar:
  • Fine-tuning: Het gebruik van LoRA op voorgetrainde Stable Diffusion 3 (SD3) op de SPEC-benchmark.
  • Object-Co-occurrentie: Een minder gecontroleerde variant van MOSAIC met realistische objectvormen, occlusies en variërende gezichtspunten.

3. Belangrijkste Bevindingen & Resultaten

A. Concept-Generaleisatie (RQ1: Data-onevenwichtigheid versus Complexiteit)

• Scènecomplexiteit is de Dominante Factor: In tegenstelling tot de hypothese dat data-onevenwichtigheid de primaire oorzaak is, drijft scènecomplexiteit de prestatiedegradatie.
  • Attributie en Ruimtelijke Relaties (2 objecten) generaliseren goed, zelfs met kleine datasets (2k–10k) en scheve distributies.
  • Tellen (tot 10 objecten) faalt significant in regimes met weinig data (10k–50k), ongeacht of de data uniform of scheef is.
• Teldynamiek: Tellen vertoont een uniek gedrag van "vroege piek en instorting". In regimes met weinig data leert het model aanvankelijk te tellen, maar degradeert het naarmate de training doorgaat, waardoor het faalt in het handhaven van distincte objectinstanties. Dit is niet te wijten aan memorisatie (wat afneemt naarmate de data schaalt), maar aan een falen in generalisatie.
• Inductieve Bias Helpt: Het introduceren van een Rasterindeling (objecten beperken tot specifieke sectoren) stabiliseert de telprestaties aanzienlijk over alle datasetgroottes, wat suggereert dat expliciete ruimtelijke prioren noodzakelijk zijn voor robuust tellen.

B. Compositie-Generaleisatie (RQ2: Ongekende Combinaties)

• Generalisatie Instort bij Ongekende Combinaties: Naarmate het aantal tijdens training buiten gehouden conceptparen toeneemt, degradeert het vermogen van het model om ongekende composities te genereren snel.
• Hiërarchie van Moeilijkheid: De moeilijkheid om concepten te herschikken volgt een strikte orde:
  1. Attributie (Meest robuust)
  2. Tellen
  3. Ruimtelijke Relaties (Meest fragiel; prestaties dalen scherp zelfs met weinig ongekende combinaties).
• Architectuur-onafhankelijkheid: Deze trends gelden voor zowel U-Net- als DiT-architecturen, wat wijst op een fundamentele beperking in huidige diffusiemodellen in plaats van een specifiek architecturaal gebrek.
• Beperkingen van Fine-tuning: Fine-tuning van SD3 op realistische data (SPEC) toonde aan dat hoewel ruimtelijke relaties verbeteren, de telaccuraatheid verslechtert, wat bevestigt dat tellen een fragiel vermogen blijft, zelfs in voorgetrainde modellen.

4. Belangrijkste Bijdragen

1. MOSAIC-dataset: Een nieuw, gecontroleerd diagnostisch raamwerk dat redenering over meerdere objecten ontvlecht in distincte dimensies (tellen, attributie, ruimtelijke relaties) om causale analyse van data-effecten mogelijk te maken.
2. Ontvlechting van Data versus Complexiteit: Het paper levert bewijs dat scènecomplexiteit, niet alleen data-onevenwichtigheid, de primaire bottleneck is voor generatie van meerdere objecten, met name voor teltaken.
3. Grenzen aan Compositie-Generaleisatie: Het toont aan dat diffusiemodels ontbreken aan inherente mechanismen voor robuuste compositie-generalisatie; prestaties dalen lineair naarmate het aantal ongekende trainingscombinaties toeneemt, waarbij ruimtelijke relaties het meest kwetsbaar zijn.
4. Noodzaak van Inductieve Bias: De resultaten suggereren dat standaard diffusiemodellen sterkere inductieve biases nodig hebben (bijv. ruimtelijke roosters of lay-out conditioning) om generatie van meerdere objecten betrouwbaar te hanteren, vooral in regimes met weinig data.

5. Betekenis

Dit werk daagt de aanname uit dat het simpelweg opschalen van data of het gebruik van grotere modellen de falen bij generatie van meerdere objecten zal oplossen. Het benadrukt dat:

• Huidige Diffusiemodellen fundamenteel beperkt zijn in hun vermogen om concepten te herschikken zonder expliciete structurele begeleiding.
• Data-ontwerp Uitmaakt: Het hebben van "meer data" is onvoldoende als de data het combinatorische ruimte van concepten niet dekt of als de scènecomplexiteit de capaciteit van het model om objectdistinctie te handhaven, overtreft.
• Toekomstige Richtingen: De bevindingen motiveren de ontwikkeling van nieuwe architecturen met sterkere inductieve biases (bijv. expliciete lay-out conditioning, objectgerichte representaties) en betere data-ontwerpstrategieën om robuuste compositie-generatie van meerdere objecten te garanderen.