MozzaVID: Mozzarella Volumetric Image Dataset

Probleemstelling

Er is een aanzienlijk tekort aan gestandaardiseerde, grote datasets voor het benchmarken van diepe leermodellen voor volumetrische data (3D-beelden). Hoewel 2D-datasets (zoals ImageNet) uitgebreid zijn en dienen als standaard voor het evalueren van architecturen, zijn volumetrische datasets vaak klein, beperkt in aantal (vaak tussen de 100 en 10.000 volumes), en gericht op specifieke wetenschappelijke vraagstukken (voornamelijk in de medische beeldvorming).

Dit gebrek aan grote, schoon en veelzijdige datasets leidt tot de volgende problemen:

1. Moeilijke vergelijking: Nieuwe en bestaande modellen zijn moeilijk met elkaar te vergelijken.
2. Beperkte ontwikkeling: Architecturen die specifiek zijn geoptimaliseerd voor 3D-data worden niet voldoende ontwikkeld; onderzoekers passen vaak alleen 2D-modellen aan voor 3D-taken.
3. Toepassingsgebied: Vooral in de voedselwetenschap ontbreekt er een dataset voor de analyse van microstructuren, die complex en ongeordend zijn.

Methodologie: De MozzaVID Dataset

Om deze kloof te dichten, introduceren de auteurs MozzaVID, een dataset bestaande uit synchrotron X-ray computed tomography (CT) scans van mozzarella-microstructuur.

Dataverzameling en Voorbewerking:

• Bron: 25 verschillende kaassoorten (met variërende recepten, temperatuur, snelheid en additieven) en 149 individuele monsters.
• Acquisitie: Scans zijn gemaakt bij de DanMAX bundel van het MAX IV synchrotron. Elke scan heeft een resolutie van 2356×2688 pixels en een pixelgrootte van 0,55 µm.
• Preprocessing: Originele scans werden bijgesneden, histogrammen werden uitgelijnd (vet en eiwit gesegmenteerd) en intensiteiten werden gestandaardiseerd. 9 scans met artefacten werden verwijderd, wat resulteerde in 591 bruikbare volumes.
• Dataset-configuraties: Vanwege de hoge resolutie van de ruwe data (1601×1601×2156) en de beperkingen van deep learning, worden drie dataset-varianten aangeboden door de volumes te downscalen en te splitsen:
  1. Small (8X-1X): 591 volumes, downgeschaald met factor 8.
  2. Base (4X-2X): 4.728 volumes, downgeschaald met factor 4 en gesplitst in 8 sub-volumes.
  3. Large (2X-4X): 37.824 volumes, downgeschaald met factor 2 en gesplitst in 64 sub-volumes.
  • Alle varianten hebben een standaard output-resolutie van 192×192×192 voxels.

Taken:
De dataset ondersteunt twee classificatiedoelen:

1. Coarse-grain: Classificatie van de 25 kaassoorten.
2. Fine-grain: Classificatie van de 149 individuele monsters (subtiele verschillen binnen dezelfde kaassoort).

Experimenteel Opzet:
De auteurs evalueren vijf state-of-the-art (SotA) architecturen (ResNet50, MobileNetV2, ConvNeXt-S, ViT-B/16, Swin-S) in zowel 2D (op slices) als 3D (op volledige volumes). Ze analyseren ook de geleerde latent spaces met behulp van UMAP en PCA om te zien of het model de structurele variatie en de experimentele parameters correct heeft geleerd.

Belangrijkste Bijdragen

1. MozzaVID Dataset: De introductie van een grote, schone en veelzijdige volumetrische dataset die de kloof overbrugt tussen kleine, specifieke volumetrische datasets en grote 2D-benchmarks.
2. Benchmark voor 3D-Deep Learning: Een platform om de prestaties van gespecialiseerde 3D-modellen te vergelijken met aangepaste 2D-modellen, met een focus op voedselstructuren.
3. Structuuranalyse: Het aantonen dat classificatiemodellen niet alleen labels kunnen voorspellen, maar ook een betekenisvolle latent space leren die de fysieke en chemische variatie in de kaasmicrostructuur weerspiegelt.

Resultaten

• Prestaties: De modellen behaalden hoge nauwkeurigheid, met name op de "Large" dataset.
  • Coarse-grain (25 klassen): Tot 97,3% nauwkeurigheid (ResNet50, 3D).
  • Fine-grain (149 klassen): Tot 93,5% nauwkeurigheid (ResNet50, 3D).
• 3D vs. 2D: 3D-modellen presteerden over het algemeen aanzienlijk beter dan 2D-modellen, zelfs wanneer de 3D-datasets kleiner waren dan de 2D-datasets. Dit benadrukt het belang van volumetrische representatie voor dit type data.
• Architectuur: ResNet50 (3D) was het meest consistent en performant. Transformer-architecturen (ViT, Swin) vertoonden meer variabiliteit, hoewel Swin goed presteerde op kleinere datasets.
• Geleerde Representatie: De UMAP-analyse toonde aan dat het model klassen groepeerde op basis van hun experimentele parameters (zoals temperatuur en rotor-snelheid). Dit bevestigt dat het model de onderliggende structurele variatie heeft geleerd in plaats van alleen oppervlakkige patronen.
• Rotatiebias: Een ablatiestudie toonde aan dat er geen significante bias was door de oriëntatie van de monsters in de dataset.

Betekenis en Toekomstperspectief

MozzaVID is een mijlpaal voor de voedselwetenschap en volumetrische deep learning:

• Voedselwetenschap: Het biedt een model voor het analyseren van eiwit- en vetstructuren in voedsel (zoals vlees en plantaardige alternatieven). Een beter inzicht in microstructuren is cruciaal voor het ontwikkelen van duurzame, milieuvriendelijke voedselalternatieven met goede sensorische eigenschappen.
• Algemene Deep Learning: De dataset fungeert als een brug tussen 2D en 3D onderzoek. Het bewijst dat er behoefte is aan specifieke 3D-architecturen en biedt een standaard om deze te testen.
• Toekomstig Onderzoek: De dataset stimuleert de ontwikkeling van robuustere structurele analysemodellen en kan dienen als proxy voor andere complexe organische volumetrische data (bijv. medische beeldvorming of paleontologie).

De dataset is openbaar beschikbaar via de website van de auteurs, wat de reproduceerbaarheid en verdere ontwikkeling in het veld mogelijk maakt.