The Garbage Dataset (GD): A Multi-Class Image Benchmark for Automated Waste Segregation

Probleemstelling

Effectieve afvalscheiding is een kritieke bottleneck in wereldwijde recyclingssystemen. Gegeven de verwachte toename van vast afval met 73% tot 3,88 miljard ton per jaar tegen 2050, is er een dringende behoefte aan geautomatiseerde sorteringstechnologieën. Hoewel computerzicht (computer vision) een veelbelovende oplossing biedt, wordt de ontwikkeling ervan beperkt door het gebrek aan robuuste, grootschalige en goed gekarakteriseerde beelddatasets. Bestaande datasets (zoals TrashNet, TACO, UAVVaste) hebben specifieke beperkingen, zoals gebrek aan diversiteit in klassen, focus op natuurlijke omgevingen of beperkte schaal. Er ontbreekt een grote, multi-class dataset die specifiek gericht is op gemeenschappelijk huishoudelijk afval, compleet met een diepgaande analyse van de inherente data-uitdagingen (zoals class imbalance en achtergrondcomplexiteit).

Methodologie

De auteurs introduceerden de Garbage Dataset (GD) en volgden een meerzijdige aanpak voor verzameling, validatie, analyse en benchmarking:

1. Dataverzameling en Cureren:

   • Bronnen: De dataset werd samengesteld via drie methoden: foto's gemaakt met de DWaste mobiele app, gecureerde afbeeldingen uit openbare repositories/web-scraping, en community-inzendingen.
   • Schoning: Uit een initiële set van 20.212 afbeeldingen werden duplicaten verwijderd met behulp van MD5-hashing (exacte duplicaten) en perceptuele hashing (bijna-duplicaten, Hamming-drempel = 5).
   • Validatie: Transparante afbeeldingen (moeilijk voor modellen), niet-RGB afbeeldingen (CMYK, P, L), en afbeeldingen met watermerken of auteursrechtelijke tekens werden verwijderd.
   • Resultaat: Een finale dataset van 12.259 gelabelde JPEG-afbeeldingen verdeeld over 10 klassen: metaal, glas, biologisch, papier, batterij, afval (trash), karton, schoenen, kleding en plastic.

2. Dataset Statistieken en Analyse:

   • Class Imbalance: Er is een significante onbalans; bijvoorbeeld bevat de "Glass"-categorie bijna vier keer zoveel afbeeldingen als de "Trash"-categorie.
   • Kwaliteitsmeting: Uitvaldetectie (outlier detection) met algoritmes zoals Isolation Forest en DBSCAN identificeerde 4,3% anomalieën, met name in klassen als plastic en karton.
   • Visuele Analyse: PCA en t-SNE analyses toonden aan dat de klassen slecht lineair gescheiden zijn (PCA verklaart slechts 31,56% van de variantie). Er is sprake van overlap tussen klassen zoals papier en plastic.
   • Achtergrondcomplexiteit: De dataset kenmerkt zich door hoge achtergrondcomplexiteit (gemiddelde Shannon-entropie van 6,3 bits/pixel) en vaak overbelichte beelden, wat de classificatie bemoeilijkt.

3. Benchmark Experimenten:

   • Modellen: Vijf state-of-the-art deep learning-architecturen werden getest via transfer learning (ImageNet weights): EfficientNetV2M, EfficientNetV2S, MobileNet, ResNet50 en ResNet101.
   • Configuratie: Modellen werden getraind op drie versies van de dataset: Origineel, Gestandaardiseerd (256x256) en Gestandaardiseerd (384x384).
   • Validatie: De dataset werd opgesplitst in training (80%), validatie (10%) en test (10%). Random undersampling werd toegepast om de class imbalance te mitigeren.
   • Duurzaamheid: Naast prestaties (accuracy, recall, F1-score) werden ook trainingsduur en operationele CO2-emissies gemeten met Code Carbon.

Kernresultaten

• Beste Prestatie: EfficientNetV2S behaalde de hoogste prestaties met een accuracy van 95,13% en een F1-score van 0,95, tegen een gemiddelde CO2-kost.
• Invloed van Resolutie: Het verhogen van de input-resolutie naar 384x384 leverde slechts minimale accuracy-winsten (<1%) op, maar verhoogde de rekenkosten en CO2-emissies aanzienlijk.
• Architectuur vs. Resolutie: De keuze van de modelarchitectuur had een veel grotere impact op de prestaties dan het simpelweg vergroten van de afbeeldingsgrootte. EfficientNetV2-varianten presteerden consequent beter dan ResNet-modellen.
• Uitdagingen bij Minderheidsklassen: De "trash"-klasse (slechts 3,7% van de data) behaalde consistent de laagste F1-scores (zoals 0,40 bij MobileNet), wat aantoont dat modellen zonder specifieke interventies (zoals class weighting) biased blijven.
• Visuele Ambiguïteit: Klassen zoals papier en plastic vertonen hoge overlap en worden vaak verward, wat aangeeft dat data-centrische oplossingen (augmentatie) nodig zijn naast model-optimalisatie.

Belangrijkste Bijdragen

1. GD Dataset: De publicatie van een grote, multi-source dataset (12k+ afbeeldingen) specifiek voor huishoudelijk afval, inclusief drie versies (origineel, 256px, 384px) voor reproduceerbaarheid.
2. Gedetailleerde Karakterisering: Een diepgaande analyse van dataset-eigenschappen, waaronder class imbalance, achtergrondcomplexiteit, visuele scheidbaarheid en de impact van data-herkomst (app vs. web vs. community).
3. Duurzaamheid in AI: Integratie van CO2-emissiemetingen in de benchmarking, waardoor een nieuw perspectief wordt geboden op de afweging tussen modelnauwkeurigheid en milieukosten.
4. Realistische Benchmark: Het aantonen dat real-world afvalclassificatie complex is door variatie in belichting, achtergronden en objectdeformatie, wat de dataset geschikt maakt voor onderzoek naar domain adaptation en robustheid.

Betekenis en Conclusie

De Garbage Dataset (GD) vult een cruciale lacune in de literatuur door een realistische en uitdagende benchmark te bieden voor automatische afvalscheiding. De studie concludeert dat succesvolle implementaties niet alleen afhankelijk zijn van geavanceerde modelarchitecturen, maar ook van het actief aanpakken van data-centrische uitdagingen zoals class imbalance en achtergrondruis. Bovendien benadrukt het paper dat de keuze van een model ook een milieubeslissing is; er moet een balans worden gevonden tussen nauwkeurigheid en de ecologische voetafdruk van het trainingsproces. De dataset is publiek beschikbaar op Kaggle om verdere research in duurzame AI-toepassingen voor afvalbeheer te stimuleren.